Le pentest IA utilise des agents d'IA pour sonder les applications comme le ferait un testeur humain expérimenté. Dans le meilleur des cas, il met en évidence les IDOR, les échecs d'autorisation et les chemins d'abus logique : ces bugs insaisissables que les scanners automatisés manquent et qui apparaissent lors de violations réelles. Les affirmations marketing dépassent les preuves.
Doyensec est un cabinet de conseil indépendant en sécurité des applications. Nous leur avons demandé de réaliser un comparatif direct : deux applications réelles, choisies au hasard parmi un échantillon de 442, testées au même niveau de prix avec les mêmes identifiants, chaque constatation étant validée manuellement par deux chercheurs avec examen par les pairs.
Ce que les chiffres révèlent réellement
Le benchmark a testé deux applications : Fider, une plateforme de feedback utilisateur open-source, et Photoview, une application de galerie photo TypeScript/Next.js avec contrôle d'accès basé sur les rôles.
Aikido a détecté 49 vulnérabilités vérifiées. XBOW en a trouvé 31. C'est 58 % de plus pour le même prix.
Source : Doyensec
Les taux de faux positifs sont presque identiques. Cela signifie que l'écart ne vient pas d'un outil plus bruyant ou moins précis. Les deux outils sont calibrés de manière similaire, mais Aikido détecte nettement plus de vulnérabilités.
La statistique de chevauchement révèle la véritable histoire : seulement 3 correspondances sur Fider, 4 sur Photoview. Sur 49 et 31 constatations respectivement, les deux outils n'ont concordé sur moins de 10 % des vulnérabilités. Ce n'est pas une variation mineure. Deux outils examinant les mêmes applications ont trouvé des choses presque entièrement différentes. Le choix de l'outil a de réelles conséquences sur les risques dont vous êtes réellement conscient.
Source : Doyensec
Un meilleur contexte produit de meilleurs résultats
Aikido ingère la base de code avant le début des tests. Chaque test est informé par ce que le code est censé faire. Pour les pentesters humains, ce type de préparation prend des jours. Pour un système d'IA, cela prend des secondes. Le coût supplémentaire est pratiquement nul.
C'est ce qui est le plus important pour les classes de vulnérabilités que les scanners automatisés manquent. Les IDOR, les échecs d'autorisation et les chemins d'abus logique ne deviennent visibles que lorsque l'on comprend comment une application est censée fonctionner. Un outil sondant un point d'accès utilisateur n'a aucun moyen de savoir que ce point d'accès peut être utilisé avec l'ID d'un autre utilisateur, à moins qu'il ne comprenne ce que la logique d'autorisation est censée appliquer. Il ne peut voir que ce qui est visible. Il ne peut pas raisonner sur ce qui devrait être invisible mais ne l'est pas.
Doyensec a également noté que XBOW avait un faux positif de moins et aurait pu permettre une validation des constatations légèrement plus rapide dans certains cas.
L'aspect que les acheteurs négligent jusqu'à ce qu'il devienne un problème.
La couverture est primordiale. Ce qui se passe après avoir cliqué sur Démarrer compte aussi.
La configuration et l'exécution d'Aikido sur les deux applications ont pris moins de 20 minutes. En libre-service.
XBOW a exigé l'approbation d'un représentant commercial avant que le scan ne puisse commencer. Puis un contrat DocuSign. Une fois lancé, il a fallu 22 e-mails de support, trois redémarrages de scan après des plantages, un compte de test supprimé, deux pannes d'infrastructure nécessitant des mises à niveau EC2 en cours d'engagement. Le rapport Fider est arrivé cinq jours après la fin du scan, onze jours après le début de l'engagement.
Les équipes de sécurité effectuent des pentests sous pression. Onze jours pour obtenir des résultats et des plantages en cours d'engagement ne sont pas acceptables.
XBOW inclut un retest dans les 30 jours. Aikido offre des retests illimités pendant 90 jours, sans coût additionnel, avec des résultats en quelques minutes. L'objectif de la détection d'une vulnérabilité est de la corriger et de confirmer cette correction. Si la confirmation de chaque correction entraîne un nouvel engagement, cela ralentit le cycle de remédiation ou ajoute un budget imprévu.
Les tests mono-utilisateur ne suffisent pas pour les applications basées sur les rôles.
XBOW ne prend pas en charge les tests multi-utilisateurs ni la connexion sociale (social login). Pour quiconque teste des applications avec un contrôle d'accès basé sur les rôles, c'est un problème majeur qui crée des chemins non testés.
Des catégories entières de vulnérabilités d'autorisation nécessitent des tests sur plusieurs rôles d'utilisateur. Les IDORs, l'escalade de privilèges et l'autorisation au niveau de l'objet défaillante ne deviennent visibles que lorsque vous pouvez tester ce qu'un rôle peut accéder par rapport à un autre. Si vous ne pouvez tester qu'en tant qu'utilisateur unique, ces vulnérabilités ne sont pas prises en compte.
Ce que Doyensec a conclu
"Aikido a montré un avantage dans le processus de configuration, la vitesse globale des tests et des rapports, et dans la manière dont son approche de test a affecté l'application cible et l'environnement environnant. Il a également identifié un nombre plus élevé de vrais positifs et a fourni une qualité de rapport légèrement supérieure."
Nous avons commandité ce benchmark car nous pensions qu'il montrerait les bonnes performances d'Aikido. Ce fut le cas. Une recherche indépendante ne vaut la peine d'être commanditée que si vous en publiez les résultats.
Le rapport complet, incluant la méthodologie, toutes les conclusions et la feuille de calcul des données brutes, est disponible sur notre page de rapports.
Lire le rapport complet de Doyensec →
Vous voulez voir ce qu'Aikido trouve dans votre propre application ? Planifiez une démo →
