pentest IA des agents IA pour tester les applications comme le ferait un testeur humain expérimenté. Dans le meilleur des cas, il met en évidence les failles IDOR, les défaillances d'autorisation et les chemins d'exploitation de la logique : ces bugs insaisissables que les scanners automatisés ne détectent pas et qui apparaissent dans les violations réelles. Les promesses marketing vont au-delà des preuves.
Doyensec est un cabinet de conseil indépendant spécialisé dans la sécurité des applications. Nous leur avons demandé de réaliser un test comparatif : deux applications réelles, choisies au hasard parmi un ensemble de 442, testées au même niveau de prix avec les mêmes identifiants, chaque résultat étant validé manuellement par deux chercheurs dans le cadre d'une évaluation par les pairs.
Ce que révèlent réellement les chiffres
Le test de performance a porté sur deux applications : Fider, une plateforme open source de retours d'utilisateurs, et Photoview, une application de galerie photo développée en TypeScript/Next.js et dotée d'un contrôle d'accès basé sur les rôles.
Aikido 49 vulnérabilités vérifiées. XBOW 31. Cela représente 58 % de plus pour le même prix.
Source : Doyensec
Les taux de faux positifs sont pratiquement identiques. Cela signifie que la différence ne tient pas au fait qu’un outil soit plus « bruyant » ou moins précis. Les deux outils sont calibrés à peu près de la même manière, mais Aikido détecte Aikido beaucoup plus de vulnérabilités.
Les statistiques de recoupement révèlent la réalité : seulement 3 résultats concordants sur Fider, 4 sur Photoview. Sur respectivement 49 et 31 résultats, les deux outils ne se sont accordés que sur moins de 10 % des vulnérabilités. Ce n'est pas une variation mineure. Deux outils analysant les mêmes applications ont détecté des éléments presque totalement différents. Le choix de l'outil a des conséquences réelles sur les risques dont vous avez réellement conscience.
Source : Doyensec
Un meilleur contexte donne de meilleurs résultats
Aikido le code source avant le début des tests. Chaque test s'appuie sur ce que le code est censé faire. Pour les testeurs d'intrusion humains, ce type de préparation prend des jours. Pour un système d'IA, cela ne prend que quelques secondes. Le surcoût est pratiquement nul.
C'est particulièrement important pour les catégories de vulnérabilités que les scanners automatisés ne détectent pas. Les failles IDOR, les défaillances d'autorisation et les chemins d'exploitation de la logique ne deviennent visibles que lorsque l'on comprend comment une application est censée fonctionner. Un outil sondant un terminal utilisateur n'a aucun moyen de savoir que ce terminal est accessible avec l'identifiant d'un autre utilisateur, à moins de comprendre ce que la logique d'autorisation est censée imposer. Il ne peut voir que ce qui est visible. Il ne peut pas raisonner sur ce qui devrait être invisible mais ne l'est pas.
Doyensec a également noté que XBOW un faux positif de moins et pouvait permettre une validation des résultats légèrement plus rapide dans certains cas.
Ce détail auquel les acheteurs ne pensent pas tant qu'il ne pose pas de problème
La couverture, c'est l'essentiel. Mais ce qui se passe après avoir cliqué sur « Démarrer » compte aussi.
Aikido et la mise en service Aikido sur les deux applications ont pris moins de 20 minutes. En libre-service.
XBOW l’approbation d’un commercial avant de pouvoir lancer l’analyse. Puis un contrat DocuSign. Une fois enfin lancé, il a fallu 22 e-mails au support, trois redémarrages de l’analyse après des plantages, un compte de test supprimé, deux pannes d’infrastructure qui ont nécessité des mises à niveau EC2 en cours de mission. Le rapport Fider est arrivé cinq jours après la fin de l’analyse, onze jours après le début de la mission.
Les équipes de sécurité effectuent des tests d’intrusion sous pression. Onze jours pour obtenir les résultats et des plantages en cours de mission sont inacceptables.
XBOW un nouveau test dans les 30 jours. Aikido des retests illimités pendant 90 jours, sans frais supplémentaires, avec des résultats en quelques minutes. L'intérêt de détecter une vulnérabilité est de la corriger et de confirmer la correction. Si la confirmation de chaque correction nécessite une nouvelle mission, cela ralentit le cycle de correction ou ajoute des coûts non prévus au budget.
Les tests effectués par un seul utilisateur ne suffisent pas pour les applications basées sur les rôles
XBOW prend XBOW en charge les tests multi-utilisateurs ni la connexion via les réseaux sociaux. Pour quiconque teste des applications dotées d'un contrôle d'accès basé sur les rôles, cela pose un problème majeur et engendre des chemins d'accès non testés.
Des catégories entières de vulnérabilités d'autorisation nécessitent des tests sur plusieurs rôles d'utilisateurs. Les IDOR, l'escalade de privilèges et les failles d'autorisation au niveau des objets ne deviennent visibles que lorsque l'on peut comparer les accès d'un rôle à ceux d'un autre. Si l'on ne peut tester qu'en tant qu'utilisateur unique, ces vulnérabilités ne sont pas couvertes.
Ce qu'a conclu Doyensec
«Aikido plus performant en matière de configuration, de rapidité globale d'analyse et de génération de rapports, ainsi que dans la manière dont son approche d'analyse a affecté l'application cible et son environnement. Il a également détecté un plus grand nombre de vrais positifs et a fourni des rapports d'une qualité légèrement supérieure. »
Nous avons commandé cette étude comparative car nous pensions qu'elle mettrait en évidence Aikido bonnes Aikido . Ce fut le cas. Il ne sert à rien de commander une étude indépendante si l'on ne publie pas les résultats obtenus.
Le rapport complet, comprenant la méthodologie, l'ensemble des résultats et le tableau contenant les données brutes, est disponible sur notre page dédiée aux rapports.
Lire le rapport complet de Doyensec →
Vous souhaitez découvrir ce Aikido à votre application ? Planifiez une démo
