pentest IA Il s'agit encore d'une catégorie relativement nouvelle, et ce terme recouvre des produits très différents présentés sous le même angle. Certains outils fonctionnent davantage comme des scanners automatisés (DAST , avec une couche LLM en guise de « maquillage »), tandis que d'autres explorent les flux de travail des applications, tentent des attaques en plusieurs étapes et valident leurs résultats sur un système en production. Il est donc important de ne pas se limiter à la terminologie et d'évaluer ce que le produit fait réellement dans la pratique.
Dans notre rapport intitulé « L'état des lieux de l'IA dans les tests d'intrusion », nous avons interrogé 200 responsables de la sécurité des systèmes d'information (RSSI) et 200 responsables techniques. 76 % d'entre eux ont déclaré mettre en production des modifications importantes chaque semaine, voire plus fréquemment, mais seuls 21 % vérifient la sécurité à chaque mise en production. C'est précisément à cela que servent les tests d'intrusion basés sur l'IA.
Cette liste de contrôle couvre les aspects qui, selon nous, revêtent le plus d'importance lors de l'évaluation d'un fournisseur de services d'pentest IA , notamment la validation et la qualité des signaux, l'exhaustivité des tests, l'accès au code, la fiabilité opérationnelle, l'intégration, les garde-fous techniques, la flexibilité des modèles, ainsi que la manière dont les tests s'intègrent à votre processus de développement existant.
Un moyen simple de rendre l'évaluation plus pertinente consiste à demander à chaque fournisseur un accès direct et à suivre le déroulement des tests en temps réel, plutôt que de se contenter de comparer les rapports finaux. Veillez à ce que le périmètre des tests soit comparable, évaluez l'effort nécessaire à la mise en œuvre de chaque test et tenez compte du budget ou de la capacité de test mobilisés par chaque fournisseur. Vous obtiendrez ainsi une comparaison beaucoup plus équitable, sur une base comparable.
pentest IA Aperçu des critères d'évaluation
- Validation et qualité du signal : les résultats s’accompagnent de preuves sur lesquelles vous pouvez vous appuyer pour agir directement
- pentest IA s approfondies : les agents testent les limites des autorisations et les flux en plusieurs étapes au sein de l'application
- Visibilité et rapports : vous pouvez voir ce qui a été testé et comment
- Rapidité et adaptation au flux de travail : les résultats sont disponibles à temps pour être pertinents
- Fiabilité opérationnelle : essais réalisés sans surveillance permanente
- Contrôle de la portée et sécurité : l'application des règles s'effectue au sein même du système
- Mise en place et intégration : un véritable test s'effectue sans longue phase de préparation
- Flexibilité en matière de modèles : pas de dépendance vis-à-vis d'un modèle ou d'un fournisseur unique
pentest IA liste de contrôle pour l'évaluation
La plupart des fournisseurs font bonne impression lors d'une démonstration. Les critères suivants mettent l'accent sur les performances réelles de leur produit.
Validation et qualité du signal
- Les résultats s'appuient sur des preuves solides et sont reproductibles
- Les problèmes sont validés par rapport à un système en production
- Les résultats peuvent être utilisés directement, sans triage supplémentaire.
- Les résultats reflètent les voies d'exploitation réelles
Profondeur de pentest IA
- Les tests portent sur les flux de travail, les rôles et l'état de l'application
- Les problèmes comportant plusieurs étapes peuvent être détectés et confirmés
- Les tests s'adaptent au comportement de l'application
- Peut-il utiliser le code source ou le contexte interne pour améliorer la couverture ?
L’accès au code influence davantage le résultat dans ce cas précis que n’importe quel autre facteur de cette liste. Sur plus de 1 000 tests d’intrusion basés sur l’IA, les missions avec accès au code ont permis de détecter, en moyenne, sept fois plus de vulnérabilités « élevées » et « critiques » que les tests sans cet accès, pour un coût par vulnérabilité détectée représentant environ la moitié de celui des agents.
Visibilité et rapports
- Vous pouvez voir ce qui a été testé et comment le système a réagi
- Les mesures prises au cours des essais sont clairement consignées
- Les rapports contiennent suffisamment de détails pour permettre de reproduire les problèmes
Rapidité et adaptation au flux de travail
- Il est possible d'effectuer un test pertinent sans longue mise en place
- Les résultats arrivent à temps pour pouvoir en tirer parti
- Les corrections peuvent être testées à nouveau et validées
- Les tests s'intègrent dans le processus de mise en production de logiciels de votre équipe
La durée d'exécution d'un test influe sur l'étendue réelle du système qu'il couvre. Une plateforme de services financiers a mené un test d'intrusion manuel de 120 heures qui n'a révélé aucun problème. La même application, testée à l'aide d'agents d'pentest IA s disposant d'un accès au code source, n'a pris qu'un peu plus de deux heures et a mis en évidence 13 problèmes valides, dont trois de gravité élevée que le test manuel n'avait absolument pas détectés. Demandez aux fournisseurs de vous fournir des données temporelles comparables en même temps que le rapport final.
Fiabilité opérationnelle
- Tests effectués sans redémarrages fréquents
- Les échecs sont compréhensibles lorsqu'ils surviennent
- Les courses ne nécessitent pas une surveillance constante
- Le système fonctionne de manière fiable au quotidien.
Tout système peut connaître des défaillances de temps à autre. Ce qui importe, c'est la fréquence de ces défaillances et l'effort nécessaire pour y remédier.
Contrôle de la portée et sécurité
- La portée est appliquée lors de l'exécution
- Les restrictions de portée sont appliquées par le système lui-même, indépendamment des instructions ou des règles.
- L'accès est limité à certains domaines
- La production n'est prise en compte que si elle est explicitement configurée.
- Les demandes hors champ d'application sont automatiquement bloquées
- Les vérifications préalables à l'exécution permettent de valider la portée et la configuration de l'environnement avant le début des tests
Demandez comment un fournisseur gère les agents dont le comportement n'est pas prévisible. Comme l'explique Philippe Dourassov, responsable des tests d'intrusion basés sur l'IA chez Aikido: « Il y aura toujours 5 % d'agents qui ne se comportent pas toujours de manière raisonnable, et c'est pourquoi nous veillons à gérer ces 5 %. » Un fournisseur qui n'apporte pas de réponse claire à cette question s'en remet au jugement du modèle plutôt qu'à un dispositif de sécurité intégré au système.
Pour plus d'informations sur la sécurisation des agents de tests d'intrusion basés sur l'IA dès la conception, consultez cet article.
Isolation et protection des données
- L'accès sortant et l'exfiltration de données sont limités pendant l'exécution
- Les données restent au sein des environnements autorisés
- Les environnements d'exécution sont isolés les uns des autres
- Les tests peuvent être surveillés, mis en pause et interrompus immédiatement
Configuration et intégration
- Il est possible de lancer un test sans passer par un long processus d'intégration
- La configuration est très simple
- L'authentification et la configuration de la portée sont stables
C'est souvent lors de la configuration que les problèmes apparaissent dès le début. Si la mise en route s'avère difficile, cela se répercute généralement sur l'utilisation quotidienne.
Flexibilité du modèle et niveau de validation
- Le produit n'est pas lié à un modèle d'IA ou à un fournisseur en particulier.
- Différents modèles peuvent être utilisés pour différentes tâches de test.
- Plusieurs agents peuvent explorer et effectuer des tests simultanément
- Les agents peuvent s'adapter en fonction du comportement de l'application pendant les tests
- Les tests ne se limitent pas aux signatures de vulnérabilités prédéfinies
- Les agents peuvent suivre des chaînes d'attaques en plusieurs étapes et enchaîner les vulnérabilités entre elles
- Les résultats sont validés par des tests sur un système en production ; ainsi, aucune conclusion n'est tirée uniquement à partir des résultats du modèle.
- Le comportement du modèle est encadré par des garde-fous techniques pendant l'exécution
Si un fournisseur ne parvient pas à satisfaire clairement à ces critères, les résultats devront à terme faire l'objet d'une validation manuelle pour être considérés comme fiables, ce qui va à l'encontre de l'objectif de l'pentest IA.
Signaux d'alerte à surveiller
- Les tests ne s'exécutent pas de manière fiable
- L'installation prend trop de temps
- Ces conclusions ne sont pas avérées
- Les résultats ne débouchent pas sur des solutions
- Pas de nouveau test intégré
- Ces tests ne portent que sur les comportements superficiels
- La portée n'est pas imposée d'un point de vue technique
- Ça a l'air bien dans une démo, mais ça pose problème dans la pratique
Liste rapide des points à vérifier auprès des fournisseurs
- S'exécute lorsque vous effectuez un envoi
- Offre la possibilité d'accéder au code pour une analyse plus approfondie
- Identifie des problèmes réels et validés
- Détecte les failles logiques et d'autorisation
- Facile à mettre en route
- Reste dans les limites du champ d'application défini
- Est-ce suffisamment rapide pour s'adapter à votre calendrier de lancement ?
- Des résultats que vous pouvez reproduire
- Les corrections sont vérifiées
- S'adapte à la manière dont votre équipe déploie et corrige le code
- Fonctionne de manière fiable
Preuve tirée de la pratique
Tyro, la société australienne spécialisée dans les paiements financiers, a mené une étude de faisabilité comparant l’ pentest IA e à ses testeurs humains habituels sur un nouveau produit de santé avant son lancement.
« Nos testeurs d’intrusion habituels ont mis environ 15 jours. Nous avons réalisé le même test avec la solution de test d’intrusion par IA d’ Aikido. Cela a pris cinq heures et demie et a permis de détecter environ 30 failles, dont neuf à risque élevé, alors que les testeurs humains n’en avaient trouvé que cinq, dont une à risque élevé », a déclaré Arun Singh, ancien responsable de la sécurité de l’information chez Tyro.
Le plan prévu pour l'avenir consiste à conserver les auditeurs humains tout en intégrant l'IA pour élargir la couverture : « Notre plan repose sur un modèle hybride, combinant des tests d'intrusion et des audits de code basés sur l'IA, avec une vérification humaine effectuée par nos partenaires spécialisés dans les tests d'intrusion. Les coûts sont nettement inférieurs à ce que nous payions auparavant, ce qui nous permet d'en faire beaucoup plus avec les ressources dont nous disposons. »
Mettez-le à l'épreuve
Le moyen le plus rapide de mettre en œuvre cette liste de contrôle consiste à observer le fonctionnement des fournisseurs eux-mêmes. Demandez l'accès à leur plateforme, effectuez un test comparable avec chacun d'entre eux et évaluez-les en fonction des critères ci-dessus pendant le déroulement du test.
Découvrez comment ces critères se vérifient sur une plateforme en production, ou consultez le Guide d'achat complet sur les tests d'intrusion basés sur l'IA pour prendre connaissance de l'étude complète sur laquelle s'appuie cette liste de contrôle.
