Quand le pentest IA est-il réellement sûr à exécuter sur des systèmes réels ?
Si le pentest IA vous inquiète, vous n'êtes pas en retard. Vous êtes probablement en avance.
Les tests de sécurité sont l'un des premiers domaines où l'IA ne se contente plus d'aider les humains, mais agit de manière autonome. Les systèmes modernes de pentest IA explorent les applications de manière indépendante, exécutent des actions réelles et s'adaptent en fonction de ce qu'ils observent.
C'est puissant. Cela soulève également de très réelles questions concernant le contrôle, la sécurité et la confiance.
Cet article ne porte pas sur l'efficacité du pentest IA. Il s'agit de savoir quand il est réellement sûr de l'exécuter.
Pourquoi le scepticisme concernant le pentest IA est raisonnable
La plupart des responsables de la sécurité avec qui nous discutons ne sont pas anti-IA. Ils sont prudents, et pour de bonnes raisons.
Ils s'inquiètent notamment de :
- La perte de contrôle sur ce qui est testé
- Des agents interagissant accidentellement avec des systèmes de production
- Le bruit masquant les problèmes réels
- La gestion de données sensibles de manière peu claire
- Des outils se comportant comme des boîtes noires qu'ils ne peuvent pas expliquer en interne
Ces préoccupations sont valides, d'autant plus qu'une grande partie de ce qui est étiqueté « pentest IA » aujourd'hui ne contribue pas à renforcer la confiance dans ce domaine.
Certains outils sont des DAST auxquels un LLM a été ajouté. D'autres sont des systèmes basés sur des listes de contrôle où les agents testent un problème après l'autre. Les deux approches sont limitées, et aucune ne vous prépare à ce qui se passe lorsque les systèmes agissent de manière autonome.
Le véritable pentest IA est différent, et cette différence modifie les exigences de sécurité.
Ce qui change avec le véritable pentest IA
Contrairement aux scanners ou aux outils suivant des instructions, les véritables systèmes de pentest IA :
- Prennent des décisions autonomes
- Exécutent des outils et des commandes réels
- Interagissent avec des applications et des API en production
- Adaptent leur comportement en fonction des retours
- Fonctionnent souvent à grande échelle avec de nombreux agents en parallèle
Une fois ce niveau d'autonomie atteint, l'intention et les instructions ne suffisent plus. La sécurité doit être appliquée techniquement, même lorsque le système se comporte de manière inattendue.
Cela mène à une question simple.
Que requiert réellement un pentest IA « sécurisé » ?
Basé sur l'exploitation de systèmes de pentest IA en pratique, une base de référence claire commence à émerger. Ce sont les exigences que nous estimons nécessaires avant qu'un pentest IA ne soit considéré comme sûr à exécuter.
Cette liste est volontairement concrète. Chaque exigence décrit quelque chose qui peut être vérifié, appliqué ou audité, et non un principe ou une bonne pratique.
1. Validation de la propriété et prévention des abus
Un système de pentest IA ne doit être utilisable que contre les actifs dont l'opérateur est propriétaire ou qu'il est explicitement autorisé à tester.
Au minimum :
- La propriété doit être vérifiée avant le début des tests
- L'autorisation doit être appliquée techniquement, et non par de simples déclarations d'utilisateur
Sans cela, une plateforme de pentest IA devient un outil d'attaque généralisé. La sécurité commence avant même l'envoi de la première requête.
2. Contrôle du périmètre au niveau du réseau
Les agents finiront par dériver. C'est un comportement attendu, pas un bug.
Pour cette raison :
- Chaque requête sortante doit être inspectée de manière programmatique
- Les cibles doivent être explicitement mises sur liste blanche
- Toutes les destinations non autorisées doivent être bloquées par défaut
Le contrôle du périmètre ne peut pas reposer sur des invites ou des instructions. Il doit s'effectuer au niveau du réseau, sur chaque requête.
Exemple :
- Les agents chargés de tester un environnement de staging tenteront parfois de suivre des liens vers la production. Sans contrôle réseau, cette erreur atteint la cible. Avec lui, la requête est bloquée avant de quitter le système.
3. Isolation entre le raisonnement et l'exécution
Les systèmes de pentest agentiques exécutent de vrais outils tels que des commandes bash ou des scripts Python. Cela introduit un risque d'exécution.
Les exigences minimales de sécurité incluent :
- Séparation stricte entre le raisonnement de l'agent et l'exécution des outils
- Environnements d'exécution en sandbox
- Isolation entre les agents et entre les clients
Si un agent se comporte mal ou est manipulé, l'exécution doit rester entièrement contenue.
Exemple :
- Les premières tentatives d'exécution de commandes peuvent sembler réussies mais s'exécutent en réalité localement. La validation et l'isolation empêchent que ces résultats soient mal interprétés ou qu'ils ne dépassent les limites du sandbox.
4. Validation et contrôle des faux positifs
Les systèmes autonomes généreront des hypothèses erronées. C'est attendu.
Un système sécurisé doit :
- Traiter les premières découvertes comme des hypothèses
- Reproduire le comportement avant de le signaler
- Utiliser une logique de validation distincte de la phase de découverte
Sans cela, les ingénieurs sont submergés par le bruit et les problèmes réels sont ignorés.
Exemple :
- Un agent signale une potentielle injection SQL en raison de réponses retardées. Une étape de validation rejoue la requête avec différentes charges utiles et rejette la découverte lorsque les retards ne sont pas cohérents.
5. Observabilité complète et contrôles d'urgence
Le pentest IA ne doit pas être une boîte noire.
Les opérateurs doivent pouvoir :
- Inspecter chaque action effectuée par les agents
- Surveiller le comportement en temps réel
- Arrêter immédiatement toute activité si quelque chose semble anormal
Les mécanismes d'arrêt d'urgence sont une exigence de sécurité fondamentale, et non une fonctionnalité avancée.
6. Garanties de résidence et de traitement des données
Les systèmes de pentest IA traitent des données d'application sensibles.
Les exigences minimales incluent :
- Des garanties claires sur l'endroit où les données sont traitées et stockées
- Une isolation régionale si nécessaire
- Aucun mouvement de données inter-régions par défaut
Sans cela, de nombreuses organisations ne peuvent pas adopter le pentest IA, quelle que soit leur capacité technique.
7. Contention de l'injection de prompt
Les agents interagissent avec du contenu d'application non fiable par conception. L'injection de prompt doit être anticipée.
Les systèmes sécurisés doivent :
- Restreindre l'accès aux sources de données externes non contrôlées
- Prévenir les chemins d'exfiltration de données
- Isoler les environnements d'exécution afin que les instructions injectées ne puissent pas échapper au périmètre
L'injection de prompt n'est pas un cas limite. Elle fait partie du modèle de menace.
Ce que cela promet et ne promet pas
Les systèmes autonomes, tout comme les humains, manqueront certaines problématiques.
L'objectif n'est pas la perfection. L'objectif est de révéler les risques matériellement exploitables plus rapidement, plus sûrement et à une plus grande échelle que les modèles de test ponctuels existants.
Pourquoi nous avons publié un standard de sécurité
Nous avons eu les mêmes conversations avec les équipes de sécurité.
Ils ne demandaient pas plus d'IA. Ils cherchaient à savoir comment évaluer si un système était sûr à exécuter.
Tant qu'il n'y a pas de référentiel commun, les équipes sont laissées à deviner si les outils de pentest IA fonctionnent de manière responsable ou s'ils considèrent simplement la sécurité comme acquise.
Nous avons donc formalisé ce que nous considérons comme le seuil minimal. Pas une liste de contrôle produit. Pas une comparaison. Mais un ensemble d'exigences applicables que les équipes peuvent utiliser pour évaluer les outils et poser de meilleures questions.
Lire le Standard de Sécurité Complet
Si vous souhaitez une version concise et neutre vis-à-vis des fournisseurs de cette liste, que vous pouvez partager en interne ou utiliser lors de l'évaluation d'outils, nous l'avons publiée au format PDF.
Il comprend également une annexe montrant comment une implémentation, Aikido Attack, correspond à ces exigences pour une transparence accrue.
Découvrez comment cela fonctionne en pratique
Si vous êtes curieux de savoir comment ces exigences de sécurité sont implémentées dans un véritable système de pentest IA, vous pouvez également consulter Aikido Attack, notre approche des tests de sécurité pilotés par l'IA.
Il a été conçu pour répondre à ces contraintes, en se basant sur ce qui devient nécessaire lorsque les systèmes de pentest IA opèrent sur des applications réelles à grande échelle.
Vous pouvez explorer son fonctionnement, ou utiliser cette liste pour évaluer tout outil que vous envisagez.
