Quand est-il pentest IA sûr d'effectuer pentest IA sur des systèmes réels ?
Si vous vous sentez mal à l'aise avec les tests d'intrusion basés sur l'IA, vous n'êtes pas en retard. Vous êtes probablement en avance.
Les tests de sécurité sont l'un des premiers domaines où l'IA ne se contente plus d'aider les humains, mais agit de manière autonome. pentest IA modernes pentest IA explorent les applications de manière indépendante, exécutent des actions réelles et s'adaptent en fonction de ce qu'ils observent.
C'est très puissant. Cela soulève également des questions très concrètes concernant le contrôle, la sécurité et la confiance.
Cet article ne traite pas de pentest IA . Il traite plutôt des conditions dans lesquelles il peut être utilisé en toute sécurité.
Pourquoi le scepticisme à l'égard pentest IA raisonnable
La plupart des responsables de la sécurité avec lesquels nous discutons ne sont pas opposés à l'IA. Ils sont prudents, et ce pour de bonnes raisons.
Ils s'inquiètent de choses telles que :
- Perte de contrôle sur ce qui est testé
- Agents interagissant accidentellement avec les systèmes de production
- Le bruit étouffe les vrais problèmes
- Données sensibles traitées de manière peu claire
- Outils se comportant comme des boîtes noires dont ils ne peuvent expliquer le fonctionnement interne
Ces préoccupations sont légitimes, d'autant plus qu'une grande partie de ce qui est aujourd'hui qualifié de «pentest IAne contribue pas à renforcer la confiance dans ce domaine.
Certains outils sont DAST s'ajoute un LLM. D'autres sont des systèmes basés sur des listes de contrôle où les agents testent les problèmes les uns après les autres. Ces deux approches ont leurs limites et aucune ne vous prépare à ce qui se passe lorsque les systèmes agissent de manière autonome.
Les véritables tests de pénétration IA sont différents, et cette différence modifie le niveau de sécurité.
Quels changements avec les tests de pénétration basés sur l'IA véritable ?
Contrairement aux scanners ou aux outils qui suivent des instructions, les véritables systèmes de test d'intrusion basés sur l'IA :
- Prendre des décisions de manière autonome
- Exécuter des outils et des commandes réels
- Interagir avec des applications et des API en direct
- Adapter leur comportement en fonction des commentaires reçus
- Souvent exécuté à grande échelle avec de nombreux agents en parallèle
Une fois ce niveau d'autonomie atteint, les intentions et les instructions ne suffisent plus. La sécurité doit être assurée techniquement, même lorsque le système se comporte de manière inattendue.
Cela conduit à une question simple.
Que requiert pentest IA « sécurisé » ?
Sur la base de l'utilisation pratique pentest IA , une base de référence claire commence à se dessiner. Voici les exigences qui, selon nous, doivent être remplies avant que pentest IA considéré comme sûr.
Cette liste est volontairement concrète. Chaque exigence décrit quelque chose qui peut être vérifié, appliqué ou contrôlé, et non un principe ou une bonne pratique.
1. Validation de la propriété et prévention des abus
pentest IA ne doit être utilisable que sur les actifs dont l'opérateur est propriétaire ou qu'il est explicitement autorisé à tester.
Au minimum :
- La propriété doit être vérifiée avant le début des tests.
- L'autorisation doit être appliquée techniquement, et non par le biais de déclarations des utilisateurs.
Sans cela, une pentest IA devient un outil d'attaque général. La sécurité commence avant même que la première requête ne soit envoyée.
2. Application de la portée au niveau du réseau
Les agents finiront par dériver. Il s'agit d'un comportement normal, et non d'un bug.
Pour cette raison :
- Chaque requête sortante doit être inspectée par programmation.
- Les cibles doivent être explicitement autorisées.
- Toutes les destinations non autorisées doivent être bloquées par défaut.
L'application du champ d'application ne peut pas reposer sur des invites ou des instructions. Elle doit se faire au niveau du réseau, à chaque requête.
Exemple :
- Les agents chargés de tester un environnement de préproduction tentent parfois de suivre les liens vers la production. Sans contrôle réseau, cette erreur atteint sa cible. Avec contrôle, la requête est bloquée avant de quitter le système.
3. Isolation entre le raisonnement et l'exécution
Les systèmes de test d'intrusion agentiels exécutent des outils réels tels que des commandes bash ou des scripts Python. Cela introduit un risque d'exécution.
Les exigences minimales de sécurité comprennent :
- Séparation stricte entre le raisonnement de l'agent et l'exécution de l'outil
- Environnements d'exécution sandboxés
- Isolation entre les agents et entre les clients
Si un agent se comporte mal ou est manipulé, l'exécution doit rester entièrement confinée.
Exemple :
- Les premières tentatives d'exécution de commandes peuvent sembler réussies, mais elles s'exécutent en réalité localement. La validation et l'isolation empêchent que ces résultats soient mal interprétés ou qu'ils s'étendent au-delà du bac à sable.
4. Validation et contrôle des faux positifs
Les systèmes autonomes généreront des hypothèses erronées. C'est tout à fait normal.
Un système sécurisé doit :
- Considérez les premières conclusions comme des hypothèses.
- Reproduisez le comportement avant de le signaler.
- Utilisez une logique de validation distincte de la découverte.
Sans cela, les ingénieurs sont submergés par le bruit et les vrais problèmes passent inaperçus.
Exemple :
- Un agent signale une injection SQL potentielle en raison de réponses retardées. Une étape de validation rejoue la requête avec différentes charges utiles et rejette le résultat lorsque les retards ne sont pas cohérents.
5. Observabilité complète et contrôles d'urgence
pentest IA ne pentest IA pas être une boîte noire.
Les opérateurs doivent être capables de :
- Inspectez chaque action effectuée par les agents
- Surveiller le comportement en temps réel
- Arrêtez immédiatement toute activité si quelque chose semble anormal.
Les mécanismes d'arrêt d'urgence constituent une exigence de sécurité fondamentale, et non une fonctionnalité avancée.
6. Garanties relatives à la résidence et au traitement des données
pentest IA traitent des données d'application sensibles.
Les exigences minimales sont les suivantes :
- Garanties claires quant au lieu de traitement et de stockage des données
- Isolement régional lorsque nécessaire
- Aucun transfert de données entre régions par défaut
Sans cela, de nombreuses organisations ne peuvent pas adopter pentest IA leurs capacités techniques.
7. Confinement rapide des injections
Les agents interagissent avec du contenu d'application non fiable par conception. Il faut s'attendre à une injection de prompt.
Les systèmes sécurisés doivent :
- Restriction de l'accès aux sources de données externes non contrôlées
- Empêcher les voies d'exfiltration des données
- Isoler les environnements d'exécution afin que les instructions injectées ne puissent pas escape
L'injection rapide n'est pas un cas marginal. Elle fait partie du modèle de menace.
Ce que cela promet et ne promet pas
Les systèmes autonomes, tout comme les humains, passeront à côté de certains problèmes.
L'objectif n'est pas la perfection. L'objectif est de mettre en évidence les risques matériellement exploitables plus rapidement, de manière plus sûre et à plus grande échelle que les modèles de test ponctuels existants.
Pourquoi nous avons publié une norme de sécurité
Nous avons continué à avoir les mêmes conversations avec les équipes de sécurité.
Ils ne demandaient pas davantage d'IA. Ils demandaient comment évaluer si un système était sûr à utiliser.
Tant qu'il n'y aura pas de base commune, les équipes continueront à se demander si pentest IA fonctionnent de manière responsable ou s'ils se contentent de présumer de la sécurité.
Nous avons donc rédigé ce que nous considérons comme le minimum requis. Il ne s'agit pas d'une liste de contrôle des produits, ni d'une comparaison, mais d'un ensemble d'exigences applicables que les équipes peuvent utiliser pour évaluer les outils et poser de meilleures questions.
Lire l'intégralité de la norme de sécurité
Si vous souhaitez obtenir une version concise et indépendante de cette liste, que vous pouvez partager en interne ou utiliser pour évaluer des outils, nous l'avons publiée au format PDF.
Il comprend également une annexe montrant comment une implémentation, Aikido , répond à ces exigences de transparence.
Découvrez comment cela fonctionne dans la pratique
Si vous souhaitez savoir comment ces exigences de sécurité sont mises en œuvre dans un véritable pentest IA , vous pouvez également consulter Aikido , notre approche des tests de sécurité basés sur l'IA.
Il a été conçu pour répondre à ces contraintes, en se basant sur ce qui devient nécessaire une fois que pentest IA fonctionnent à grande échelle sur des applications réelles.
Vous pouvez découvrir comment cela fonctionne ou utiliser cette liste pour évaluer tout outil que vous envisagez d'utiliser.
Sécurisez votre logiciel dès maintenant.
