Une évaluation de modèle de routine a dégénéré en compromission complète de l'infrastructure, sans que personne ne soit aux commandes. Nous n'aurions pas pu l'imaginer il y a quelques mois. Aujourd'hui, avec un nombre croissant d'agents IA en liberté, cela commence à devenir banal.
Les réactions n'ont pas manqué sur X pour expliquer pourquoi cela se reproduit sans cesse (Est-ce simplement pour la crédibilité de la PR ? Ou devons-nous craindre l'avenir ?). Au-delà de ces deux histoires, ce qui a retenu notre attention, c'est ce que cela implique quant à la dépendance déjà forte des défenseurs envers des modèles qu'ils ne contrôlent pas.
À la Black Hat, les propres chercheurs d'OpenAI ont décrit le déroulement exact de l'incident. Tout a commencé lorsque des agents bloqués sur des tâches impossibles ont commencé à se laisser des messages dans un gestionnaire de packages partagé, le seul élément d'infrastructure accessible à chaque exécution de modèle, alors même qu'ils étaient par ailleurs isolés (sandbox) sans accès à Internet. D'autres agents bloqués sont tombés sur ces messages par accident, créant ainsi un forum de discussion. L'un de ces messages s'est avéré être une faille permettant de contourner totalement la sandbox, et chaque modèle l'ayant lu a pu l'utiliser à son tour.
Dans la phase finale, les agents sont passés de l'exécution de code sur un simple pod de traitement de jeu de données dans l'infrastructure de production de Hugging Face à un accès administrateur de cluster sur plusieurs clusters Hugging Face, en moins de 13 heures.
Pour mettre les choses en perspective, ce travail pourrait demander à une équipe rouge humaine des semaines d'efforts délibérés, mais tout cela s'est produit de manière non supervisée, aléatoire et collatérale. C'est un peu comme si, dans une mission de livraison de véhicule dans GTA, vous voliez un tank en chemin, déclenchiez une course-poursuite avec la police et finissiez par semer le chaos dans toute la ville.
Pourquoi vous avez besoin d'un plan B pour votre fournisseur d'IA
Mais ce qui est encore plus pertinent, c'est ce qu'a déclaré sur scène le chercheur d'OpenAI Eric Wallace :
« L'objectif ultime que nous souhaitons atteindre en tant qu'industrie est que les améliorations de l'intelligence des modèles profitent davantage à la défense qu'à l'attaque. Si nous n'atteignons pas cet objectif, chaque augmentation de l'intelligence favorisera l'attaquant, et c'est une position intenable. »
Il a mis au défi les acteurs de l'industrie de traiter ce problème en priorité (car c'en est une !). Si l'industrie ne le résout pas, le rapport de force penchera de plus en plus vers l'attaquant plutôt que vers le défenseur.
Et pourtant, il semble que chaque semaine, un nouvel agent IA soit en liberté et attaque une autre organisation. Résoudre ce problème va au-delà des détails techniques de la sandbox et du harnais. La vraie question est de savoir à qui une entreprise ou une agence gouvernementale peut réellement faire confiance. La suspension de Fable par Anthropic en est un bon exemple : du jour au lendemain, les outils de l'un des principaux fournisseurs de modèles d'IA réputés ont été retirés à toutes les équipes qui en dépendaient.
Selon Alex Stamos, responsable de la sécurité des systèmes d'information chez Corridor.dev : « Cela indique que l'on ne peut pas dépendre de l'infrastructure d'IA américaine car, à tout moment, une justification non écrite, capricieuse et juridiquement douteuse peut être invoquée pour vous retirer cette infrastructure sous les pieds. »
Cela a offert une opportunité aux modèles concurrents venus de Chine, notamment les modèles à poids ouverts (open-weights). Kimi a lancé un avertissement sévère à OpenAI et Anthropic concernant ce qui allait suivre avec des performances similaires à celles de Fable.
Même après la levée de la suspension de Fable, la nouvelle version introduite par Anthropic a aggravé le problème en ajoutant de nouvelles mesures de protection. Lorsque les agents d'OpenAI ont attaqué Hugging Face, cette dernière a tenté d'utiliser Fable et Opus 4.8 d'Anthropic pour l'enquête. Cependant, tous deux disposaient de garde-fous stricts en matière de cybersécurité qui bloquaient leurs requêtes. Ils ont donc configuré à la place GLM 5.2, un modèle à poids ouverts, pour effectuer leur analyse de traçabilité sur leur propre matériel.

Tout cela pour dire que ce n'est pas parce que les modèles américains sont les plus connus, les plus performants (bien que des concurrents comme Kimi K3 rattrapent leur retard) et donc les plus accessibles à l'heure actuelle qu'ils le seront toujours. Ils sont là pour être utilisés, tout en ayant à l'esprit qu'un problème surgit s'il n'y a pas de plan B lorsque la situation change selon le calendrier d'autrui.
Quelle doit donc être la réponse de l'industrie à ce problème ?
Selon Wallace d'OpenAI, l'un des défis les plus urgents à relever pour l'industrie est le « red teaming agentique continu » :
« Il est nécessaire d'investir dans le red teaming d'agents IA afin de permettre aux équipes de défense de détecter et de corriger les vulnérabilités avant que les attaquants ne le fassent. »
Il a toutefois prévenu que cette boucle devait être entièrement automatisée, de la découverte des vulnérabilités jusqu'au patching et à la correction.
Stamos a suggéré que les modèles à poids ouverts constitueront un formidable moteur d'innovation et de croissance pour les entreprises. Au-delà de leur rentabilité, il cite comme un avantage significatif la souveraineté des données pour un nombre croissant de juridictions et d'entreprises qui ne peuvent pas envoyer leur code ou leurs données vers un cloud américain. En outre, il ajoute :
« Il existe une demande réelle et légitime pour des modèles locaux (on-premises) ultra-rapides capables de fonctionner de manière déconnectée. »
En combinant ces trois éléments, la réponse de l'industrie à l'avertissement de Wallace saute aux yeux : une défense qui s'exécute en continu, sur des modèles qui rendent cela abordable, sur une infrastructure que personne d'autre ne peut vous retirer.
Où cela nous mène-t-il
Si vous ne maîtrisez pas votre infrastructure de sécurité, vous dépendez de la décision d'un tiers quant à sa disponibilité. La faille chez Hugging Face a montré jusqu'où une attaque pouvait s'intensifier dès lors que personne n'a à valider l'étape suivante. Le récit de Stamos concernant la suspension de Fable a mis en évidence le même problème sous un autre angle : les outils d'un fournisseur de confiance ont soudainement cessé de fonctionner pour les équipes qui en dépendaient, pour des raisons totalement étrangères à l'efficacité réelle de ces outils.
Toutefois, intégrer des agents IA sur votre propre infrastructure ne résout pas tout en soi. Un agent non confiné explorera toutes les portes à sa portée, qu'il s'exécute sur votre réseau ou sur le cloud d'un tiers. Le déplacer sur votre propre matériel n'est utile que si le système lui-même l'empêche de divaguer. Les tests doivent s'exécuter en continu, sur une infrastructure que vous possédez réellement. Et les agents qui les effectuent doivent être soumis à des limites appliquées par le système lui-même.
Si votre équipe a besoin de ce que défend cet article, Aikido Machine fonctionne entièrement sur vos propres serveurs (on-premises) avec un accès optionnel à votre code (whitebox/blackbox), et peut opérer en mode entièrement isolé (air-gapped) lorsque rien ne doit quitter les locaux. Il adopte la même approche de contrôle du périmètre que nous avons conçue pour Aikido Attack : un confinement intégré au système plutôt que confié à de simples consignes. Sur Aikido Machine, ce confinement s'étend également à la couche réseau. Deux banques européennes l'utilisent déjà. Planifiez un briefing technique ici.
.png)


