AIKIDO ARENA
Benchmarks de modèles d'IA pour la cybersécurité
Découvrez les meilleurs modèles pour la cybersécurité. Nous testons des modèles de pointe face à des vulnérabilités dans des logiciels réels. Mis à jour au fil des nouvelles versions de modèles.
Journal des modifications
12 novembre 2026
- Ajout des résultats de la mission Gemini 4 Argon
- Il a détecté 28 vulnérabilités sur 32 au niveau « pass@3 », à égalité avec DeepSeek V4.1 Flash 1017 et à une unité derrière GPT-6 Astra.
- Un seul calcul a donné un résultat moyen de 82,3 % ; en combinant les trois, on a atteint 87,5 %.
- Il a atteint un taux de précision de 93 %.
- À 59,59 $ par vulnérabilité identifiée, son prix est inférieur de plus de moitié à celui de GPT-6 Astra (135,23 $).
- Ajout des résultats de Gemini 3.8 Flash Cyber
- Il a révélé que 25 vulnérabilités sur 32 avaient réussi le test « pass@3 », à égalité avec le Xiaomi MiMo 2.6 Pro, le GLM-5.3 et le GPT-5.6 Sol.
- Une seule analyse a donné un résultat moyen de 65,6 % ; en combinant les trois, on a atteint 78,1 %.
- Il a atteint un taux de précision de 80,4 %, soit le plus faible de tous les modèles présentés.
- À 37,14 $ par vulnérabilité détectée, ce service coûte plus cher que le Xiaomi MiMo 2.6 Pro (11,79 $) et le GLM-5.3 (19,65 $), qui ont détecté le même nombre de vulnérabilités.
- Muse Wonder 1.0, Kimi K3 et Qwen3.8 Max (retirés de la circulation)
28 octobre 2026
- Modèles retirés : GPT-5.6 Terra, Grok 4.6, DeepSeek V4 Pro 0813, DeepSeek V4 Flash 0731, GLM-5.3 Flash et Claude Haiku 5.5
27 octobre 2026
- Ajout des résultats de DeepSeek V4.1 Flash 1017, qui remplacent l'instantané 0910
- Il a détecté 28 vulnérabilités sur 32 au niveau « pass@3 », à égalité avec DeepSeek V4 Pro 0813 et une de moins que GPT-6 Astra.
- Il a atteint un taux de précision de 86,4 %, en hausse par rapport aux 78,9 % enregistrés pour l'instantané 0910, et le plus élevé de tous les modèles DeepSeek du tableau.
- Un seul calcul a donné un résultat moyen de 70,8 % ; en combinant les trois, on a atteint 87,5 %.
- Avec 2,40 $ par CVE détectée, elle est à égalité avec Claude Haiku 5.5 et n'est devancée que par GPT-6 Luna (2,01 $).
- Ajout des résultats du test Flash MiniMax M3.1
- Il a détecté 24 vulnérabilités sur 32 au niveau « pass@3 », contre 28 sur 32 pour DeepSeek V4.1 Flash 1017.
- Une seule exécution a donné un résultat moyen de 59,4 %, contre 70,8 % pour DeepSeek V4.1 Flash 1017 ; en combinant les trois, on a atteint 75 %.
- Il a atteint un taux de précision de 80,5 %, ce qui correspond à un taux de faux positifs supérieur d'environ 40 % à celui de DeepSeek V4.1 Flash 1017.
- À 4,20 $ par vulnérabilité identifiée, son coût est nettement supérieur à celui de DeepSeek V4.1 Flash 1017 (2,40 $).
- Il a détecté un bug de désérialisation dans spring-kafka lors des trois exécutions, que Opus 5 et Qwen 3.8 Max n'ont pas détecté à chaque fois.
- Dans les traces, il compare les autorisations entre les terminaux voisins et vérifie de quels droits d'accès un attaquant aurait déjà besoin, ce qui permet d'éliminer les informations superflues de ses rapports.
- Il peut également se retrouver pris dans des boucles de raisonnement ; une étude a ainsi généré plus d'un million de caractères de raisonnement.
- Il tient plutôt bien la route, mais au regard des alternatives disponibles aujourd'hui, nous ne le recommanderions pas pour les tâches liées à la cybersécurité.
- DeepSeek V4.1 Flash (0910) : version retirée de la circulation
13 octobre 2026
- Ajout des résultats de Muse Wonder 1.0
- Il a détecté 26 vulnérabilités sur 32 au niveau « pass@3 », soit le même nombre qu'Opus 5 et Grok 4.6.
- Une seule exécution a permis d'obtenir un taux moyen de 57,3 % ; en combinant trois exécutions, ce taux est passé à 81,3 %. Seules 12 vulnérabilités CVE ont été détectées lors des trois exécutions ; l'outil donne donc les meilleurs résultats lorsqu'on l'exécute trois fois.
- Il a atteint un taux de précision de 80,8 %, ne devançant que les modèles DeepSeek du classement. Des rapports moins rigoureux partaient du principe qu'un attaquant pourrait exploiter la faille, ou que le code en aval l'utiliserait à mauvais escient, sans vérifier ni l'un ni l'autre.
- Il écarte les hypothèses qui ne tiennent pas la route. Lors d'une analyse, il a soupçonné l'absence d'un contrôle de propriété, a suivi chaque appelant, a constaté que chacun d'entre eux était protégé, et a renoncé après 27 itérations.
- À 71,75 $ par CVE détecté, ce service coûte plus cher qu’Opus 5 (64,96 $). Seuls 41,3 % de ses données provenaient du cache, contre 79,5 % à 91,1 % pour les modèles GPT et Haiku que nous avons testés ; par conséquent, un nombre bien plus important de tokens est facturé au prix fort.
8 octobre 2026
- Ajout des résultats de Claude Haiku 5.5
- Il a détecté 17 vulnérabilités sur 32 au niveau « pass@3 », à égalité avec GPT-6 Luna. Tous les CVE qu’il a détectés ont également été repérés par Opus 5.
- Il a atteint un taux de précision de 94 %, supérieur aux 87 % d'Opus 5.
- Une exécution a donné un taux moyen de 36,5 % ; en combinant trois exécutions, ce taux est passé à 53,1 %. Seules 6 vulnérabilités CVE ont été détectées lors des trois exécutions, soit le nombre le plus faible parmi tous les modèles du classement ; les exécutions supplémentaires s'avèrent donc plus rentables pour Haiku que pour tout autre modèle que nous avons testé.
- À 2,40 dollars par CVE détectée, c'est le troisième modèle le moins cher du classement, derrière GPT-6 Luna et DeepSeek V4.1 Flash. Opus 5 coûte 64,96 dollars par CVE détectée.
2 octobre 2026
- Résultats pour Xiaomi MiMo 2.6 Pro ajoutés
- Il a détecté 25/32 vulnérabilités (pass@3), égalant GPT-6.1 Sol, Kimi K3 et GLM 5.3, et se trouvant à une seule unité d'Opus 5
- Il a obtenu une précision de 88 %, devançant tous les modèles Qwen et DeepSeek.
- Une seule exécution a trouvé 64,6 % en moyenne ; en combiner trois a permis d'atteindre 78,1 %.
- Tout cela pour seulement 11,79 $ par CVE trouvée.
29 septembre 2026
- Résultats pour Grok 4.7 ajoutés
- La version 4.7 a trouvé 3 vulnérabilités que la 4.6 avait manquées à chaque fois, tandis que la 4.6 en a trouvé 2 que la 4.7 avait manquées. Le compromis réside dans la reproductibilité. La version 4.7 en a trouvé 18/32 lors des trois exécutions, contre 21/32 pour la 4.6. Plus de portée au détriment d'un peu de cohérence.
- Résultats pour GPT-6 Luna et GPT-6 Sol ajoutés
- Nous avons testé GPT-6 Luna et Sol sur notre benchmark cyber de 32 CVE et les résultats ont été inattendus ! Luna a redécouvert 53,1 %. Sol a atteint 68,8 %.
- Aucun des deux n'a surpassé les variantes de GPT-5.6 en matière de rappel. Mais tous deux sont BEAUCOUP moins chers par vulnérabilité trouvée : Luna est passé de 3,43 $ à 2,01 $/CVE et Sol de 56,88 $ à 34,18 $/CVE.
11 septembre 2026
- Résultats pour GPT-6 Astra et GLM-5.3 Flash ajoutés.
Un modèle puissant n'est que le début.
Le dispositif d'Aikido transforme le raisonnement en résultats de sécurité de haute qualité dans l'ensemble de votre application, qu'il s'agisse de l'audit de sécurité du code analysant vos sources ou d'Aikido Attack testant votre application en cours d'exécution.
Contributeurs
Debarshi
Researcher
Philippe Dourassov
Responsable des pentests par IA
Rein Daelman
Chasseur de bugs (Bug Bounty Hunter)
Sécurisez vos systèmes dès aujourd'hui,
rapidement et gratuitement.
Sécurisez votre code, votre cloud et votre environnement d'exécution dans un système centralisé. Connectez un dépôt pour découvrir ce que les agents de raisonnement trouvent dans votre base de code.
Aucune carte bancaire requise | Résultats de l'analyse en 32 secondes.
Utilisé par plus de 150 000 organisations




