Comment nous testons
Les benchmarks ne valent que par leur configuration. Voici comment nous mesurons la capacité d'un modèle à détecter de véritables vulnérabilités et le coût associé.
-
1
Sélectionner de vraies vulnérabilités
Nous extrayons des CVE connues de la base de données des avis GitHub, couvrant de nombreux langages et types de projets.
-
2
Épingler le commit vulnérable
Chaque dépôt est extrait à un commit datant juste avant sa correction.
-
3
Exécuter au sein du dispositif de production
Les modèles s'exécutent dans le même dispositif d'IA que celui que nous fournissons avec Code Security Audit et Aikido Attack.
-
4
Cibler l'extrait vulnérable
Puisque nous savons où se trouve chaque vulnérabilité, les agents d'investigation sont orientés vers le code vulnérable. Un échec témoigne d'un raisonnement et non d'un gaspillage de budget à explorer la mauvaise partie du dépôt. Les prompts restent courts et agnostiques vis-à-vis des modèles.
-
5
Exécuter trois fois, puis regrouper les résultats
Les modèles sont non déterministes. Nous exécutons chacun d'eux trois fois et comptons une CVE comme détectée si elle apparaît lors de l'une ou l'autre des exécutions. Le regroupement permet de repérer des bogues qu'une seule exécution raterait, et reflète plus fidèlement la manière dont vous déployez ces agents.
-
6
Évaluer la couverture et le coût conjointement
Nous enregistrons le nombre de CVE redécouvertes par chaque modèle ainsi que le coût associé, car le modèle le plus puissant offre rarement le meilleur rapport qualité-prix. Nous comparons également les niveaux de raisonnement lorsque le fournisseur les met à disposition.
À propos de la configuration du banc d'essai
Un banc d'essai est ce qui transforme un modèle de langage en auditeur. Un assistant de codage généraliste est conçu pour une autre tâche, à savoir prendre en compte une consigne pour produire du code fonctionnel. Si vous le dirigez vers un dépôt en lui demandant s'il est sécurisé, il se comportera comme un développeur qui survole le code à la recherche d'une anomalie évidente, puis s'arrêtera dès qu'il aura trouvé un problème plausible. L'audit de sécurité du code d'Aikido fonctionne différemment. Il analyse la base de code à la recherche de points d'entrée potentiels, étudie en profondeur chaque flux suspect, puis trie les résultats pour ne retenir que les véritables vulnérabilités.
Parce que nous savions où se trouvait chaque vulnérabilité, nous avons dirigé chaque agent d'investigation directement vers l'extrait de code vulnérable. Ainsi, un échec reflète un problème de raisonnement plutôt qu'un budget gaspillé à explorer la mauvaise partie de la base de code. Le modèle doit toujours comprendre le flux, juger de l'exploitabilité et le signaler correctement. Les prompts ont été maintenus courts et agnostiques au modèle afin qu'aucun fournisseur ne soit avantagé par la formulation.
Vous souhaitez utiliser le banc d'essai qui exécute ces tests ?
Le même moteur d'audit de code par IA que nous évaluons ici examine votre base de code pour y détecter les vulnérabilités en plusieurs étapes avant le déploiement.
Découvrir l'audit de sécurité du code ↗