diffox ultra en tête de 23 outils de revue de code par IA

diffox ultra obtient le meilleur score et détecte le plus de bugs

Nous avons noté les deux produits de diffox exactement comme Martian note les 21 outils de son classement publié. diffox ultra se classe premier avec 66,5 points, et diffox cinquième des outils avec 60,9. C’est aussi diffox ultra qui détecte le plus de bugs (119), devant diffox (106) et GitHub Copilot (105).

¹ Les réglages sont eux aussi classés par F2. « 23 outils » ne compte que les outils : diffox est donc cinquième parmi les outils, mais sixième dans cette liste. À score affiché égal, le résultat public passe en premier. Les lignes en sensibilité moyenne et faible viennent de notre mesure interne sur les mêmes 50 pull requests et 158 bugs : chacune est la moyenne arrondie de 5 exécutions pour diffox ultra et de 2 pour diffox. Les lignes en sensibilité élevée viennent de l’exécution publique. Élevée, Moyenne et Faible étaient les réglages de sensibilité de diffox à l’époque ; désormais, vous choisissez les constats publiés selon leur classe.

diffox ultra a détecté plus de bugs que GitHub Copilot et CodeRabbit, tout en déclenchant moins de fausses alertes. En sensibilité faible¹, il a détecté 70 bugs pour seulement 19 fausses alertes ; aucun outil ayant moins de 30 fausses alertes n’en a détecté plus de 65. Les résultats des autres outils sont ceux de Martian, tels qu’ils étaient publiés sur codereview.withmartian.com le 7 octobre 2026.

Comment fonctionne le Martian Code Review Benchmark ?

Le Martian Code Review Benchmark (github.com/withmartian/code-review-benchmark) est un benchmark open source qui évalue les outils de revue de code par IA dans des conditions identiques. Il réunit 50 pull requests issues de cinq projets open source reconnus : Sentry, Grafana, Cal.com, Discourse et Keycloak. Des humains y ont repéré au préalable 173 problèmes connus. La notation par défaut du classement en retient 158, et ce sont ces bugs que nous comptons dans cet article.

Chaque outil examine les pull requests à sa manière. Un modèle juge, Claude Opus 4.5, compare ensuite chaque commentaire aux bugs connus. Un commentaire qui correspond à un bug compte comme une détection ; s’il ne correspond à aucun, c’est une fausse alerte. Le classement se fait selon le F2, qui donne plus de poids aux détections qu’aux fausses alertes : un bug qui arrive en production coûte bien plus cher qu’un commentaire qu’on lit puis qu’on écarte.

Vérifiez par vous-même

Revendiquer la première place d’un benchmark est facile ; la prouver ne l’est pas. C’est pourquoi chaque élément de l’exécution en sensibilité élevée est public.

• Cent reviews, cent pull requests publiques. Nous avons copié chacune des 50 pull requests du benchmark dans son propre dépôt public, une fois par produit : 100 au total. L’application diffox en production a examiné chaque copie en sensibilité élevée, exactement comme la pull request d’un client. Seule la mise en forme du commentaire change (voir les questions ci-dessous). La liste des 100 reviews
• Noté par le code de Martian lui-même. Nous avons exécuté les étapes de notation sans les modifier. Sur les mêmes fichiers, le script de tableau de bord de Martian reproduit exactement les chiffres publiés de 20 des 21 autres outils.
• Reproduisez le tableau sur votre machine :

git clone https://github.com/diffox-bench/code-review-benchmark && cd code-review-benchmark/offline
uv sync --frozen
uv run python analysis/benchmark_dashboard.py          # le script de tableau de bord de Martian, avec nos deux lignes
git diff --diff-algorithm=histogram e616e849 -- results  # uniquement des ajouts : aucune ligne d’un autre outil ne change

Qui détecte les bugs les plus graves ?

Tous les bugs n’ont pas le même poids. Le tableau ci-dessous compare les deux produits de diffox aux quatre concurrents qui ont détecté le plus de bugs. C’est diffox qui détecte le plus de bugs critiques : 11 sur 12. Sur les bugs de gravité élevée, diffox ultra est nettement devant, avec 46 sur 54.

Qui mène sur chaque projet ?

Dans trois des cinq projets, c’est un produit diffox qui a détecté le plus de bugs : diffox ultra sur Cal.com et Keycloak, diffox sur Discourse. Cubic v2 mène sur Grafana et Sentry ; sur Sentry, diffox ultra n’est devancé que d’un seul bug. Chaque projet compte 10 pull requests.

Quatre bugs que la plupart des outils ont manqués

Les tableaux chiffrent l’écart ; les quatre bugs ci-dessous montrent à quoi il ressemble. Le dépôt de Martian contient les résultats bug par bug de 20 autres outils du classement, et chacun de ces quatre bugs n’a été détecté que par cinq d’entre eux au plus. diffox ultra les a détectés tous les quatre. Chaque carte mène au commentaire publié par diffox sur la pull request concernée.

Plus de bugs détectés ou moins de fausses alertes ?

Tout outil de revue de code fait face au même compromis : plus il détecte de bugs, plus il déclenche de fausses alertes. Chacun des autres outils du classement apparaît une seule fois, avec le réglage utilisé pour le benchmark. Les deux produits de diffox apparaissent trois fois chacun, car nous avons mesuré chaque niveau de sensibilité sur les mêmes 50 pull requests.

Bugs réels détectés et fausses alertes

Chaque courbe diffox montre les sensibilités élevée, moyenne et faible ; les autres outils sont des points isolés.

Les réglages de l’époque fixaient le degré de certitude dont diffox avait besoin pour publier un constat. Élevée a détecté le plus de bugs ; c’est ce réglage qui a valu la première place. Moyenne a publié moins de commentaires et a quand même détecté la plupart des bugs réels : on est passé de 5,4 à 2,9 commentaires par pull request. Faible n’a publié que ses constats les plus sûrs : 1,7 commentaire par pull request.

Désormais, c’est vous qui choisissez les constats publiés, selon leur classe. diffox attribue une classe à chaque constat : Critique, Avertissement ou Suggestion. Le réglage a trois niveaux : « Critique uniquement », « Critique et avertissements » et « Tout ». Les nouvelles installations démarrent au niveau « Critique et avertissements ». Le propriétaire du compte ou un administrateur de l’organisation peut modifier ce réglage dans l’onglet Paramètres de la console diffox ; le changement s’applique dès la review suivante. Rien de ce que le réglage retient n’est perdu : tout reste 30 jours sur votre page Constats, et vous pouvez y publier ce que vous voulez.

Si vous préférez ne pas vous occuper du réglage, mettez « Mode de sélection » sur « Automatique » dans la console : le niveau varie alors tout seul entre « Tout » et « Critique et avertissements », selon les 👍 et 👎 que vous mettez sur les constats. Et un constat que votre équipe a refusé d’un 👎 n’est plus publié dans le même dépôt tant que sa ligne ne change pas.

La suite : les prix

Le deuxième article compare les prix sur les mêmes 50 pull requests : ce que coûte chaque outil par review, et ce qu’il apporte. Nos tarifs actuels figurent sur la page des tarifs.