diffox ultra auf Platz eins unter 23 KI-Code-Review-Tools

diffox ultra erzielt den höchsten Wert und findet die meisten Fehler

Wir haben die beiden diffox-Produkte genau so bewertet wie Martian die 21 Tools seiner veröffentlichten Bestenliste. diffox ultra liegt mit 66,5 Punkten auf Platz eins, diffox mit 60,9 Punkten unter den Tools auf Platz fünf. Auch die meisten Fehler fand diffox ultra (119), vor diffox (106) und GitHub Copilot (105).

¹ Auch die Stufen sind nach F2 sortiert. „23 Tools“ zählt nur Tools; deshalb steht diffox unter den Tools auf Platz fünf, in dieser Liste aber auf Platz sechs. Zeigen zwei Zeilen denselben Wert, steht das öffentliche Ergebnis zuerst. Die Zeilen für mittlere und niedrige Empfindlichkeit stammen aus unserer internen Messung auf denselben 50 Pull Requests und 158 Fehlern: jeweils der gerundete Mittelwert aus 5 Läufen für diffox ultra und 2 für diffox. Die Zeilen mit hoher Empfindlichkeit stammen aus dem öffentlichen Lauf. Hoch, Mittel und Niedrig waren die damaligen Empfindlichkeitseinstellungen von diffox; inzwischen wählen Sie nach Klassen, welche Feststellungen gepostet werden.

diffox ultra fand mehr Fehler als GitHub Copilot und CodeRabbit und löste dabei weniger Fehlalarme aus. Bei niedriger Empfindlichkeit¹ fand es 70 Fehler bei nur 19 Fehlalarmen; kein Tool mit weniger als 30 Fehlalarmen fand mehr als 65. Die Ergebnisse der anderen Tools stammen von Martian selbst, so wie sie am 7. Oktober 2026 auf codereview.withmartian.com veröffentlicht waren.

Wie funktioniert der Martian Code Review Benchmark?

Der Martian Code Review Benchmark (github.com/withmartian/code-review-benchmark) ist ein Open-Source-Benchmark, der KI-Code-Review-Tools unter gleichen Bedingungen testet. Er besteht aus 50 Pull Requests aus fünf etablierten Open-Source-Projekten: Sentry, Grafana, Cal.com, Discourse und Keycloak. Menschen haben darin vorab 173 bekannte Probleme markiert. Die Standardbewertung der Bestenliste zählt davon 158, und genau diese Fehler zählt auch dieser Beitrag.

Jedes Tool prüft die Pull Requests auf seine eigene Weise. Danach gleicht ein Richtermodell, Claude Opus 4.5, jeden Kommentar mit den bekannten Fehlern ab. Trifft ein Kommentar einen Fehler, zählt er als Fund; trifft er keinen, ist er ein Fehlalarm. Die Bestenliste sortiert nach F2. Dieser Wert gewichtet Funde stärker als Fehlalarme, weil ein Fehler, der in die Produktion gelangt, weit mehr kostet als ein Kommentar, den jemand liest und verwirft.

Überprüfen Sie es selbst

Platz eins in einem Benchmark zu behaupten ist leicht; ihn zu belegen nicht. Deshalb ist jeder Teil des Laufs mit hoher Empfindlichkeit öffentlich.

• Hundert Reviews, hundert öffentliche Pull Requests. Wir haben jeden der 50 Pull Requests des Benchmarks in ein eigenes öffentliches Repository kopiert, einmal pro Produkt, insgesamt also 100. Die diffox-App im Live-Betrieb hat jede Kopie mit hoher Empfindlichkeit geprüft, genau wie den Pull Request eines Kunden. Nur das Layout des Kommentars ist anders (siehe die Fragen unten). Die Liste aller 100 Reviews
• Bewertet von Martians eigenem Code. Wir haben die Bewertungsschritte unverändert laufen lassen. Mit denselben Dateien reproduziert Martians Dashboard-Skript die veröffentlichten Zahlen von 20 der 21 anderen Tools exakt.
• Reproduzieren Sie die Tabelle auf Ihrem Rechner:

git clone https://github.com/diffox-bench/code-review-benchmark && cd code-review-benchmark/offline
uv sync --frozen
uv run python analysis/benchmark_dashboard.py          # Martians eigenes Dashboard-Skript, jetzt mit unseren zwei Zeilen
git diff --diff-algorithm=histogram e616e849 -- results  # nur Ergänzungen: keine Zeile eines anderen Tools ändert sich

Wer findet die schwersten Fehler?

Nicht alle Fehler wiegen gleich schwer. Die Tabelle unten vergleicht die beiden diffox-Produkte mit den vier Wettbewerbern, die die meisten Fehler fanden. Die meisten kritischen Fehler fand diffox: 11 von 12. Bei Fehlern mit hoher Schwere liegt diffox ultra deutlich vorn, mit 46 von 54.

Wer liegt in welchem Projekt vorn?

In drei der fünf Projekte fand ein diffox-Produkt die meisten Fehler: diffox ultra bei Cal.com und Keycloak, diffox bei Discourse. Bei Grafana und Sentry liegt Cubic v2 vorn; bei Sentry fehlt diffox ultra nur ein einziger Fehler. Jedes Projekt steuert 10 Pull Requests bei.

Vier Fehler, die den meisten Tools entgingen

Die Tabellen beziffern den Abstand; die vier folgenden Fehler zeigen, wie er aussieht. Martians Repository enthält Ergebnisse je Fehler für 20 andere Tools der Bestenliste, und jeden dieser vier Fehler fanden höchstens fünf davon. diffox ultra fand alle vier. Jede Karte führt zu dem Kommentar, den diffox im jeweiligen Pull Request hinterlassen hat.

Mehr gefundene Fehler oder weniger Fehlalarme?

Jedes Code-Review-Tool steht vor demselben Zielkonflikt: Wer mehr Fehler findet, löst auch mehr Fehlalarme aus. Jedes andere Tool der Bestenliste erscheint einmal, mit der Einstellung, mit der es im Benchmark lief. Die beiden diffox-Produkte erscheinen je dreimal, weil wir jede Empfindlichkeitsstufe auf denselben 50 Pull Requests gemessen haben.

Gefundene echte Fehler und Fehlalarme

Jede diffox-Linie zeigt die Stufen Hoch, Mittel und Niedrig; die anderen Tools sind einzelne Punkte.

Die damaligen Einstellungen legten fest, wie sicher sich diffox sein musste, um eine Feststellung zu veröffentlichen. Hoch fand die meisten Fehler; mit dieser Einstellung wurde Platz eins erreicht. Mittel schrieb weniger Kommentare und fand trotzdem den Großteil der echten Fehler: Die Kommentare pro Pull Request sanken von 5,4 auf 2,9. Niedrig schrieb nur die Feststellungen, bei denen es sich am sichersten war: 1,7 Kommentare pro Pull Request.

Inzwischen wählen Sie nach Klassen, welche Feststellungen gepostet werden. diffox gibt jeder Feststellung eine Klasse: Kritisch, Warnung oder Vorschlag. Die Einstellung hat drei Stufen: „Nur kritisch“, „Kritisch und Warnungen“ und „Alles“. Neue Installationen starten mit „Kritisch und Warnungen“. Der Kontoinhaber oder ein Organisationsadmin kann die Stufe im Tab Einstellungen der diffox-Konsole wechseln, und die Änderung gilt ab dem nächsten Review. Was die Einstellung zurückhält, geht nicht verloren: Es wartet 30 Tage auf Ihrer Seite Feststellungen, und Sie können davon veröffentlichen, was Sie möchten.

Wenn Sie sich nicht um die Einstellung kümmern möchten, stellen Sie in der Konsole „Art der Auswahl“ auf „Automatisch“: Die Stufe wechselt dann anhand Ihrer 👍 und 👎 zu Feststellungen von selbst zwischen „Alles“ und „Kritisch und Warnungen“. Und eine Feststellung, die Ihr Team mit 👎 abgelehnt hat, wird im selben Repository nicht noch einmal gepostet, solange sich ihre Zeile nicht ändert.

Weiter: die Preise

Im zweiten Beitrag vergleichen wir die Preise auf denselben 50 Pull Requests: was jedes Tool pro Review kostet und was Sie dafür bekommen. Unsere aktuellen Preise finden Sie auf der Preisseite.