Was ist LLM-as-a-judge und wann ist es verlässlich?
Bei LLM-as-a-judge bewertet ein Modell die Antwort eines anderen. Wir zeigen, wie wir unser eigenes Richtermodell überprüft haben.
Zusammenfassung. Bei LLM-as-a-judge (Richtermodell) lässt man die Ausgabe eines Modells von einem anderen Sprachmodell bewerten. Bei der Entwicklung von diffox nutzen wir die Methode, um Feststellungen aus Code-Reviews mit Fehlern abzugleichen, die Menschen vorab markiert haben. Dieser Beitrag beschreibt die bekannten Verzerrungen (Biases) der Methode und wie wir unseren eigenen Richter im August 2026 an 891 Paaren überprüft haben (jedes Paar besteht aus einer Feststellung aus einem Review und einem markierten Fehler).
- Fragen Sie den Richter nicht „Ist das gut?“, sondern „Ist das dasselbe?“ Eine Antwort aus einem Wort auf „Beschreiben diese beiden Texte denselben Fehler?“ lässt sich überprüfen; eine Punktzahl auf „Ist diese Ausgabe gut?“ nicht.
- Die Gesamtübereinstimmung täuscht. Unsere beiden Richter stimmten bei 945 gemeinsamen Paaren zu 98,8 % überein; bei den positiven Paaren, die das Ergebnis bestimmen, lag die Übereinstimmung bei 93,5 %.
- Der günstige Richter war großzügig, hat die Punktzahl aber kaum verschoben. Von 400 Paaren, die der günstige Richter als „Treffer“ gewertet hatte, lehnte der starke Richter 24 ab (6,0 %). Als wir eine Konfiguration mit drei verschiedenen Richtern bewerteten, betrug der größte Unterschied 0,033; das liegt unter dem Grundrauschen der Messung (0,09).
- Das eigentliche Rauschen kommt vom Lauf, nicht vom Richter. Ein anderer Richter verschob die Punktzahl um höchstens 0,033; dasselbe System hat von Lauf zu Lauf eine Standardabweichung von 0,094.
Was ist LLM-as-a-judge?
Die Ausgabe eines Sprachmodells lässt sich oft nicht mit einer einzigen richtigen Antwort vergleichen: Zwei Kommentare, die denselben Fehler beschreiben, können ganz andere Worte benutzen. Hier setzt LLM-as-a-judge an: Sie lassen die Bewertung von einem anderen Modell erledigen, das dafür eine Anweisung mit Bewertungsregeln bekommt (eine Rubrik). Auf Deutsch sagen wir dazu „Richtermodell“.
Bekannt gemacht hat die Methode ein Paper von Zheng und Kollegen aus dem Jahr 2023. Sie zeigten, dass starke Richtermodelle zu über 80 % mit menschlichen Präferenzen übereinstimmen, so oft wie Menschen untereinander. Heute stützen sich die meisten Benchmarks auf ein Richtermodell. Auch ReviewBench, das GitHub für Code-Reviews veröffentlicht hat: Es lässt die Feststellungen mit einer einzigen Rubrik von einem Sprachmodell bewerten. GitHub schreibt, man habe die Labels von Senior-Entwicklern neu vergeben lassen und eine Übereinstimmung von 96,6 % gemessen.
Ein Richtermodell ist nicht die erste Wahl. Die Dokumentation von Anthropic zur Evaluierung nennt die Reihenfolge ausdrücklich: zuerst Bewertung per Code, weil sie am schnellsten und zuverlässigsten ist; dann ein Richtermodell für Urteile, die sich nicht als Regel fassen lassen; und bevor Sie den Richter in großem Umfang einsetzen, seine Zuverlässigkeit testen.
| Methode | Stärke | Schwäche | Wann |
|---|---|---|---|
| Bewertung per Code | Am schnellsten, am zuverlässigsten, beliebig skalierbar | Kann kein Urteil fällen, das sich nicht als Regel schreiben lässt | Wenn sich die Antwort per exaktem Abgleich oder Textsuche prüfen lässt |
| Bewertung durch Menschen | Am flexibelsten, höchste Qualität | Langsam und teuer | Auf einer kleinen Stichprobe, um den Richter zu prüfen |
| Richtermodell | Schnell, flexibel, skalierbar | Hat Verzerrungen; vorher testen | Wenn ein Urteil nötig ist und sich die Antwort nicht per Regel prüfen lässt |
Quelle: Dokumentation von Anthropic zur Evaluierung, 18. Oktober 2026.
Richtermodelle haben bekannte Verzerrungen
Dasselbe Paper zählt auch die Grenzen von Richtermodellen auf: Positions-Bias, Längen-Bias, Selbstbevorzugung und begrenztes logisches Denken. Wenn Sie einen Richter aufsetzen, brauchen Sie gegen jede davon eine Maßnahme.
Die Selbstbevorzugung lässt sich am leichtesten vermeiden: Das bewertende Modell sollte ein anderes sein als das, das die Ausgabe erzeugt hat. Der Beispielcode von Anthropic vermerkt das als gute Praxis. Der Positions-Bias zeigt sich bei Fragen, die zwei Antworten vergleichen; wenn Sie die Reihenfolge der Antworten tauschen und zweimal fragen, wird sein Effekt sichtbar. Gegen den Längen-Bias hilft am besten, vom Richter keine Punktzahl zu verlangen, sondern eine Antwort, die auf einer einzigen Tatsache beruht.
Fragen Sie den Richter nicht „Ist das gut?“, sondern „Ist das dasselbe?“
Wie verlässlich ein Richter ist, hängt vor allem von der Frage ab. Auf „Ist dieser Review-Kommentar gut? Bewerte ihn von 1 bis 10“ gibt es keine richtige Antwort; zwei Richter, sogar zwei Läufe desselben Richters, geben unterschiedliche Punktzahlen. Anthropic rät in dieselbe Richtung: Der Richter soll nur „korrekt“ oder „falsch“ sagen oder einen Wert auf einer Skala von 1 bis 5 wählen; rein qualitative Bewertungen lassen sich schwer schnell und in großem Umfang überprüfen.
Die Frage an unseren Richter ist ein Vergleich: Er bekommt einen Review-Kommentar und einen Fehler, der im selben Pull Request vorab markiert wurde, und wird nur eines gefragt. Der Kern der Rubrik sieht etwa so aus:
You are given a review comment and a known bug in the same pull request.
Do they describe the SAME defect: the same code, failing for the same reason?
- A comment about the same file but a different problem is NOT a match.
- A comment that names the symptom while the known bug names its cause IS a match.
- If the comment is too vague to tell, answer no.
Answer with one word: yes or no.Die drei Zeilen der Rubrik beantworten im Voraus die Fälle, in denen ein Richter am häufigsten schwankt: dieselbe Datei, aber ein anderes Problem; Symptom und Ursache; ein vager Kommentar. Fehlen diese Zeilen, gehen zwei Richter genau in diesen Fällen auseinander.
Schauen Sie auf die positiven Paare, nicht auf die Gesamtübereinstimmung
Der erste Schritt, um einen Richter zu testen: dieselben Paare einem zweiten Richter vorlegen. Wir haben zwei verschiedene Modelle mit derselben Rubrik als Richter eingesetzt: Bei 945 gemeinsamen Paaren stimmten sie zu 98,8 % überein. Für sich genommen ist diese Zahl beruhigend, und sie täuscht.
Die große Mehrheit der Paare ist ein klares „Nein“: Der Kommentar spricht von einer Datei, der markierte Fehler von einer ganz anderen. Da sind sich zwei Richter ohnehin einig. Über das Ergebnis entscheiden die Paare, bei denen mindestens ein Richter „Ja“ gesagt hat, und dort lag die Übereinstimmung bei 93,5 %. Wenn Sie angeben, wie verlässlich ein Richter ist, nennen Sie den Nenner: alle Paare oder die positiven Paare.
Den günstigen Richter haben wir mit einem starken geprüft, Gruppe für Gruppe
Unsere täglichen Messungen machen wir mit einem günstigen Richter. Um die Frage „Was, wenn dieser Richter falsch urteilt?“ zu beantworten, mussten wir ihn nicht komplett austauschen: Die volle Matrix hätte 4.185 Paare verlangt. Stattdessen haben wir ein stärkeres Modell mit hoher Effort-Einstellung nur zu 891 Paaren befragt und die Paare nicht zufällig gewählt, sondern aus den Gruppen, die die Frage beantworten.
- 91 Paare, bei denen beide Richter „Ja“ sagten: Der starke Richter kehrte keines um. Ein Treffer, auf den sich beide geeinigt hatten, blieb auch beim teureren Richter ein Treffer.
- 400 Paare, bei denen beide Richter „Nein“ sagten: Nur 1 davon wurde umgekehrt (Obergrenze 1,4 %). Der Richter übersieht keine Treffer.
- 400 Paare aus den „Ja“-Urteilen, die in die Punktzahl eingehen: 24 davon wurden abgelehnt, also 6,0 %. Der günstige Richter zählt Treffer großzügig.
Das Ergebnis sind zwei getrennte Aussagen, und man darf sie nicht vermischen. Die absoluten Punktzahlen sind um etwa 0,02–0,03 zu optimistisch. Ein anderer Richter hat die Punktzahl einer Konfiguration um nicht mehr als 0,033 verschoben; das liegt unter dem Grundrauschen der Messung (0,09). Gemessen haben wir das aber an einer einzigen Konfiguration; wir behaupten deshalb nicht, dass die Rangfolge zweier Konfigurationen in jedem Fall erhalten bleibt. Ob der Fehler des Richters zählt, hängt davon ab, was Sie mit ihm machen.
Ein anderer Richter verschiebt die Punktzahl wenig, ein neuer Lauf viel
Als wir dieselbe Konfiguration mit drei verschiedenen Richtern neu bewerteten, verschob sich der F1-Wert um höchstens 0,033. Als wir dieselbe Konfiguration auf denselben Pull Requests mit demselben Richter erneut laufen ließen, lag die Standardabweichung von Lauf zu Lauf dagegen bei 0,094; einmal sahen wir zwischen zwei Läufen, ohne irgendetwas zu ändern, einen Unterschied von 0,058.
Die eigentliche Unsicherheit der Messung kommt also nicht vom Richter, sondern vom Zufall im System selbst. Daraus folgt eine einfache Regel: Ist der Unterschied zwischen zwei Konfigurationen kleiner als etwa 0,09, sehen Sie ihn mit einem einzigen Lauf nicht; einen besseren Richter einzukaufen, ändert daran auch nichts.
Nicht jede Feststellung, die der Richter nicht zuordnen kann, ist falsch
In den meisten Benchmarks vergleicht ein Richtermodell die Feststellung mit einer Referenz, also mit vorab markierten Fehlern. Eine Feststellung, die nicht in der Referenz steht, zählt als „Fehlalarm“. Dabei sagt das nur eines: Wer die Referenz erstellt hat, hat diese Stelle nicht notiert. Die Feststellung kann trotzdem richtig sein.
ReviewBench veröffentlicht deshalb zwei Familien von Metriken: Die eine nutzt nur die vorhandenen Labels, die andere bewertet zusätzlich die Feststellungen, die im Golden Set keine Entsprechung haben. Treffen Sie dieselbe Unterscheidung in Ihrer eigenen Messung: „Passt nicht zur Referenz“ und „falsch“ sind zwei verschiedene Labels, und für das zweite müssen Sie sich die Feststellung selbst ansehen.
Speichern Sie die Urteile des Richters, und messen Sie Regeländerungen ohne Richter
Jeder Aufruf des Richters kostet Geld, und es hat keinen Sinn, für dasselbe Paar zweimal dieselbe Frage zu stellen. Speichern Sie jedes Urteil zusammen mit der Identität des Paars und des Richters: Modell, Effort-Einstellung, Version der Rubrik. Ändert sich eines davon, zeigen Sie alte und neue Urteile nicht in derselben Tabelle; zwei Zahlen, die mit zwei verschiedenen Richtern gemessen wurden, lassen sich nicht vergleichen.
Nicht jede Änderung braucht einen Richter. Ändern Sie einen Schwellenwert oder einen Filter, können Sie die alte und die neue Regel über bereits gespeicherte Ergebnisse laufen lassen und sich nur die Stellen ansehen, an denen sie voneinander abweichen. So haben wir die Änderung an einem Gate gemessen: Bei 1.405 gespeicherten Feststellungen wichen alte und neue Regel nur an 6 Stellen ab, und es reichte, die sechs selbst zu lesen. Ein neuer Lauf wäre weder kostenlos gewesen noch so genau.
Diese Lehren stammen aus den eigenen Messungen von diffox: Ob eine Änderung etwas bringt, entscheiden wir nicht mit einem einzigen Lauf und nicht mit einem ungeprüften Richter. Im Produkt selbst prüft dagegen nicht ein Richtermodell, sondern Code das Zitat, auf das sich eine Feststellung stützt (Beitrag zur Architektur).
Häufige Fragen
Was ist LLM-as-a-judge?
Eine Methode, bei der ein anderes Sprachmodell eine KI-Ausgabe bewertet; es bekommt dafür eine Anweisung mit Bewertungsregeln (Rubrik). Man nutzt sie dort, wo sich die Antwort nicht mit einem einzigen richtigen Text vergleichen lässt, etwa wenn zu entscheiden ist, ob zwei Kommentare denselben Fehler beschreiben.
Ist LLM-as-a-judge verlässlich?
Das hängt von der Frage ab. Eine Studie von 2023 zeigte, dass starke Richtermodelle zu über 80 % mit menschlichen Präferenzen übereinstimmen. Bei Vergleichsfragen („Sind diese beiden gleich?“) urteilen Richter einheitlich, bei offenen Fragen, auf die sie eine Punktzahl geben sollen, nicht. Bevor Sie einem Richter vertrauen, testen Sie ihn an einer kleinen Stichprobe gegen einen zweiten Richter oder gegen menschliche Labels.
Wie schreibt man eine Rubrik für LLM-as-a-judge?
Beschränken Sie sie auf eine einzige Frage, und begrenzen Sie die Antwort: „Ja/Nein“ oder ein Wert von 1 bis 5. Schreiben Sie die Grenzfälle, bei denen der Richter schwanken wird, in die Rubrik: welcher Fall als Treffer zählt, welcher nicht und was er sagen soll, wenn es unklar ist. Die Dokumentation von Anthropic empfiehlt außerdem, dass der Richter zuerst begründet und dann antwortet.
Welche Metriken gibt es für LLM-as-a-judge, und auf welche kommt es an?
Für den Richter selbst: die Übereinstimmung mit menschlichen Labels oder mit einem zweiten Richter, vor allem bei positiven Beispielen; und wie oft ein starker Richter das Urteil umkehrt, mit Konfidenzintervall. Die Gesamtübereinstimmung wirkt wegen der leichten negativen Beispiele höher, als sie ist.
Darf das Richtermodell dasselbe sein wie das bewertete Modell?
Besser nicht. Dass Richtermodelle ihrer eigenen Ausgabe höhere Punktzahlen geben, ist ein bekannter Bias. Der Beispielcode von Anthropic vermerkt es als gute Praxis, zum Bewerten ein anderes Modell zu nehmen als das, das die Ausgabe erzeugt hat.
Was ist der Unterschied zwischen LLM-as-a-judge und agent-as-a-judge?
LLM-as-a-judge bewertet nur die fertige Ausgabe. Agent-as-a-judge ist eine Erweiterung, die ein Paper von 2024 vorschlägt: Die Bewertung übernimmt ein Agent, der Werkzeuge nutzen kann, und er gibt auch zu den Zwischenschritten der Arbeit Rückmeldung. Gedacht ist das für die Bewertung von Agentensystemen mit vielen Schritten.
Nutzt diffox in seinen Reviews ein Richtermodell?
Bei der Entwicklung ja: um Feststellungen mit vorab markierten Fehlern abzugleichen und zu messen, ob eine Änderung etwas bringt. Wenn ein Pull Request geprüft wird, kontrolliert dagegen nicht ein Richtermodell, sondern Code das Zitat, auf das sich eine Feststellung stützt: ob es wirklich in der Datei steht und ob es zu den geänderten Zeilen gehört.