Der Benchmark-Bluff: Was KI-Zahlen wirklich messen — und was nicht

"Unser neues Modell übertrifft GPT-4 auf allen wichtigen Benchmarks."

Diese Aussage hat jedes größere KI-Labor in den letzten zwei Jahren gemacht. Manchmal stimmt sie. Manchmal ist sie ein Marketing-Trick. Oft ist sie beides gleichzeitig.

Was sind Benchmarks überhaupt?

Ein Benchmark ist ein standardisierter Test für KI-Modelle — ein Datensatz mit Fragen und richtigen Antworten, den man einem Modell vorlegt und seine Trefferquote misst.

Die bekanntesten:

MMLU (Massive Multitask Language Understanding): 57 Themengebiete, 15.000 Fragen im Multiple-Choice-Format. Medizin, Recht, Physik, Geschichte. Misst Breite des Faktenwissens.

HumanEval: 164 Programmieraufgaben in Python. Misst, wie oft ein Modell korrekt funktionierenden Code generiert.

MT-Bench: Mehrschrittiger Dialog, bei dem ein zweites KI-Modell die Qualität der Antworten bewertet. Misst Konversationsfähigkeit.

GPQA (Graduate-Level Google-Proof Q&A): Sehr schwierige Fragen in Physik, Chemie, Biologie — so schwer, dass Menschen ohne Expertenwissen sie kaum beantworten können.

Das Problem: Benchmarks werden optimiert

Wenn alle Welt ein Modell an MMLU misst, optimieren Laboratorien ihre Modelle für MMLU. Das nennt Goodhart's Law: sobald eine Maßzahl zum Ziel wird, hört sie auf, eine gute Maßzahl zu sein.

Konkretes Beispiel: Ein Modell kann auf MMLU-Fragen trainiert werden — nicht durch besseres Sprachverstehen, sondern durch Auswendiglernen der Testantworten. Das Ergebnis: 95% auf MMLU, trotzdem in der Praxis nicht besser als ein 80%-Modell.

Das passiert. Labors dementieren es. Manche lügen dabei, manche nicht.

Datenkontamination: MMLU-Fragen sind öffentlich. Wenn sie im Trainingsdatensatz eines Modells auftauchen, hat das Modell die Prüfung vor der Prüfung gesehen. Die meisten großen Modelle haben dieses Problem in unterschiedlichem Ausmaß.

Warum das für Unternehmen irrelevant ist — und was stattdessen zählt

MMLU misst akademisches Faktenwissen in englischer Sprache. Das ist für eine Kanzlei in München nicht das wichtigste Kriterium.

Was tatsächlich zählt, wenn Sie entscheiden, welches Modell Sie einsetzen:

Für Dokumentenanalyse: Wie gut extrahiert das Modell strukturierte Informationen aus schlecht formatiertem Input? (Kein Standardbenchmark)

Für Mandantenkorrespondenz auf Deutsch: Wie natürlich und fehlerfrei ist die deutsche Ausgabe? (Kein Standardbenchmark für Business-Deutsch)

Für Code-Automatisierung: Funktioniert der generierte Code im ersten Durchlauf, oder braucht es 5 Iterationen? (HumanEval misst nur Python-Standardaufgaben)

Für Konsistenz: Gibt das Modell bei der zehnten ähnlichen Frage die gleiche Qualität wie bei der ersten? (Kein Standardbenchmark)

Was man stattdessen tun sollte

Eigener Testfall-Katalog. Nehmen Sie 20 reale Aufgaben aus Ihrem Alltag — Mandantenmails, Bescheidanalysen, Vertragsklauseln. Geben Sie diese jedem Modell, das Sie evaluieren. Das Ergebnis sagt mehr als jeder MMLU-Score.

Kosten im Verhältnis zur Aufgabe. Ein Modell, das bei Ihrer Aufgabe 90% Qualität liefert und 10x günstiger ist, ist für Volumenaufgaben besser als das "beste" Modell.

Konsistenz über Zeit. Testen Sie nicht einmal, sondern bei 100 ähnlichen Eingaben. Varianz ist im Business-Kontext oft das größere Problem als durchschnittliche Qualität.

Die ehrliche Zusammenfassung

Benchmarks sind nützliche grobe Orientierungen — keine Kaufentscheidungsgrundlagen. "Übertrifft GPT-4 auf MMLU" heißt: dieses Modell hat beim Multiple-Choice-Test mit englischen Akademiefragen besser abgeschnitten. Das sagt wenig über Ihren Anwendungsfall.

Wer KI für echte Workflows einsetzt, lernt im Kurs, wie man eigene Evaluation aufbaut und Modelle gegen den eigenen Anwendungsfall testet:

Claude Code Mastery →

MMLU: Hendrycks et al. 2020. HumanEval: Chen et al. 2021 (OpenAI). MT-Bench: Zheng et al. 2023. Goodhart's Law: ursprünglich in der Ökonomie formuliert, seit 2022 regelmäßig in KI-Evaluierungsdebatten zitiert.

Letzte Aktualisierung: September 2026