Sprachmodelle klingen auch dann überzeugend, wenn sie falschliegen. Warum glauben wir KI so schnell, und wie lernt man, ihre Antworten zu prüfen? Ein Gespräch über Vertrauen, Schach und den Umgang mit KI im Berufsalltag.
Ein Interview mit Jannis Blüml, Doktorand am AI & Machine Learning Lab der TU Darmstadt.
Inhaltsverzeichnis
Ein Schachcomputer kann sich irren, aber sein Fehler zeigt sich spätestens am Ende der Partie. Bei einem Sprachmodell ist das schwieriger. Seine Antworten klingen fast immer flüssig und sicher, auch wenn sie falsch sind. Jannis Blüml forscht an der TU Darmstadt zu KI-Systemen, die durch Ausprobieren lernen, und hat dabei auch mit Schach-KI gearbeitet. Im Oktober hat er in der F.A.Z. beschrieben, warum KI-Kompetenzen so wichtig sind. Wir wollten von ihm wissen, warum wir KI so schnell glauben und wie man lernt, KI-Antworten zu prüfen.
Warum wir KI so selten prüfen
KHMI: Eine Studie der Carnegie Mellon University zeigt: Je mehr Menschen der KI zutrauen, desto weniger prüfen sie ihre Antworten. Woran liegt das aus Ihrer Sicht?
Jannis Blüml: Ich würde sagen, Menschen, die der KI viel zutrauen, aber nicht unbedingt viel technisches Wissen über KI haben, sind sehr anfällig dafür, wenig bis gar nicht zu prüfen. Menschen, die KI viel verwenden und sehen, dass sie oft richtig liegt, trainieren sich selbst darin, das Prüfen zu lassen, denn die KI wirkt ja zuverlässig. Dazu kommt die menschliche Neigung, sich auf Systeme zu verlassen, wenn man davon ausgeht, dass sie korrekt funktionieren.
Ein weiterer Grund ist, dass das Prüfen von Antworten selbst Zeit kostet und Wissen erfordert, das man selbst eventuell gar nicht hat, und dessen direkter Nutzen nicht sofort ersichtlich ist. Zusammen mit der Einfachheit der Anwendung lädt KI dazu ein, sie genau dort einzusetzen, wo das eigene Prüfen nicht mehr möglich ist.
Warum flüssige Sprache so überzeugend wirkt
Sie schreiben: „Sprachliche Gewandtheit ist bei Künstlicher Intelligenz kein Beleg für sachliche Richtigkeit.“ Warum wirkt eine flüssig formulierte Antwort trotzdem so überzeugend auf uns?
Ich glaube, wir Menschen verbinden Inhalt und Form oft miteinander. Wenn ich zwei Texte habe, die denselben Sachverhalt erklären, vertraue ich dem Text mehr, der das passende Vokabular zum Thema verwendet. Denn wir verbinden dieses Vokabular mit Wissen zum Thema. Und während das in der Vergangenheit sicherlich ein Indiz für die Qualität des Autors war, trifft dieser Zusammenhang aus Inhalt und Form bei Sprachmodellen nicht mehr zu.
Was Schach-KI von Sprachmodellen unterscheidet
Sie haben in Ihrer Forschung auch mit Schach-KI gearbeitet. Dort lässt sich jeder Zug überprüfen, und am Ende zeigt die Partie, ob das System gut gespielt hat. Was unterscheidet diese Arbeit davon, die Antwort eines Sprachmodells zu beurteilen?
Schach ist geschlossen, mit festen Regeln, klarem Ergebnis und eindeutigem Ziel. Wenn ich eine Stellung in eine Schach-KI eingebe, bekomme ich eine klare Bewertung dieser Stellung und welche Seite nach der KI gerade im Vorteil ist. Bei Sprachmodellen ist dies nicht der Fall. Ich habe weder feste Regeln noch ein klar definiertes Ziel, und die Antworten sind auch nicht immer neutral. Als Beispiel: Ist das Ziel des Sprachmodells, die faktisch korrekte Antwort zu geben oder die für den Nutzer passende Antwort? Und was, wenn es keine faktisch korrekte Antwort gibt?
Welche Schachzüge erlaubt sind und welche nicht, ist hingegen allen klar. Dazu kommt, dass die „Antwort“ von Schach-KIs, also die Züge, zwar nicht direkt menschlich prüfbar sind, sich aber durch das Gewinnen einer Partie bestätigen lassen. Auch lassen sich Schachagenten nicht durch den Nutzer beeinflussen, anders als Sprachmodelle, die sich oft den Wünschen ihrer Nutzer beugen.
Und auch hier kann jeder, der das testen möchte, Sprachmodelle mal fragen, ob sie sich sicher sind; oft ändern sich die Antworten dann grundlegend (oder taten das in der Vergangenheit).
Wie man KI-Antworten im Berufsalltag prüfen kann
Auch beim Schach erkennt ein Laie einen schlechten Zug oft nicht. Dafür braucht es Erfahrung oder eine Engine zum Vergleich. Was kann diese Rolle übernehmen, wenn jemand im Berufsalltag mit generativer KI arbeitet?
Der einfachste Weg ist zu sagen, man sollte KI nur dort einsetzen, wo man die Antwort auch selbst prüfen kann. Oft wird KI aber genau dort eingesetzt, wo das eigene Wissen nicht mehr ausreicht. In diesen Fällen kann es helfen, sich die Quellen von der KI geben zu lassen und sie anschließend zu prüfen. Wichtig dabei ist: Nur weil die KI eine Quelle nennt, heißt das noch nicht, dass die Quelle ihre Antwort auch stützt. Wenn man selbst nicht über das Wissen verfügt, sollte man Fachpersonal heranziehen oder sich bewusst sein, dass die Antwort der KI kein Garant für deren Richtigkeit ist.
Im Berufsalltag ist es, glaube ich, wichtig, Mitarbeitende und Nutzer ausreichend zu schulen, damit klar ist, wo und wie viel KI genutzt werden kann, darf und soll.
Das richtige Maß an Vertrauen
Es gibt auch den umgekehrten Fall: Wer sich fachlich überlegen fühlt, ignoriert KI-Empfehlungen eher. Wie findet man das richtige Maß zwischen zu viel und zu wenig Vertrauen?
Das richtige Maß erlangt man meiner Meinung nach durch Ausprobieren und Evaluieren. Wo funktioniert KI für einen, wo nicht? Das Ergebnis: KI zu sehr und in jeder Situation zu vertrauen ist genauso falsch wie KI grundlegend abzulehnen. Aber solches Vertrauen muss man aufbauen, es sollte situations- und aufgabenabhängig sein und unabhängig davon, ob eine Empfehlung von einer Maschine oder einem Menschen kommt.
Wenn die KI einem widerspricht, sollte man prüfen, wer recht hat; oft fehlt jedoch genau diese Evaluationsschleife. Zum einen ist das Technikaversion, zum anderen aber auch genau dieses Wissen, dass KI Fehler machen kann, und die Einschätzung der eigenen Fähigkeiten. Es ist einfacher, den Fehler in der KI zu sehen, als kritisch mit sich selbst umzugehen und zu erkennen, dass man falsch gelegen hat.
Wie man lernt, KI-Antworten zu beurteilen
Viele Menschen nutzen KI im Beruf, aber laut einer Studie von KPMG hat in Deutschland erst jeder Fünfte eine Schulung dazu gemacht. Wie lernt man, KI-Antworten gut zu beurteilen?
Ich glaube zum einen, dass es mehr Schulungen braucht, die Menschen dazu einladen, mit KI zu experimentieren, KI-Kompetenzen vermitteln und dabei das notwendige kritische Hinterfragen fördern. KI zu erlernen heißt mehr als nur zu lernen, wie man richtig Prompts schreibt; es geht vor allem darum, sich nicht zu sehr auf KI zu verlassen, das eigene Wissen richtig einzuschätzen und sich mit der Materie auseinanderzusetzen. Und auch ohne Schulungen lässt sich das gut umsetzen.
Zum Beispiel, indem man ohne Druck experimentiert, keine Angst hat und Erfahrungen sammelt, ohne KI direkt in die eigene Arbeit zu integrieren. Wichtig ist dabei auch, das Prüfen von Antworten zu üben, am besten in Bereichen, in denen man selbst genug Wissen hat, um dies zu tun.
Ein einfacher Selbstcheck
Zum Schluss: Welche Frage sollte man sich stellen, bevor man eine KI-Antwort übernimmt?
Für mich kommt es sehr auf den Kontext an, aber ein erster Selbstcheck, den ich gerne anwende, lautet:
Würde ich meinen Namen darunter setzen und könnte ich damit leben, wenn die Antwort falsch ist?
Insgesamt rate ich aber dazu, alle Antworten grundlegend zu prüfen, bevor man sie übernimmt.
Vielen Dank für das Gespräch, Herr Blüml.
Über Jannis Blüml
Jannis Blüml forscht an der TU Darmstadt in der Arbeitsgruppe von Prof. Kristian Kersting und am Hessischen Zentrum für Künstliche Intelligenz (hessian.AI). Sein Forschungsschwerpunkt liegt auf der Frage, inwieweit lernende KI-Systeme von den Informationen abhängen, die ihnen präsentiert werden. Dies untersucht er unter anderem an Spielen wie Schach und Atari. Dabei interessiert ihn auch, wie Menschen Szenen wahrnehmen und diese Spiele spielen und wie sich das von KI-Systemen unterscheidet.
KI-Antworten einordnen lernen
Urteilsvermögen im Umgang mit KI steht auch im Mittelpunkt der Weiterbildungen am Karlshochschule Management Institut (KHMI). Unsere Weiterbildungen richten sich an Berufstätige aus Kreativberufen, Management und Technologie. Die Teilnehmenden lernen, KI im eigenen Arbeitsalltag einzusetzen und ihre Ergebnisse sicher einzuschätzen. Jedes Modul schließt mit einem Praxisprojekt ab, und es unterrichten Fachleute aus Praxis und Forschung.
Für Unternehmen bietet das KHMI mit dem Projekt System Training (ProSyT) ein Programm, das KI-Kompetenz in der ganzen Organisation aufbaut, von der Bedarfsanalyse bis zur passenden Schulung.
Alle Weiterbildungen im Überblick | Qualifizierung für Unternehmen | Persönliche Beratung
.
Quellen
Blüml, J. (2026, 7. Oktober). Warum KI-Kompetenzen so wichtig sind. Frankfurter Allgemeine Zeitung.
Gillespie, N., Lockey, S., Ward, T., Macdade, A., & Hassed, G. (2025). Trust, attitudes and use of artificial intelligence: A global study 2025. The University of Melbourne & KPMG. https://doi.org/10.26188/28822919
Lee, H.-P., Sarkar, A., Tankelevitch, L., Drosos, I., Rintel, S., Banks, R., & Wilson, N. (2025). The impact of generative AI on critical thinking: Self-reported reductions in cognitive effort and confidence effects from a survey of knowledge workers. In Proceedings of the 2025 CHI Conference on Human Factors in Computing Systems. ACM. https://doi.org/10.1145/3706598.3713778