KI-Halluzinationen vermeiden: Antworten aus den eigenen Dokumenten

Warum KI überhaupt halluziniert

Der Grund liegt in der Bauart. Ein Sprachmodell setzt Wörter nach Wahrscheinlichkeit aneinander — es prüft nicht, ob eine Aussage stimmt, sondern ob sie plausibel klingt. Georg Olowson nennt in seinem OGcon-Vortrag drei typische Auslöser: Das Modell antwortet auf Basis eines veralteten Datenstands, es bringt Informationen hervor, die so nicht stimmen, oder es zieht etwas aus einem völlig anderen Zusammenhang herbei.

Daraus folgt eine unbequeme Einsicht: Ein allgemeines Modell kann Fragen zu deinem Unternehmen gar nicht korrekt beantworten, weil es die Antwort nicht kennt. Es wird trotzdem antworten. Der Ausweg ist deshalb nicht ein größeres Modell, sondern ein anderer Aufbau.

Die Antwort kommt aus den eigenen Dokumenten

Das Verfahren dahinter heißt Retrieval Augmented Generation, kurz RAG. Es dreht die Reihenfolge um: Erst wird gesucht, dann formuliert. Olowsons Beispiel ist das Mitarbeiterhandbuch — statt das Modell frei antworten zu lassen, sucht das System zunächst die Passage, die zur Frage passt, und übergibt nur diese.

1. 1Frage entgegennehmen: Eine Mitarbeiterin fragt, ob sie erster Klasse Bahn fahren darf.
2. 2Passende Stelle suchen: Das System durchsucht die angebundenen Dokumente und findet den Abschnitt der Reisekostenregelung, der die Frage tatsächlich behandelt.
3. 3Nur noch formulieren lassen: Das Sprachmodell bekommt diese Stelle und die Aufgabe, sie verständlich wiederzugeben. Es soll nicht wissen, es soll erklären.
4. 4Beleg mitliefern: Zur Antwort wird der Abschnitt eingeblendet, aus dem sie stammt — nachprüfbar, statt geglaubt.

Ein Nebeneffekt, den Olowson betont: Dafür braucht es keine besonders großen Modelle. Wenn das Modell nur noch formulieren muss statt zu wissen, reichen kleinere und offene Modelle — die günstiger laufen und weniger Rechenleistung binden. Nicht zu verwechseln ist das mit RAG im Kontext von KI-Suchen; dort geht es um die Websuche im Hintergrund von ChatGPT und Perplexity, wie der Beitrag zu Generative Engine Optimization beschreibt.

Woran man erkennt, dass eine Antwort belegt ist

Der praktische Prüfstein ist simpel: Zeigt das System, woher es die Antwort hat? In der Demo blendet der interne Assistent zu jeder Auskunft den Abschnitt aus dem Handbuch ein. Beim Website-Bot, den Olowson beschreibt, sieht der Nutzer, auf welcher Unterseite die Aussage steht, und kann direkt dorthin klicken.

Genau daran lässt sich ein Angebot bewerten, bevor man es einkauft. Ein Assistent ohne Quellenanzeige ist im Zweifel nicht überprüfbar — und was nicht überprüfbar ist, kann im Zweifel niemand verantworten. Wie ein solcher Wissens-Chatbot im Unternehmen aussieht, zeigt der Beitrag zum KI-Wissensmanagement; bei Sprachagenten gilt dasselbe Prinzip, dort als feste Grenze im Prompt, siehe Telefon-KI-Agenten.

Guardrails: was gar nicht erst durchgehen soll

Belegte Antworten lösen ein Problem, nicht alle. Die zweite Schicht sind Guardrails — Filter, die vor und hinter dem Modell sitzen und prüfen, was hinein- und was herausgeht. Olowson nennt zwei Fälle, die Unternehmen fast immer betreffen:

• Personenbezogene Daten: Erkennen, ob persönliche Informationen in eine Anfrage geraten oder in einer Antwort auftauchen — und das blockieren, bevor es passiert.
• Unerwünschte Inhalte: Beleidigende oder hetzerische Ausgaben abfangen, statt darauf zu hoffen, dass das Modell sie schon nicht produziert.

Für Tests gibt es noch einen dritten Kniff, der wenig kostet und viel schützt: synthetische Daten. Statt echter Kundendatensätze wird ein künstlicher Satz erzeugt, der dieselbe Struktur hat und andere Namen — aus Klaus Müller wird Hans-Jürgen. Erprobt wird damit, produktiv gearbeitet später mit den echten Daten.

Erklärbarkeit: KI muss keine Black Box sein

Die dritte Schicht betrifft nicht mehr den Text, sondern die Entscheidung. Olowsons Beispiel ist eine Kreditablehnung: Bei klassischen Modellen lässt sich aufschlüsseln, welcher Faktor wie stark beigetragen hat — der Beruf zu einem Fünftel, das Geschlecht zu fast einem Drittel. Erst wenn man das sieht, kann man dagegen vorgehen.

Er berichtet, dass rund 80 Prozent der von seinem Haus befragten Führungskräfte solche Governance-Fragen als Bremse beim Ausrollen von KI sehen: Erklärbarkeit, Nachvollziehbarkeit der Trainingsdaten und die Frage, ob am Ende noch ein Mensch auf den Fall schauen kann. Das ist keine Formalie — es ist die Voraussetzung dafür, ein System überhaupt in Betrieb zu nehmen. Die europäischen Vorgaben zu KI gehen in dieselbe Richtung; eine rechtsverbindliche Beurteilung ist das hier ausdrücklich nicht. Wer die Entscheidungsrechte organisatorisch verteilen will, findet den Rahmen dazu unter KI-Agenten im Unternehmen.

Wo der Aufwand wirklich liegt

Am Ende landet man bei einer Erkenntnis, die für Unternehmen unbequemer ist als jede Modellwahl: Auch mit den großen vortrainierten Modellen braucht es einen Datentopf, aus dem geschöpft wird. Wo Informationen über fünf Systeme verstreut liegen, hilft kein Assistent — er findet dann nämlich genauso wenig wie der Mensch davor.

Der Einstieg ist trotzdem kleiner, als viele denken: eine abgegrenzte Dokumentensammlung, eine Handvoll echter Fragen aus dem Alltag und die Vorgabe, dass jede Antwort ihre Quelle mitbringt. Wie sich daraus ein erster Anwendungsfall entwickelt, beschreibt der Leitfaden KI im Unternehmen einführen.

Häufige Fragen