Weniger Halluzinationen im Unternehmen: Warum Quellenpflicht mehr bringt als ein besseres Modell

Es ist Montag, kurz vor neun. Im Vertrieb eines Anlagenbauers fragt ein Kunde nach, ob die Abnahme der Abfüllanlage im Projekt P-2291 ohne Beanstandung abgelaufen ist. Der Kollege fragt den Assistenten. Die Antwort kommt nach wenigen Sekunden, in sauberem Deutsch und im richtigen Ton: „Alle vier Abnahmekriterien wurden erfüllt, die Anlage ist ohne Vorbehalt abgenommen.“ Er kopiert den Satz in seine E-Mail und schickt sie ab.

Der Satz ist falsch. Im Abnahmeprotokoll steht, dass der Formatwechsel 34 Minuten gedauert hat statt der vereinbarten höchstens 30 Minuten und dass die Anlage deshalb nur mit Vorbehalt abgenommen wurde. Die Szene ist konstruiert, die Unterlagen stammen aus unseren fiktiven Demo-Daten. Aber jedes Unternehmen, das Sprachmodelle einsetzt, kennt seine eigene Version davon.

Der erste Reflex lautet: Wir brauchen ein besseres Modell. Dieser Artikel vertritt eine andere These. Ein besseres Modell macht Fehler seltener, aber nicht sichtbarer. Wirksam sind drei Regeln, die um das Modell herum gelten: Der Assistent nennt seine Quellen (Quellenpflicht), jede einzelne Aussage trägt ihren eigenen Beleg, und wenn die Unterlagen etwas nicht hergeben, sagt der Assistent das offen: „Steht nicht in den Unterlagen.“ Dazu kommt eine Prüfroutine für Sie als Leser, die vier Fehlerarten abdeckt und pro Aussage nur Sekunden kostet.

Warum ein besseres Modell nicht reicht

Das Wort „Halluzination“ ist bequem, aber ungenau. Gemeint ist eine Aussage, die flüssig formuliert ist und sich nicht auf die Wirklichkeit stützt. Sprachmodelle erzeugen Text, der zum bisherigen Text passt. Fehlt eine Information, ist ein plausibler Satz oft die naheliegendste Fortsetzung, ein „weiß ich nicht“ dagegen oft nicht. Bessere Modelle und besseres Training können das verringern. Ganz verschwinden wird es aus unserer Sicht nicht, und genau das ist nicht der entscheidende Punkt.

Entscheidend ist eine andere Frage: Was passiert, wenn der Fehler trotzdem auftritt? Ein falscher Satz sieht aus wie ein richtiger. Sie lesen ihn mit demselben Eindruck von Sicherheit. Je besser Modelle formulieren, desto weniger verrät der Text selbst, ob er stimmt. Das ist eine Überlegung, kein Messwert, aber sie hat eine unbequeme Folge: Ein besseres Modell kann die Lage sogar verschärfen, weil die verbleibenden Fehler schwerer zu bemerken sind und das Vertrauen der Leser schneller wächst als die Zuverlässigkeit.

Dazu kommt, dass ein Teil der typischen Fehler gar nicht an der Sprachfähigkeit liegt, sondern an den Unterlagen und an der Zuordnung. Ein Modell kann nicht wissen, dass die Preisliste von 2023 durch eine neuere ersetzt wurde, wenn beide im Archiv liegen und nichts auf den Unterschied hinweist. Es kann nur zeigen, woher es etwas hat. Dann entscheiden Sie.

Vergrößern

Aus dieser Überlegung folgt der rote Faden dieses Artikels. Wir können die Fehlerquote nicht auf null bringen, aber wir können den Preis senken, einen Fehler zu finden. Quellenpflicht, ein Beleg pro Aussage und die ehrliche Lücke tun genau das. Sie machen aus einem Vertrauensproblem ein Prüfproblem, und Prüfprobleme lassen sich organisieren.

Vier Arten, wie ein Assistent danebenliegt

Wer Fehler im Alltag finden will, muss wissen, wonach er sucht. In der Praxis zeigen sich vier Muster, die sich bei der Prüfung unterschiedlich verhalten. Die folgenden Beispiele sind ausgedacht und an unsere fiktiven Demo-Unterlagen angelehnt, es sind keine Kundenfälle.

Erfunden

Die Aussage hat keine Grundlage in den Unterlagen. Das Modell hat etwas ergänzt, das plausibel klingt: eine Zahl, eine Klausel, eine Zusage. Im Einstieg war es der Satz „Alle vier Abnahmekriterien wurden erfüllt“. In den Unterlagen steht das Gegenteil. Erfundene Aussagen sind am leichtesten zu fangen, wenn jede Aussage einen Beleg tragen muss: Sie erkennen sie daran, dass die Nummer fehlt oder dass die Quelle die Aussage nicht enthält.

Veraltet

Die Aussage stimmte einmal. Angenommen, der Fehler E-217 am Füller FL-200 wird mit einer Anleitung aus einer älteren Ausgabe des Wartungshandbuchs erklärt, obwohl eine überarbeitete Ausgabe ein anderes Vorgehen vorsieht. Der Assistent zitiert korrekt, nur eben die falsche Ausgabe. Das Modell kann das nicht von selbst auflösen, solange beide Dokumente gleichrangig im Bestand liegen. Sie erkennen es am Datum der Quelle und daran, dass es mehrere Fassungen gibt.

Falsch zugeordnet

Die Aussage steht tatsächlich in den Unterlagen, aber bei einem anderen Gegenstand. Beispiel: Auf die Frage nach dem Angebot für die Abfüllanlage P-2417 nennt der Assistent eine Nennleistung von 10.000 Flaschen pro Stunde. Der Wert stammt aus dem Abnahmeprotokoll von P-2291. Beide Projekte liegen im selben Bestand, beide Dokumente handeln von Abfüllanlagen. Solche Verwechslungen betreffen meist Kennungen, Namen und Zahlen: P-2291 statt P-2417, E-217 statt E-271, ein Kunde statt eines anderen. Sie erkennen sie, indem Sie die Kennung in der Antwort mit der Kennung im Dokument vergleichen.

Aus fremdem Kontext

Die Aussage steht im richtigen Dokument und gehört zum richtigen Gegenstand, gilt aber unter anderen Bedingungen. Angenommen, im Rahmenvertrag mit dem Transportpartner TP-118 steht eine Lieferfrist, die ausdrücklich nur für Standardware gilt. Der Assistent gibt sie als allgemeine Frist weiter, und ein Kunde mit Sonderanfertigung wird falsch informiert. Auch Entwürfe, Beispiele, Ausnahmen und Fristen mit Bedingungen gehören hierher. Dieser Fehler ist der heimtückischste, weil Beleg, Datum und Gegenstand stimmen. Sie erkennen ihn nur, indem Sie die Stelle im Zusammenhang lesen: Überschrift, Bedingungen und Wörter wie „nur“, „sofern“ oder „abweichend“.

Vergrößern

Der Unterschied zwischen den Fehlerarten erklärt, warum eine bloße Quellenliste am Ende einer Antwort nicht genügt. Bei der ersten Art fehlt der Beleg. Bei den anderen dreien ist ein Beleg vorhanden, er zeigt nur auf die falsche Fassung, den falschen Gegenstand oder die falschen Bedingungen. Wer nur prüft, ob irgendeine Quelle genannt wird, fängt genau diese drei nicht.

Quellenpflicht heißt: Jede Aussage trägt ihren Beleg

Quellenpflicht klingt nach einer Fußnote am Ende. Gemeint ist etwas Strengeres. Woran Sie eine brauchbare Quellenpflicht erkennen:

• Ein Beleg pro Aussage, nicht eine Liste am Ende. Eine Liste mit fünf Dokumenten sagt nicht, welcher Satz woher stammt.
• Die Quelle ist ein echtes Dokument aus dem Bestand, das Sie öffnen können, kein vom Modell frei geschriebener Verweis.
• Die Quelle zeigt, was Sie für die Prüfung brauchen: Titel, Dokumentnummer und Datum.
• Eine Aussage ohne Beleg ist als solche erkennbar und gilt als ungeprüft.
• Die Suche beschränkt sich auf Unterlagen, die die fragende Person sehen darf.
• Das System warnt, wenn die zitierte Stelle die Aussage nur schwach stützt.

In TheroAI sieht das so aus: Die Antwort zur Abnahme von P-2291 enthält eine Tabelle mit den Spalten Kriterium, Vereinbart, Gemessen und Ergebnis. Hinter jeder Zeile steht eine hochgestellte Nummer. Rechts öffnet sich der Bereich „Quellen“ mit dem Eintrag „Abnahmeprotokoll Abfüllanlage P-2291, Dokument AP-2291-02, Datum 17.10.2025“. Die Antwort selbst nennt die Werte: Der Formatwechsel hat 34 Minuten gedauert, vereinbart waren höchstens 30, das Ergebnis lautet „nicht erfüllt“. Die übrigen drei Kriterien, Nennleistung, Füllgenauigkeit und Verfügbarkeit, stehen in derselben Tabelle als „erfüllt“. Ein Klick auf eine Nummer führt Sie zur Stelle im Dokument, an der die Zahl steht.

Vergrößern

Titel, Dokumentnummer und Datum sind genau die Angaben, die Sie für die Fragen „Ist sie aktuell?“ und „Gehört sie zum richtigen Gegenstand?“ brauchen. Sie müssen dafür nicht suchen, sie stehen neben der Antwort. Dass TheroAI einen Beleg zusätzlich mit einem Hinweis versehen kann, wenn die zitierte Stelle die Aussage nur schwach stützt, ersetzt Ihre Prüfung nicht. Der Hinweis lenkt sie nur dorthin, wo sie am dringendsten ist.

Der Weg einer Antwort

Die Quellenpflicht ist dann glaubwürdig, wenn sie nicht erst am Schluss aufgesetzt wird, sondern den ganzen Weg der Antwort bestimmt. Die Grafik zeigt allgemein, wie dieser Weg aussehen sollte, in vier Stationen:

Vergrößern

Erstens: Die Frage geht an eine Suche, nicht direkt an das Gedächtnis des Modells. Zweitens: Die Suche arbeitet nur in Unterlagen, auf die die fragende Person Zugriff hat. Drittens: Aus den gefundenen Passagen entsteht die Antwort, und jede Aussage erhält die Nummer ihrer Passage. Viertens: Die Quellen stehen mit Dokument und Datum zum Öffnen bereit. Und für den Fall, dass die Suche nichts Passendes findet, gibt es einen eigenen Ausgang, der im nächsten Abschnitt steht. Die Regel, die wir für richtig halten: Eine Aussage ohne Passage wird nicht geschrieben.

Die ehrliche Antwort: „Steht nicht in den Unterlagen“

Der wirksamste Satz gegen Halluzinationen ist ein Satz, den viele Systeme ungern sagen. Ein Sprachmodell ist darauf ausgelegt, hilfreich zu klingen, und eine Lücke ist im Text kein natürlicher Haltepunkt. Deshalb braucht es eine Regel: Beantworten die Unterlagen die Frage nicht, sagt der Assistent das. Er rät nicht und rundet nicht auf „üblicherweise“ auf.

Eine gute Lückenmeldung ist mehr als ein „Weiß ich nicht“. Sie sagt, was durchsucht wurde, nennt Verwandtes als Verwandtes und überlässt die Entscheidung Ihnen. Die Tabelle zeigt vier Situationen und den Unterschied zwischen einer schlechten und einer guten Antwort.

Der Satz funktioniert nur, wenn Ihr Unternehmen ihn auch erträgt. Wenn Mitarbeitende eine Lückenmeldung als Versagen des Werkzeugs lesen, werden sie zu dem Werkzeug greifen, das immer antwortet, und damit zu dem, das häufiger irrt. Behandeln Sie jede Lückenmeldung deshalb als Information: Sie zeigt, dass etwas nicht dokumentiert ist. Wer die Unterlagen pflegt, sollte diese Meldungen regelmäßig zu sehen bekommen.

Woher darf die Antwort kommen?

Zur ehrlichen Antwort gehört auch, woher sie stammen darf. In TheroAI wählen Sie das im Chat unter „Quellen“. Zur Auswahl stehen fünf Optionen: „Automatisch“, „Nur Unternehmenswissen“, „Nur öffentliche Quellen“, „Unternehmen und öffentliche Quellen“ und „Keine externen Quellen“.

Vergrößern

Bei Fragen zu Verträgen, Abnahmen oder Störungen ist „Nur Unternehmenswissen“ unsere Empfehlung: Was dort nicht steht, kann nicht still aus dem Web kommen, und die Lückenmeldung bleibt eine Lückenmeldung. „Keine externen Quellen“ bedeutet laut Menü, dass nur aus dem Sprachmodell geantwortet wird. Eine solche Antwort kann keinen Beleg tragen. Behandeln Sie sie wie einen Entwurf, bis Sie sie an einer Quelle geprüft haben.

Auch die Berechtigung gehört zur ehrlichen Antwort. Der Assistent durchsucht nur, was die fragende Person sehen darf. „Steht nicht in den Unterlagen“ heißt deshalb: nicht in den Unterlagen, auf die Sie Zugriff haben. Ob es ein Dokument anderswo gibt, sollte ein Assistent nicht verraten, ohne Zugriffsrechte zu unterlaufen. Mehr dazu auf der Seite zur Sicherheit.

Was eine Prüfung kostet: eine Beispielrechnung

Prüfungen, die zu aufwendig sind, finden nicht statt. Das ist der eigentliche Mechanismus hinter der Quellenpflicht: Sie macht die Prüfung nicht überflüssig, sie macht sie so billig, dass sie im Alltag tatsächlich stattfindet. Eine Beispielrechnung mit runden Annahmen zeigt die Größenordnung. Die Werte sind angenommen, nicht gemessen.

Zehn Aussagen zu je drei Minuten ergeben 30 Minuten. Zehn Aussagen zu je 20 Sekunden ergeben 200 Sekunden, also 3 Minuten und 20 Sekunden. Das Verhältnis beträgt 9 zu 1. Ihre eigenen Werte werden abweichen, die Richtung nicht: Wenn der Beleg neben der Aussage steht, entfällt die Suche, und die Suche ist der größte Teil der Arbeit.

Vergrößern

Das heißt nicht, dass Sie jede Aussage jeder Antwort prüfen sollten. Wie tief Sie prüfen, hängt davon ab, wofür Sie die Antwort verwenden. Darum geht es im nächsten Abschnitt.

Die Prüfroutine für den Alltag

Die vier Fehlerarten ergeben vier Fragen. Gehen Sie sie für jede Aussage durch, die Sie weitergeben wollen:

1. 1.Gibt es die Stelle? Öffnen Sie den Beleg und suchen Sie die Aussage dort. Fehlt der Beleg oder die Stelle, behandeln Sie die Aussage als erfunden, bis das Gegenteil feststeht.
2. 2.Ist sie aktuell? Prüfen Sie Datum und Fassung der Quelle. Gibt es eine neuere Ausgabe, einen Nachtrag, eine Änderung?
3. 3.Gehört sie zum richtigen Gegenstand? Vergleichen Sie die Kennungen in Antwort und Dokument: Projekt, Kunde, Gerät, Fehlercode, Vertrag.
4. 4.Gilt sie für meinen Fall? Lesen Sie den Absatz davor und danach. Achten Sie auf Bedingungen, Ausnahmen und Wörter wie „nur“, „sofern“ und „abweichend“.

Besondere Aufmerksamkeit verdienen Zahlen, Daten, Namen, Fristen und Zusagen. Dort kostet ein Fehler am meisten, und dort ist er am leichtesten zu übersehen. Ein Satz zur Zusammenfassung des Gesprächsverlaufs ist weniger kritisch als eine Frist.

Würde ich diese Aussage unterschreiben, wenn der Assistent nicht dabei gewesen wäre?

Diese eine Frage ersetzt keine der vier, aber sie hilft, die Prüftiefe zu wählen. Wer etwas unterschreibt, öffnet die Quelle.

Prüftiefe nach Folgen

Nicht jede Antwort braucht dieselbe Sorgfalt. Eine einfache Faustregel richtet sich nach den Folgen eines Fehlers:

Vergrößern

Die oberste Stufe lässt sich organisatorisch absichern, statt sie dem guten Willen jedes Einzelnen zu überlassen. Ein Workflow kann den Antwortentwurf erstellen und dann vor der Ausgabe bei einer Freigabe anhalten. In den Workflows von TheroAI gibt es dafür einen Freigabeschritt mit Frist von 72 Stunden und einem Schalter für das Vier-Augen-Prinzip. Der Entwurf einer Kundenantwort nennt am Ende seine Quellen, sodass die prüfende Person sie vor sich hat.

Was im Unternehmen dazugehört

Quellenpflicht ist keine Einstellung, die man einschaltet und vergisst. Drei Dinge gehören dazu.

Unterlagen, die sich prüfen lassen. Das Datum der Quelle hilft nur, wenn es stimmt. Tragen Sie Fassung und Datum in Titel oder Eigenschaften der Dokumente ein, kennzeichnen Sie ersetzte Fassungen als ersetzt oder legen Sie sie ab, und benennen Sie pro Bestand eine verantwortliche Person. Eine „veraltete“ Antwort ist oft ein Pflegeproblem im Archiv und kein Modellproblem.

Ein Weg für Lücken. Jede Meldung „steht nicht in den Unterlagen“ ist ein Hinweis auf eine Dokumentationslücke oder auf eine Suche, die zu eng gefasst ist. Legen Sie fest, wer diese Hinweise bekommt und was daraus wird.

Klare Verantwortung. Wer Aussagen eines Assistenten an Kunden, Behörden oder Beschäftigte weitergibt, bleibt für den Inhalt verantwortlich. Welche Prüf- und Dokumentationspflichten im Einzelfall gelten, hängt von Branche und Vertrag ab. Das ist keine Rechtsberatung, klären Sie den Einzelfall mit Ihrer Rechtsberatung. Wenn Sie Prüfungen protokollieren, kann das Verhalten oder Leistung einzelner Beschäftigter berühren. Dann kann der Betriebsrat mitzubestimmen haben (Betriebsverfassungsgesetz § 87 Abs. 1 Nr. 6). Auch das klären Sie im Einzelfall.

Woran Sie merken, ob es wirkt

Ob die Regeln greifen, sehen Sie nicht am Gefühl, sondern an wenigen Kennzahlen, die Sie mit kleinen Stichproben selbst erheben können. Wir nennen hier bewusst keine Sollwerte, weil sie von Ihrem Bestand und Ihrem Risiko abhängen.

Die Aufteilung nach Fehlerart zeigt, wo Sie ansetzen. Erfundene Aussagen verlangen eine strengere Regel zur Quellenpflicht und zur Lückenmeldung. Veraltete Aussagen verlangen Pflege des Bestands. Falsch zugeordnete Aussagen verlangen eindeutige Kennungen in den Dokumenten und etwas Übung beim Vergleichen. Aussagen aus fremdem Kontext verlangen Schulung: Wer Absätze im Zusammenhang liest, fängt sie.

Was Sie daraus mitnehmen können

Wenn Sie ein KI-Werkzeug für Unternehmenswissen bewerten oder bereits einsetzen, helfen diese Fragen:

• Trägt jede Aussage einen eigenen Beleg, oder gibt es nur eine Liste am Ende?
• Können Sie mit einem Klick das Dokument öffnen und sehen Titel, Nummer und Datum?
• Sagt das Werkzeug „steht nicht in den Unterlagen“, wenn nichts Passendes vorliegt? Testen Sie das mit einer Frage, deren Antwort nachweislich in keinem Ihrer Dokumente steht.
• Können Sie festlegen, woher Antworten kommen dürfen, und wirkt sich die Berechtigung der fragenden Person auf die Suche aus?
• Kennen Ihre Mitarbeitenden die vier Fehlerarten und die Prüftiefe für ihre Verwendung?
• Sind Fassung und Datum Ihrer Unterlagen gepflegt, und wer kümmert sich um Lücken?

Unsere Position: Investieren Sie zuerst in Belege, ehrliche Lücken und eine Prüfroutine, dann in das Modell. Ein besseres Modell hilft, aber es macht keine dieser drei Maßnahmen überflüssig. Ein Assistent, der gelegentlich irrt und dabei jede Aussage belegt, ist im Betrieb besser beherrschbar als einer, der selten irrt und nie zeigt, woher er etwas hat.

Wenn Sie sehen möchten, wie Antworten mit Quellen und die Wahl der Quellen im Alltag aussehen, zeigen wir es Ihnen gern in einer Demo, ohne Verpflichtung und an Beispielen aus Ihrer Branche.