Halluzination: Definition, Nutzen und Grenzen
Halluzination Aktualisiert
Definition
Eine Halluzination ist eine von einem Sprachmodell erzeugte Ausgabe, die plausibel klingt, aber sachlich falsch oder frei erfunden ist. Das Modell rät auf Basis von Wahrscheinlichkeiten, statt eine Quelle zu prüfen. In der Prozessautomatisierung ist das dann kritisch, wenn eine solche Ausgabe ohne Kontrolle in einen Ablauf, eine Buchung oder eine Kundenantwort fließt.
Warum der Begriff zählt
Wer KI in Standardabläufe einbaut, verlässt sich auf ihre Ausgabe. Halluziniert das Modell eine Rechnungsnummer, einen Vertragspunkt oder einen Bestand, richtet ein automatisierter Folgeschritt still Schaden an. Deshalb gehört zu jeder KI-Automatisierung im Mittelstand ein Kontrollpunkt, der Ausgaben gegen echte Systemdaten prüft, statt dem Modell blind zu vertrauen. Der Begriff hilft, dieses Risiko früh einzuplanen.
Wann es relevant ist
- Ein KI-Schritt liest oder formuliert etwas, das direkt weiterverarbeitet wird.
- Ausgaben landen ungeprüft in SAP, CRM oder einer Kundenmail.
- Zahlen, Namen oder rechtliche Aussagen müssen exakt stimmen.
- Der Ablauf hat heute keinen Prüfschritt gegen die Quelle.
Wann nicht
Wenn die KI nur Vorschläge macht und ein Mensch ohnehin jede Ausgabe freigibt, ist das Risiko klein. Und wenn ein Schritt keine faktischen Behauptungen erzeugt, etwa reines Umformatieren strukturierter Daten, spielt Halluzination kaum eine Rolle. Dann lohnt sich kein aufwendiger Prüfmechanismus.
Branchen, die das nutzen
- Versicherung: Schadenmeldungen werden von KI vorsortiert, aber jede Zahl gegen die Police geprüft, bevor sie in die Regulierung geht.
- Kundenservice: Antwortentwürfe stützen sich nur auf freigegebene Wissensartikel, damit keine erfundene Zusage rausgeht.
- Rechtsabteilung: Vertragsauszüge werden mit Fundstelle belegt, nicht frei zusammengefasst.
- Gesundheitswesen: medizinische Angaben bleiben an geprüfte Quellen gebunden und gehen nie ungeprüft an Patienten.
Typische Anwendungsfälle
- KI-Antwort im Support nur aus verknüpften Quelldokumenten erlauben.
- Extrahierte Zahlen gegen das Quellsystem abgleichen und bei Abweichung stoppen.
- Jede KI-Aussage mit einer Fundstelle versehen, sonst Eskalation an einen Menschen.
- Konfidenz niedrig? Ablauf pausiert und legt den Fall in eine Prüfliste.
- Regelmäßige Stichprobe der KI-Ausgaben gegen die tatsächlichen Systemwerte.
Entscheidungshilfe
| Signal | Halluzination ist Thema | Alternative |
|---|---|---|
| KI-Ausgabe geht ungeprüft weiter | Quellenbindung plus Prüfschritt | Freigabe durch Mensch |
| Zahlen und Namen müssen exakt sein | Abgleich gegen Quellsystem | reine Umformatierung ohne Fakten |
| Antwort geht direkt an Kunden | nur freigegebenes Wissen zulassen | interner Entwurf zum Gegenlesen |
| Modell rät bei Unsicherheit | niedrige Konfidenz eskaliert | fester Regelpfad ohne KI |
Beispiel
Ein Versicherer lässt eingehende Schadenmails von einem Modell vorstrukturieren. Jede Betragsangabe wird gegen die Policendaten im Bestandssystem geprüft. Stimmt sie nicht überein oder fehlt die Fundstelle, hält der Ablauf an und legt den Fall einem Sachbearbeiter vor. So bleibt die Zeitersparnis erhalten, ohne dass eine erfundene Zahl in die Regulierung rutscht. Das Beispiel beschreibt die Methode, keine behauptete Kundenkennzahl.
Verbindung zu Services
Kontrollpunkte gegen Halluzination planen wir in jeder Prozessautomatisierung mit KI. Die Einordnung, wo KI sicher trägt und wo eine Freigabe nötig bleibt, kommt aus der Prozessautomatisierung-Beratung.
Quellen
Diese Einordnung beschreibt gängige Praxis beim Umgang mit KI-Ausgaben in automatisierten Abläufen. Konkrete Prüfmechanismen, Schwellenwerte und Datenschutz hängen vom Fall, den Systemen und den Werkzeugen ab und müssen im Einzelfall geprüft werden.