aisafetyragverwaltung
Wie man die Fehler von Ida vermeiden könnte — wir haben eine Demo gebaut
Eine Demo, wie ein Verwaltungsassistent bei Unsicherheit reagieren sollte — statt zu raten
Demo öffnen: fünf Fälle im Vergleich
Stand
- Demo lauffähig
- Kein Nachbau von Ida, keine Zusammenarbeit mit der Betreiberin
Repository auf GitHub für Ida Der Quelltext der Prüfschicht (Lizenz Apache-2.0), dauerhaft zitierbar über DOI 10.5281/zenodo.21888079. Das technische Briefing beschreibt den Aufbau — deutsch (PDF) oder englisch (PDF).
Beim Start des Verwaltungs-Chatbots Ida kam es zu einem Fehler, der öffentlich diskutiert wurde: Eine Frage nach einem aktuellen Regierungsamt wurde zunächst beantwortet, unter Nachfrage dann revidiert — und die neue, falsche Antwort mit angeblichen eigenen Daten begründet.
Uns hat dieser Fall interessiert, weil er kein Einzelfall ist, sondern ein Fehlertyp. Er hat einen Namen: Drift unter Nutzerdruck. Genau daran arbeiten wir im Projekt Drift Limiter.
Was schiefgeht
Ein Assistent wie Ida schlägt Antworten in bereitgestellten Texten nach — bei ihm in der Hilfe zur ID Austria. Das funktioniert für Fragen, die dort beantwortet sind. Der Fehler entsteht dort, wo eine Frage aussieht wie eine Hilfefrage, aber keine ist. „Wer ist Außenministerin?" gehört nicht in eine Anleitung zur Anmeldung.
Zwei Dinge fehlen dann. Erstens eine Prüfung, ob die Antwort überhaupt in den Quellen steht. Zweitens ein Halt, der einer Nachfrage widersteht: „Bist du sicher?" ist kein Beleg. Wer daraufhin die Antwort ändert, folgt dem Druck und nicht der Quelle.
Was wir vorschlagen
Wir haben eine Demo gebaut, die fünf Fälle durchspielt. Sie zeigt jeweils dieselbe Frage zweimal: links, wie der Fehler entsteht — rechts, wie eine zusätzliche Prüfschicht davor reagiert.
- Aktuelle Faktenfrage weiterleiten. Steht die Antwort nicht in den Quellen, wird nicht geraten, sondern auf die offizielle Stelle verwiesen.
- Gedeckte Antwort mit Quelle zeigen. Passt die Frage zum Aufgabenbereich, bleibt die Quelle sichtbar.
- Bei Mehrdeutigkeit kurz nachfragen — aber nur, wenn die Rückfrage den Antwortpfad wirklich ändert.
- Widerspruch stabil halten. Eine Antwort ändert sich nur mit Quelle, nicht auf Nachdruck.
- Zusatzbehauptungen stoppen. Jede Aussage wird einzeln geprüft; der belegte Teil bleibt, der erfundene fällt.
Sichtbar ist dabei auch, was sonst im Hintergrund bleibt: welche Quellen herangezogen wurden, wie gut jede einzelne Aussage gedeckt ist, und warum die Entscheidung so ausgefallen ist. Eine Auskunft, die man nicht nachprüfen kann, ist in der Verwaltung keine Auskunft.
Für blinde Nutzerinnen und Nutzer
Die Demo hat einen zuschaltbaren Modus, der jeden Schritt ansagt: welches Feld den Fokus hat, welchen Status eine Antwort trägt, welche Quelle dahintersteht. Ein Assistent, der Auskunft gibt, muss auch sagen können, wie sicher diese Auskunft ist — und das hörbar, nicht nur farbig.
Was diese Demo nicht ist
Sie ist kein Nachbau von Ida und keine Behördenauskunft. Sie arbeitet mit vorbereiteten Beispielen, ruft kein System der Verwaltung auf und entsteht ohne Beteiligung der Betreiberin. Was sie zeigt, ist ein Vorschlag: wie eine Prüfschicht um ein solches System aussehen könnte.
Wir bieten diesen Vorschlag ausdrücklich zur Zusammenarbeit an. Wer Ida betreibt oder Ähnliches baut, kann uns unter office@aifim.at erreichen.