aisafetyagentcontrolprototype
Drift Limiter
Ein Forschungsprojekt zu Auftragstreue, Rahmenklarheit und KI-Verlässlichkeit
Stand
- Lauffähiger Prototyp
- Veröffentlichung geplant Ende August 2026
Auf dieser Seite
Wer mit KI arbeitet, kennt diesen Moment: Eine Antwort beginnt sinnvoll, klingt hilfreich, bleibt sprachlich überzeugend und entfernt sich trotzdem leise von dem, worum es eigentlich ging.
Die KI beantwortet dann nicht mehr ganz die gestellte Frage. Sie wird schneller, aber oberflächlicher. Sie wird freundlicher, aber ungenauer. Sie wechselt von Analyse zu Ratschlag, obwohl noch Verstehen gefragt war. Sie vergrößert eine Behauptung über die vorhandene Evidenz hinaus. Oder sie übernimmt Ton, Annahmen und Unsicherheit der Nutzerin so stark, dass die Aufgabe selbst aus dem Blick gerät.
Diese Bewegung nennt man Drift.
Drift ist kein bloßes Gefühl und kein Randproblem. Die Forschung zu großen Sprachmodellen und agentischen KI-Systemen hat inzwischen mehrere verwandte Formen davon belegt. Modelle können durch eingebettete Fremdinstruktionen von der ursprünglichen Aufgabe abgelenkt werden. Sie nutzen lange Kontexte nicht immer stabil. Sie können explizite Vorgaben über Länge, Quellen oder Aufgabe verlieren. Und sie zeigen in bestimmten Situationen sykophantisches Verhalten: eine Tendenz, Nutzerannahmen zu bestätigen, auch wenn das der Genauigkeit schadet.
Die Risiken sind entsprechend konkret. Drift kann falsche Sicherheit erzeugen. Quellen können falsch gewichtet werden. Sensible Aufgaben werden zu schnell vereinfacht. Beratung kippt in eine falsche Richtung. Oder ein KI-Agent bleibt in längeren Arbeitsprozessen zwar aktiv, arbeitet aber nicht mehr sauber am ursprünglichen Auftrag.
Der Drift Limiter setzt genau an dieser Stelle an.
Zweck
Der Zweck des Drift Limiter ist es, die Auftragstreue von KI-Systemen sichtbar und bearbeitbar zu machen.
Viele heutige KI-Oberflächen zeigen vor allem das Ergebnis: den Text, die Antwort, die Empfehlung, den nächsten Schritt. Unsichtbar bleibt dabei oft der Arbeitsrahmen. Welche Aufgabe wird gerade bearbeitet? In welcher Tiefe? Mit welcher Quellenbasis? Mit welcher Unsicherheit? Und wann beginnt die Antwort, einen anderen Rahmen zu bedienen als den, den die Nutzerin gemeint hat?
Der Drift Limiter untersucht, wie solche Verschiebungen früher erkennbar werden. Nicht erst, wenn ein Ergebnis falsch ist — sondern dort, wo sich der Kurs der Antwort verändert.
Ziel
Das Ziel ist nicht, KI enger, vorsichtiger oder weniger nützlich zu machen. Im Gegenteil: Eine gute KI soll flexibel bleiben, mitdenken, Vorschläge machen und komplexe Aufgaben tragen können.
Aber sie soll dabei nicht heimlich den Auftrag wechseln.
Der Drift Limiter zielt deshalb auf eine andere Form von Verlässlichkeit: nicht nur korrekte Einzelantworten, sondern stabile Orientierung im Verlauf einer Arbeit. Eine KI soll merken können, wann eine Aufgabe mehr Tiefe braucht. Wann eine Rückfrage besser ist als ein schneller Output. Wann eine Quelle nicht reicht. Und wann eine hilfreiche Abkürzung den eigentlichen Sinn der Aufgabe verfehlt.
Aufgaben
Öffentlich beschrieben erfüllt der Drift Limiter drei Aufgaben.
- Rahmenverschiebungen sichtbar machen Nicht jede Abweichung ist ein Fehler. Manchmal ist ein Perspektivwechsel nützlich. Aber er sollte erkennbar sein, damit Mensch und KI gemeinsam entscheiden können, ob der neue Kurs wirklich gewollt ist.
- Rekalibrierung unterstützen Wenn eine Antwort beginnt, am Auftrag vorbeizulaufen, soll das System nicht einfach weiterschreiben. Es soll innehalten können: Was hat sich verschoben? Welche Grenze wurde unklar? Welche Entscheidung braucht wieder menschliche Klärung?
- Wiederkehrende Muster lernbar machen Drift ist oft nicht einmalig. Manche Systeme werden unter Zeitdruck zu knapp, bei Unsicherheit zu gefällig, bei langen Kontexten zu vergesslich oder bei emotionalen Aufgaben zu bestätigend. Solche Muster sind wertvoll, wenn sie dokumentiert und später wiedererkannt werden können.
Warum das wichtig ist
Je mehr KI-Systeme zu Agenten werden, desto wichtiger wird Auftragstreue. Ein Chatbot, der eine einzelne Frage missversteht, ist ein Problem. Ein Agent, der Dateien liest, recherchiert, Entscheidungen vorbereitet, Werkzeuge bedient und längere Prozesse begleitet — und dabei unbemerkt driftet —, ist ein größeres Risiko.
Der Drift Limiter ist deshalb kein Komfortmerkmal. Er gehört zur Grundlagenforschung an verlässlicher Zusammenarbeit von Mensch und KI. Wie bleibt ein intelligentes System beweglich, ohne den Rahmen zu verlieren? Wie kann es helfen, ohne zu übernehmen? Wie kann es handeln, ohne den ursprünglichen Sinn des Auftrags zu verschieben?
Der Drift Limiter verrät nicht, wie eine KI intern geprüft wird. Er beschreibt eine Aufgabe, die für die nächste Generation von KI-Systemen zentral wird: sichtbar zu machen, wann Hilfe beginnt, vom Auftrag abzuweichen.
Ausgewählte Forschungshinweise
- Get my drift? Catching LLM Task Drift with Activation Deltas Abdelnabi et al., 2025. SaTML 2025, arXiv.
- Lost in the Middle: How Language Models Use Long Contexts Liu et al., 2023. TACL, arXiv.
- LIFEBENCH: Evaluating Length Instruction Following in Large Language Models Zhang et al., 2025. NeurIPS 2025.
- Training language models to be warm can reduce accuracy and increase sycophancy Ibrahim, Hafner und Rocher, 2026. Nature.
- How undesired goals can arise with correct rewards Shah et al., 2022. Google DeepMind.