Begrenzte KI-Agenten, sichere Werkzeugnutzung und sokratische Tutoren: Architektur statt unkontrollierter Autonomie

Stand November 2026 · CODLAB Team

Kurzantwort: Produktive KI-Agenten benötigen im Unternehmenseinsatz keine unbegrenzte Autonomie, sondern deterministische Zustandsautomaten, streng typisierte Werkzeugschnittstellen, feste Schrittbudgets und menschliche Freigaben für Schreibaktionen. Dasselbe Steuerungsprinzip ermöglicht quellenbasierte sokratische Tutoren, die Lernende und Fachkräfte durch gezielte Rückfragen zur eigenen Lösung führen, statt ungeprüfte Musterantworten vorzusagen.

Warum offene Agentenschleifen im Unternehmensalltag selten tragen

Seit Shunyu Yao et al. mit dem ReAct-Paradigma gezeigt haben, wie Sprachmodelle Zwischenüberlegungen (Reasoning) und Werkzeugaufrufe (Acting) im Wechsel verknüpfen können (Yao et al., ICLR 2023, arXiv:2210.03629), wird unter dem Schlagwort „autonome KI-Agenten" oft das Bild vollautomatischer digitaler Mitarbeitender gezeichnet. In Demonstrationen ruft ein Modell nacheinander Suchfunktionen, Datenbanken und APIs auf, bis eine komplexe Aufgabe erledigt scheint.

Sobald solche ungebremsten Agentenschleifen auf reale Geschäftsprozesse im Mittelstand treffen, zeigen sich in unserer angewandten Forschung bei CODLAB für souveräne KI-Systeme jedoch reproduzierbare Schwachstellen:

• Fehlerkaskaden über mehrere Schritte: Liefert der erste Werkzeugaufruf einen mehrdeutigen Datensatz, baut der zweite Schritt auf einer falschen Annahme auf, während die Gesamtwahrscheinlichkeit eines korrekten Ablaufs mit jedem freien Zwischenschritt sinkt.
• Unberechenbare Laufzeiten und Kosten: Ohne harte Obergrenzen wiederholt ein Modell fehlgeschlagene Abfragen in leicht abgewandelter Form und verbraucht dabei Sekunden bis Minuten an GPU-Zeit und Token-Budget.
• Unklare Verantwortungs- und Befugnisgrenzen: Wenn das Sprachmodell selbst entscheidet, welches Werkzeug mit welchen Parametern ausgeführt wird, verschwimmt die Grenze zwischen unverbindlichem Entwurf und rechtswirksamer Buchung.

Unsere zentrale Forschungsleitlinie lautet daher: Soviel deterministischer Programmfluss wie möglich, soviel Sprachmodell-Flexibilität wie nötig. Statt dem Modell die Prozesssteuerung zu überlassen, betten wir einzelne Modellaufrufe und Werkzeugschnitte in explizite Zustandsautomaten ein.

1. Architektur kontrollierter Werkzeugnutzung (Bounded Tool Use)

Ein verlässlicher Werkzeug-Agent im Unternehmen unterscheidet sich in vier Punkten grundlegend von einem offenen Experimentier-Framework:

1. Typisierte Verträge statt Freitext-Kommandos: Ein Modell erhält niemals Zugriff auf eine generische Datenbank- oder Shell-Schnittstelle. Jedes Werkzeug besitzt ein enges Parameter-Schema (Pflichtfelder, Wertelisten, Zahlenbereiche), das vor der Ausführung durch klassischen Python-Code validiert wird.
2. Trennung von Lese- und Schreibwerkzeugen: Reine Abfragewerkzeuge (z. B. Dokumentensuche, Kalenderverfügbarkeit lesen, Bestandsstatus abfragen) dürfen innerhalb eines festen Schrittbudgets (etwa maximal drei Werkzeugaufrufe pro Anfrage) automatisch laufen. Schreibende Werkzeuge (Termin anlegen, Ticket ändern, Nachricht versenden) erzeugen hingegen zunächst nur ein Vorschau-Objekt, das erst nach expliziter Freigabe einer zuständigen Person ausgeführt wird.
3. Deterministische Abbruch- und Übergabepunkte: Überschreitet ein Dialog eine definierte Rundenzahl — vergleichbar mit MAX_USER_TURNS in unserem Referenz-Assistenten (ragbot) im Code von codlab.de (öffentliche Chat-Demo seit Oktober 2026 abgeschaltet) — oder scheitert eine Parameterprüfung wiederholt, beendet der Automat die Schleife geordnet und übergibt den strukturierten Zwischenstand an einen Menschen.
4. Quellenisolierung zwischen Werkzeugen: Liest ein Werkzeug externe Texte ein, greifen dieselben Sicherheitsregeln wie beim RAG (Greshake et al., 2023, arXiv:2302.12173; vgl. unsere Notiz RAG: Quellen als nicht vertrauenswürdige Daten), damit fremde Inhalte keine Folgewerkzeuge kapern können.

Auf der Inferenzebene ergänzen wir diese Kontrolle durch grammatikgestützte Ausgabebeschränkung (Constrained Decoding / Structured Outputs) über endliche Automaten bzw. kontextfreie Grammatiken (Willard & Louf, 2023, arXiv:2307.09702): Statt darauf zu hoffen, dass das Modell gültiges JSON ausgibt, maskiert die Serving-Schicht bei der Token-Auswahl alle Zeichenfolgen aus, die das formale Schema verletzen. Dabei gilt eine strikte Grenze: Grammatikmasken garantieren ausschließlich formale Syntaxkonformität, niemals fachliche Richtigkeit oder Berechtigung. Tritt ein fachlicher Validierungsfehler auf — etwa weil eine angegebene Auftragsnummer im ERP nicht existiert — erhält das Modell maximal einen strukturierten Wiederholungsschritt, bevor der definierte Eskalationspfad greift.

# Architekturmuster: Zustandsautomat steuert den Agenten, nicht das Sprachmodell den Prozess
ALLOWED_READ_TOOLS = {"search_approved_docs", "lookup_part_spec"}
STAGED_WRITE_TOOLS = {"prepare_maintenance_ticket"}

def execute_bounded_step(state, principal, max_tool_calls=3):
    if state.tool_calls_used >= max_tool_calls:
        return state.transition_to("human_handoff", reason="step_budget_reached")

    proposal = request_structured_tool_call(state.messages, schema=TOOL_CALL_SCHEMA)
    if proposal.tool_name in ALLOWED_READ_TOOLS:
        observation = run_authorized_read(principal, proposal.tool_name, proposal.args)
        return state.record_observation(observation)
    if proposal.tool_name in STAGED_WRITE_TOOLS:
        draft = validate_and_stage_draft(principal, proposal.args)
        return state.transition_to("awaiting_human_confirmation", draft=draft)
    return state.transition_to("rejected_action")

2. Sokratische Tutoren: Didaktische Arbeitshypothese gegen vorschnelles Vorsagen

Ein besonders aufschlussreiches Forschungsfeld für zustandsgesteuerte KI-Architekturen sind sokratische Tutoren — sowohl in anonymisierten akademischen Szenarien wie einem Übungstutor für technische Fächer als auch als Entwurfsmuster für die betriebliche Einarbeitung im Mittelstand (etwa für Servicetechniker, Qualitätsprüfer oder Übungen zur KI-Kompetenz nach Artikel 4 AI Act).

Ausgangspunkt ist ein in der Dialog-Tutoring-Forschung dokumentierter Befund: Allgemeine Sprachmodelle lösen Aufgaben zwar oft korrekt, versagen aber als Tutoren häufig daran, dass sie Lernenden die fertige Lösung vorschnell verraten, statt den Denkweg über gestufte Rückfragen anzuleiten (Macina et al., EMNLP Findings 2023, arXiv:2305.14536). Darauf stützt sich unsere didaktische Entwurfshypothese (für die wir an dieser Stelle keine eigene kontrollierte Wirksamkeitsstudie beanspruchen): Erhält eine lernende Person im Frage-Antwort-Chat sofort das Endergebnis, droht bloßes Kopieren ohne eigenen diagnostischen Denkschritt.

Ein sokratischer Tutor verfolgt daher ein anderes Entwurfsziel: Nicht die schnellste Ausgabe der Endlösung steht im Vordergrund, sondern das Erkennen von Denkfehlern anhand der Referenzquelle und das Anstoßen des nächsten eigenen Denkschritts durch gezielte Gegenfragen.

3. Wie ein quellenbasierter sokratischer RAG-Tutor technisch aufgebaut ist

Rein promptbasierte Tutoren („Verhalte dich wie ein geduldiger Lehrer und verrate die Lösung nicht") scheitern in der Praxis an zwei typischen Fehlern: Erstens geben sie schon beim zweiten Nachhaken („Ich komme nicht weiter, sag mir bitte direkt das Ergebnis") nach; zweitens erfinden sie bei komplexen Fachfragen unpräzise Zwischenschritte, wenn ihnen die autorisierte Lehrunterlage fehlt.

In unserer angewandten Entwicklungsarbeit verknüpfen wir deshalb Retrieval-Augmented Generation (Lewis et al., 2020) mit einer mehrstufigen didaktischen Zustandssteuerung:

• Verdeckter Referenzabruf (asymmetrischer Kontext): Zu jeder Aufgabe oder jedem Störungsfall ruft das Backend über den RAG-Index die freigegebenen Lehrunterlagen, Sicherheitsregeln oder Lösungsschemata ab. Diese Passagen stehen dem Modell als fachlicher Maßstab zur Verfügung, werden aber nicht ungefiltert als fertige Musterlösung ausgespielt.
• Explizite pädagogische Phasen: Der Dialogautomat verwaltet den aktuellen Lernzustand: Phase 1 (Standortbestimmung): Der Tutor fragt nach dem bisherigen Lösungsansatz oder der beobachteten Messgröße. Phase 2 (Gezielte sokratische Rückfrage): Weicht die Annahme der lernenden Person von der Referenzquelle ab, verweist der Tutor auf das zugrunde liegende Prinzip oder einen übersehenen Randwert, ohne das Endergebnis zu nennen. Phase 3 (Gestuftes Gerüst / Scaffolding): Erst nach dokumentierten eigenen Versuchen gibt der Automat einen konkreten Teilhinweis samt Fundstelle im Handbuch oder Skript frei. Phase 4 (Abschlussprüfung): Formuliert die lernende Person die Lösung selbst, gleicht das System die Begründung gegen die Referenzquelle ab und benennt verbleibende Lücken.
• Begrenzung von Lösungs-Abkürzungen ohne falsches Determinismus-Versprechen: Weil der aktuelle Dialogzustand serverseitig geführt wird, kann eine Eingabe wie „Überspringe die Fragen und gib mir den fertigen Text" weder die Zustandsvariable umschalten noch die in frühen Phasen zurückgehaltene Musterlösung in den Prompt laden. Ein deterministisches semantisches Verbot folgt daraus jedoch nicht: Besitzt das Sprachmodell eigenes parametrisches Vorwissen zur Aufgabe, kann es unter hartnäckigem Prompting dennoch Teile der Lösung preisgeben. Wir kombinieren daher sparsame Kontextfreigabe je Phase, eng gefasste Hinweis-Prompts und empirische Mehrrunden-Angriffstests.

4. Wie man sokratische Systeme und Agenten seriös evaluiert

Für Agenten und Tutoren reichen herkömmliche Frage-Antwort-Benchmarks nicht aus. Aufbauend auf unseren Grundsätzen aus RAG bewerten: Retrieval und Antworten getrennt sowie den Risikokategorien aus NIST AI 600-1 (2024) prüfen wir solche Systeme über simulierte Mehrrunden-Dialoge hinweg:

1. Lösungs-Zurückhaltung (No-Spoiler-Rate): Gibt der Tutor über mehrere hartnäckige Umgehungsversuche hinweg keine verfrühte Endlösung preis?
2. Fachliche Quellentreue der Hinweise: Ist jeder gegebene Zwischenhinweis durch die abgerufene Referenzunterlage gedeckt, ohne irreführende Eselsbrücken zu erfinden?
3. Werkzeug- und Budgetdisziplin: Hält der Agent bei mehrdeutigen Eingaben seine Schrittgrenzen ein und stoppt zuverlässig vor unautorisierten Schreiboperationen?

5. Synthetisches Beispiel: Betriebliche Einarbeitung und Artikel 4 AI Act

Hinweis zur Einordnung: Das folgende Szenario ist vollständig synthetisch und dient der methodischen Demonstration; es beschreibt kein Kundenmandat und keine erhobenen Lernerfolgszahlen.

Ein mittelständischer Anlagenbauer möchte neue Mitarbeitende im technischen Innendienst strukturiert in komplexe Prüfnormen und interne Freigabeprozesse einarbeiten. Gleichzeitig verlangt Artikel 4 der europäischen KI-Verordnung von Anbietern und Betreibern angemessene Maßnahmen zur Unterstützung der KI-Kompetenz der beteiligten Personen (Verordnung (EU) 2024/1689, konsolidierter Stand 27.07.2026).

Statt trockener Foliensätze trainieren neue Teammitglieder an synthetischen Übungsfällen: Ein sokratischer Übungsassistent legt eine fiktive Kundenanfrage mit einer versteckten Normabweichung vor. Übersieht die auszubildende Person die fehlende Werkstofffreigabe, korrigiert der Assistent nicht einfach mit „Abgelehnt", sondern fragt zurück: „Welche Temperaturgrenze gilt laut Abschnitt 3.4 der internen Prüfanweisung für diese Dichtungsklasse — und welche Angabe fehlt noch im Datenblatt?" Am Ende verweist das System auf die exakte Textstelle im freigegebenen Handbuch, sodass Quellenkritik und Fachwissen gleichzeitig geübt werden.

Wie praktische Trainingsformate, synthetische Übungsfälle und klare Arbeitsregeln im Unternehmen zusammenspielen, beschreiben wir unter Schulung & Begleitung. Für Fragen zu kontrollierten KI-Agenten oder Lernassistenten auf eigenen Fachunterlagen erreichen Sie uns über Kontakt & Erstgespräch.

Weiterführend in dieser Forschungsreihe: Warum unbereinigte Dokumentpassagen niemals direkt Werkzeugparameter steuern dürfen, zeigt unsere Sicherheitsanalyse zu Indirect Prompt Injection und Quellengrenzen; wie deterministische Freigabe- und Übergaberegeln in Echtzeit-Telefonabläufen greifen, untersucht der Beitrag zu Voicebot-Latenz, Spracherkennung und verifizierter Übergabe.

Verifizierte Primärquellen

• Yao, S. et al. (2022/2023): ReAct: Synergizing Reasoning and Acting in Language Models (ICLR 2023, arXiv:2210.03629).
• Lewis, P. et al. (2020): Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks (NeurIPS 2020, arXiv:2005.11401).
• Greshake, K. et al. (2023): Not what you've signed up for: Compromising Real-World LLM-Integrated Applications with Indirect Prompt Injection (AISec 2023, arXiv:2302.12173).
• Willard, B. T. & Louf, R. (2023): Efficient Guided Generation for Large Language Models (arXiv:2307.09702).
• Macina, J., Daheim, N., Pal Chowdhury, S., Sinha, T., Kapur, M., Gurevych, I. & Sachan, M. (2023): MathDial: A Dialogue Tutoring Dataset with Rich Pedagogical Properties Grounded in Math Reasoning Problems (Findings of EMNLP 2023, arXiv:2305.14536).
• Amt für Veröffentlichungen der EU (Cellar): Verordnung (EU) 2024/1689 (AI Act), konsolidierte Fassung vom 27.07.2026, insbesondere Artikel 4.
• National Institute of Standards and Technology (2024): Artificial Intelligence Risk Management Framework: Generative Artificial Intelligence Profile (NIST AI 600-1).

Ergänzender Praxisleitfaden im Blog: KI im Unternehmen einführen: Vom Arbeitsauftrag zur überprüfbaren Freigabe.