Beyond RAG-wenn Chatbots erwachsen werden

Intelligente Chatbots: Die nächste Stufe der Digitalisierung im Unternehmen

Sprachmodelle, generative KI und Chatbots erleben derzeit viel Aufmerksamkeit. Doch jenseits von Prototypen und Pilotphasen stellt sich für Unternehmen eine grundsätzliche Frage: Wie lassen sich solche Systeme dauerhaft und sinnvoll in bestehende Organisationsstrukturen integrieren: sicher, skalierbar und mit fachlichem Mehrwert?

Zusammen mit DATEV entwickeln wir einen klassischen RAG-Chatbot (Retrieval-Augmented Generation) weiter, hin zu einem vernetzten, modularen Agentensystem.

Am Anfang war der RAG-Chatbot

Retrieval-Augmented Generation (RAG) kombiniert zwei Komponenten:

1. Eine generative KI wie GPT, die für das Sprachverständnis und die Formulierung zuständig ist.

2. Eine angebundene Wissensdatenbank, die passende Inhalte zur gestellten Frage liefert.

Statt also auf das „verinnerlichte“ Wissen eines Sprachmodells zu vertrauen, was oft zu sogenannten Halluzinationen führen kann, wird der Antwortprozess durch verlässliche, unternehmenseigene Daten gestützt. Über intelligentes Prompting erhält das Modell die benötigten Inhalte als Kontext. Quellenverweise sorgen zusätzlich für Nachvollziehbarkeit und Transparenz.

Diese Kombination ermöglicht sichere, fundierte, nachvollziehbare Antworten und schafft damit Vertrauen, ein essenzieller Faktor insbesondere im regulierten Umfeld von Versicherungen, Banken oder der öffentlichen Verwaltung.

Was bedeutet „Halluzinationen“ bei KI?

In der KI bedeutet „Halluzination“, die Ausgabe falscher oder erfundener Informationen durch ein Sprachmodell, obwohl die Antwort auf den ersten Blick plausibel klingt.

Das liegt daran, dass solche Modelle auf Wahrscheinlichkeiten basieren: Sie berechnen, welches Wort statistisch gesehen als nächstes folgen könnte, unabhängig davon, ob es eine faktische Grundlage gibt.

Gerade im Unternehmenskontext ist es jedoch entscheidend, dass Informationen korrekt, nachvollziehbar und aktuell sind. RAG-Systeme helfen hier, Halluzinationen zu vermeiden, indem sie echtes, überprüfbares Wissen dynamisch beisteuern.

Der erste Meilenstein: Ein funktionierender Chatbot und dann?

Ein initialer RAG-Chatbot lässt sich relativ schnell aufsetzen. Doch sobald Fachbereiche ihn produktiv nutzen möchten, steigt die Komplexität. Die Qualität der Antworten hängt maßgeblich davon ab:

• wie sorgfältig Inhalte ausgewählt werden,
• wie aktuell die Daten sind,
• und wie gut sie zur jeweiligen Zielgruppe passen.

Das erfordert eine enge Abstimmung mit den Fachabteilungen und mit jedem zusätzlichen Fachgebiet wächst der Aufwand. Daraus entstand für uns eine zentrale Frage: Wie lässt sich ein RAG-System effizient und nachhaltig über mehrere Fachbereiche hinweg skalieren?

Self-Service als Hebel für Geschwindigkeit und Fachnähe

Früher lief die Content-Pflege zentral über das Projektteam, doch die Expertise liegt in den Fachabteilungen selbst. Deshalb haben wir einen Self-Service-Ansatz entwickelt, der Fachbereiche in die Lage versetzt, eigene Chatbots unabhängig zu konfigurieren und zu pflegen.

Über eine zentrale Plattform können Fachbereiche:

• Inhalte selbständig einpflegen und verwalten,
• den Sprachstil durch individuelle Prompts anpassen,
• Zielgruppen definieren,
• und neue Anwendungsfälle erschließen.

So entstehen viele spezialisierte Fach-Chatbots: Experten in ihren jeweiligen Themenfeldern. Gleichzeitig behält das zentrale Team (z.B. der Administrator) der Plattform die Kontrolle über Rechte, Monitoring und technische Qualität.

Vom Einzelfall zur Systemlösung: Skalierung durch Plattformdenken

Dieser Self-Service-Ansatz ermöglicht es, neue Anwendungsfälle schneller umzusetzen und den fachlichen Aufwand zu dezentralisieren, ohne technische Integrität zu verlieren. Dadurch wird der Rollout über mehrere Einheiten hinweg erst praktikabel, nicht als Sonderlösung, sondern als Standardprozess.

Eine solche Struktur eröffnet viele Möglichkeiten: Ob Kundenservice, interne Wissensvermittlung oder IT-Unterstützung: Durch die Plattformarchitektur können Chatbots gezielt weiterentwickelt und nahtlos in bestehende Abläufe integriert werden.

Vom Ich zum Wir – wenn Chatbots miteinander sprechen

Einzelne Chatbots decken jeweils spezifisches Fachwissen ab. Doch Nutzer:innen wissen oft nicht, welcher Chatbot für ihre Frage zuständig ist und müssen diesen aktiv auswählen. Das limitiert den Nutzen.

Die Lösung: ein intelligentes Agentensystem mit Orchestrierung.

Im Zentrum steht ein sogenannter Orchestrator-Agent, der die Anfrage analysiert und automatisch die passenden Fachbots ansteuert, bei Bedarf auch mehrere gleichzeitig. So entsteht ein Netzwerk spezialisierter Agenten, die in Echtzeit zusammenarbeiten. Das Ziel: Ein System, das selbst weiß, wer die beste Antwort liefern kann, ohne dass der User das System verstehen muss.

Durch diese Vernetzung entstehen Antworten, die:

• fachlich tiefer gehen,
• verschiedene Perspektiven integrieren,
• und eine konsistente User Experience bieten, auch über Fachgrenzen hinweg.

‍

Technologische Basis: Modular, sicher, erweiterbar

Damit ein solches Agentensystem funktioniert, braucht es eine tragfähige Architektur mit:

• einheitlichen Schnittstellen und Datenformaten,
• Rollen- und Rechtemanagement,
• und zentralem Monitoring für Betrieb und Qualität.

Wir setzen dabei auf einen modularen Aufbau, der sowohl bestehende als auch zukünftige KI-Anwendungen integrieren kann, bei voller Kontrolle über Daten, Sicherheit und Weiterentwicklung.

Fazit: Vom einzelnen Chatbot zur technischen Grundlage für intelligente Assistenzsysteme

Der Weg vom RAG-Chatbot zum skalierbaren Agentensystem zeigt exemplarisch, wie sich generative KI in einer komplexen Organisation produktiv verankern lässt. Es geht nicht nur um das Sprachmodell, es geht um die Einbettung in Prozesse, Strukturen und Verantwortlichkeiten.

Unsere zentralen Learnings:

• Technologie ist nur der Anfang: Ohne gute Daten, Prozesse und Governance bleibt sie isoliert.
• Self-Service beschleunigt die Skalierung: Fachabteilungen werden zu aktiven Mitgestaltern.
• Vernetzung schafft echten Mehrwert. Agentensysteme denken interdisziplinär, angepasst an reale Fragestellungen.
• Orchestrierung ist der Schlüssel zur Zukunft. Nur so wird aus einem Tool ein System, eigenständig denkt und handelt.

Wie sich das konkret umsetzen lässt, zeigt unser Projekt zur Weiterentwicklung eines RAG-Chatbots hin zu einem modularen Agentensystem.

Ein bereits umgesetztes Projekt findest Du in unseren Kundenprojekt-Referenzen: Entwicklung eines KI-Chatbots für Interne Dokumente

‍