Eine KI, die nicht nur gut klingt, sondern Bescheid weiss über das, was bei euch gilt? Die aktuelle Richtlinien kennt, Datenbanken, Bilder und interne PDFs berücksichtigt und sogar deine eigenen Unterlagen einbezieht? Genau das ermöglicht RAG – Retrieval-Augmented Generation. Eine Technik, die generative KI auf ein persönliches Fundament stellt und für eine Stadt wie Bern Fakten über Matthäus Ensinger kennt, genauso wie die Ladenöffnungszeiten in der Innenstadt. Es ist eine Technik, die Sprachmodelle mit dem ganz speziellen Wissen einer Institution,  einer Unternehmung, eines Berufsstands oder einer Stadt verbindet.

Man kann sich das vorstellen wie ein Gespräch mit einer sehr erfahrenen Bibliothekarin, die zwar nicht alles auswendig weiss, aber im Kopf hat, wo sich die entscheidenden Bücher und Quellen über den Bau des Berner Münsters befinden. Sie weiss, dass Bern Welcome auf ihrer Website die Ladenöffnungszeiten angibt und Tripadvisor die 30 schönsten Sehenswürdigkeiten von Bern auflistet. Für die Antwort fasst sie die gefundenen Informationen präzise und verständlich zusammen und gibt die Quellen an.

Was ist RAG – und was unterscheidet es von Sprachmodellen wie ChatGPT?

Klassische generative Sprachmodelle wie GPT-4o oder Claude haben ihre Informationen während eines aufwändigen Trainings gelernt, das über 100 Millionen Franken gekostet hat. Trotzdem wäre es ein Zufall, dass sie aktuelle Öffnungszeiten oder die Bauetappen aller Baudenkmäler kennt. Auch Unternehmensinterna, Projektberichte, Richtliniensammlungen, Archivdokumente oder branchenspezifische Fakten fehlen. Sie kann die Stilentwicklung an der Standsteinfigur von St. Georg weder einordnen noch mit dem Fund in Neuenburg vergleichen. 

Hier setzt RAG an. Die KI wird angewiesen, zuerst die spezifischen Wissensquellen zu berücksichtigen (Retrieval), bevor sie eine Antwort generiert (Generation). Sie konsultiert eure Protokolle, Blogs oder Reglemente oder die Hinweise der Münsterstiftung, des historischen Lexikons der Schweiz und die breitabgestützte Publikation des Instituts für Kunstgeschichte der Universität Bern. Die passende Antwort formuliert sie auf dieser Grundlage.

Wie eine Bibliothekarin durchsucht sie gezielt eure Wissensquellen (Retrieval), heftet die gefundenen Informationen an eure Frage (Augmentation) und formuliert daraus eine präzise Antwort (Generation). Dabei verweist sie auf die Quellen.

Das hat zwei grosse Vorteile:

• Die Antworten sind aktueller und kontextbezogener.
• Man kann die Quellen kontrollieren, was ideal ist für transparente, nachvollziehbare Kommunikation.

Wie funktioniert RAG technisch – am Beispiel von Tourismusinformationen über das Berner Münster

RAG lässt sich in zwei Hauptschritte aufteilen:

1. Retrieval (Abrufen):
Die Inhalte der Wissensdatenbank – etwa PDFs, Webseiten oder Berichte – werden vorab in sinnvolle Brocken (Chunks) zerlegt und in sogenannte Embeddings übersetzt: mathematische Repräsentationen in einem mehrdimensionalen Vektorraum.

Dabei liegen der Münsterturm und die Figur von St. Georg ihrer Bedeutung nach (semantisch) näher beieinander als etwa die Ladenöffnungszeiten der Stadt Bern. Und irgendwo dazwischen befinden sich die Öffnungszeiten für die Besteigung des Münsterturms.

Anschliessend sucht die KI in der Wissensdatenbank nach genau den Chunks, die zur gestellten Frage passen – etwa in PDFs, E-Mails, Webseiten oder FAQs, oder ganz konkret auf der Website der Münsterstiftung, der Stadt oder in den Hinweisen von Schweiz Tourismus. Diese Datenbank funktioniert wie ein semantisches Gedächtnis: Sie erkennt Bedeutungen, Zusammenhänge und Kontext, nicht nur einzelne Schlagworte.

2.  Generation (Antwort erzeugen):

Die gefundenen Textausschnitte werden zusammen mit der Originalfrage dem Sprachmodell (z. B. ChatGPT) vorgelegt.

Das Sprachmodell formuliert aus den bereitgestellten Angaben eine Antwort, die zur Eingabe und zum Dialog passt.

Diese Antwort kann Quellenangaben enthalten oder auf Wunsch in einem vorher bestimmten Stil verfasst sein.

Wie die Bibliothekarin konsultiert das System zuerst das Archiv und die Bestände und entwirft dann gestützt auf die Quellen und die Anfrage die passende Antwort. 

Wofür RAG eingesetzt wird – einige Anwendungsfelder

Die Kombination aus Sprachkompetenz und gewachsenem Wissen ist enorm nützlich – besonders hier:

• Kundensupport: Chatbots greifen auf Produktdatenbanken oder Handbücher zu und liefern treffsichere Antworten.
• Internes Wissensmanagement: Mitarbeitende stellen Fragen und erhalten Antworten, die auf Intranet-Dokumenten oder Richtlinien basieren.
• Beratung und Bildung: RAG-Tools verknüpfen Schulungsunterlagen oder Lehrpläne mit interaktiven Fragestellungen.
• Forschung & Medienarbeit: Nutzerinnen und Nutzer können gezielt Quellen abrufen und mit eigenen Fragen kombinieren, ohne sich durch Archive klicken zu müssen.

Bern Welcome, die Anlaufstelle für Touristinnen und Touristen der Stadt, könnte in einem RAG-System alle kunst- und architekturgeschichtlichen Daten, Archivdokumente, relevante online Quellen, Berichte, Öffnungszeiten und Veranstaltungshinweise als Quellen hinterlegen. Eine einzige Anfrage würde dann genügen, um zu erfahren, dass Matthäus Ensinger von 1420 bis 1453 den Bau des Berner Münsters leitete. 

Anders als das Rathaus wurde das teuerste Gebäude der Stadt nicht öffentlich, sondern aus privaten Mitteln finanziert. Fast wie in einem heutigen Sponsoringkonzept konnten Seitenkapellen, Deckengemälde oder Fensterscheiben durch Persönlichkeiten finanziert werden.

Ein beachtlicher Teil stammte von Frauen – etwa von der Witwe Anna Felden oder der Gastwirtin Margarete Leu –, wie im Schuldenbuch nachzulesen ist, das im Stadtarchiv aufbewahrt wird.

Plattformen & Werkzeuge – wie Sie selbst loslegen können

Inzwischen gibt es viele Tools, die RAG möglich machen. Ein paar davon:

• LangChain – Open-Source-Framework, besonders flexibel.
• LlamaIndex – spezialisiert auf Indexierung und Datenverbindung.
• Haystack – von deepset, ideal für produktive RAG-Systeme.
• OpenAI + Azure AI Search – für grössere Anwendungen mit hohen Sicherheitsstandards.
• ChatGPT Enterprise oder Custom GPTs mit Dateien – ein einfacher Einstieg mit eigenen Daten.

Was sie gemeinsam haben: Sie bringen Sprachmodelle mit strukturiertem oder unstrukturiertem Wissen in Kontakt – und eröffnen so eine neue Qualität von Wissensmanagement und -vermittlung.

Einige dieser Plattformen bieten benutzerfreundliche Oberflächen mit Eingabefeldern, in denen zum Beispiel angegeben werden kann, welches Sprachmodell für die Analyse und Antwort verwendet wird, wie die Nutzerin oder der Nutzer angesprochen werden soll oder welche Dokumente, Bilder oder Daten als primäre Quelle dienen.

Aber Achtung: Vor der Einführung sollte geprüft werden, wo deine Daten gespeichert werden – und ob interne Reglemente und vertrauliche Informationen geschützt bleiben.

Fazit: Die Aussicht erweitert sich

RAG ist keine Magie – aber sie verändert den Blick. Wenn ein RAG eingesetzt wird, um effizient nachzulesen, gezielt zu verknüpfen und anschaulich zu antworten, entsteht etwas Neues: Übersicht. Verbindung. Kontext. Statt nur durch unzählige PDFs zu irren, öffnet sich – oben auf dem Turm – der Blick über die ganze Stadt. Organisationen, die RAG einsetzen, schaffen sich genau das:
einen Ausblick auf ihr Wissen. Und damit eine bessere Grundlage für Entscheidungen, Kommunikation und Entwicklung.

Und manchmal erkennt man von oben auch ganz neue Wege – zurück in die Geschichte oder voraus in die Zukunft. Am Berner Münster steht in Stein gemeisselt, was der Baumeister künftigen Generationen mitgab: „Machs nah.“ – Mach es nach. Damit fordert er uns auf, den Mut zu haben, auch etwas Neues und Grosses zu bauen.

Ich bin 1966 in einer Seitenkapelle des Münsters getauft worden. Hätte die Tourismusfachstelle der Stadt Bern ein RAG über Denkmäler wie das Münster, könnte ich nicht nur nachfragen, wann ich den Turm besteigen kann – sondern auch, wer «meine» Seitenkapelle finanziert hat oder ob die Deckenmalerei aus der Bauzeit stammt.

©Claudia Appenzeller -  mit Unterstützung von ChatGPT 40 
Stand: Juni 2025. Der Beitrag wurde mit grosser Sorgfalt und nach aktuellem Wissensstand erstellt. Angesichts der Dynamik im Bereich Künstliche Intelligenz kann sich der Stand der Technik rasch weiterentwickeln.
Wiedergabe mit Quellenangabe (Autorin und Website) erlaubt. Für weitergehende Nutzungen bitte Kontakt aufnehmen.