RAG erklärt: Wie deine KI endlich über deine Dokumente zu sprechen lernt

RAG (Retrieval Augmented Generation) ist eine Technik, die eine KI mit einer gezielten "semantischen" Dokumentensuche kombiniert. Statt nur aus antrainiertem Wissen zu antworten, holt sich die KI vor jeder Antwort passende Textstellen aus deinen echten Dokumenten – inklusive exakter Quellenangabe.

Kennst du das? Du fragst ChatGPT etwas zu deinem Vertrag, deinem Handbuch oder deiner Projektdoku – und bekommst eine Antwort, die sich überraschend selbstsicher anhört. Nur: Sie stimmt nicht ganz. Oder gar nicht.

Das liegt nicht daran, dass die KI "dumm" wäre. Es liegt daran, dass sie schlicht nicht weiß, was in deinen Dokumenten steht – sie kennt nur, was sie irgendwann mal trainiert bekommen hat, plus vielleicht eine Handvoll Dateien, die du ihr gerade in den Chat geworfen hast.

Genau hier kommt RAG ins Spiel: Retrieval Augmented Generation. Klingt sperrig, ist aber im Kern simpel – und macht den Unterschied zwischen "klingt plausibel" und "steht tatsächlich so im Dokument, Seite 15, Absatz 2.1.7".

Inhalt des Guides

Dieser Guide bildet das Handout zu einer Trainingsreihe von mir: die Nutzung von KI, LLM, Chatbots im Berufs-Alltag. Die Trainingsreihe besteht aus grob einem Duzend Sessions, jeder Post hier eine Session wieder. Das Training ist inhaltlich wesentlich ausführlicher, der Post hier ist eher als Handout und Gedächtnisstütze und Nachschlagwerk zu verstehen.

Das Training richtet sich an den durchschnittlichen Angestellten im Büroalltag - wir schauen uns Tools an, die ohne Programmierkenntnisse zu bedienen sind. Gelegentlich verwenden wir aber ChatBots um kurze Skripte zu schreiben.

Nutzungsbedingungen:

• Für Teilnehmer meiner Trainings ist die Nutzung frei, inklusive privater Kopien
• Für die eigene, private Bildung ist die Nutzung frei, inklusive privater Kopien
• Die kommerzielle Nutzung von einzelnen Auszügen ist gestattet, wenn ein Link zu dem Original hier angegeben wird
• Die kommerzielle Nutzung des Posts im Ganzen oder in weiten Teilen ist nur mit Lizensierung bzw. Absprache erlaubt.

Inhalt dieses Beitrags

• Einheit 1) Was ist RAG – Retrieval Augmented Generation?
  • 1.1 Wie funktioniert RAG?
  • 1.2 Anforderungen an ein gutes RAG-System
  • 1.3 Performance: Wo RAG-Systeme scheitern
  • 1.4 Zusammenfassung Einheit 1
  • 1.5 Übung 1: Embedding von Hand nachvollziehen
• Einheit 2) Industrie Use-Cases für RAG
  • 2.1 Dokumentensuche
  • 2.2 Homologation
  • 2.3 Projekt-Management
  • 2.4 Debugging Support
  • 2.5 Zusammenfassung Einheit 2
  • 2.6 Übung 2: RAG Use-Cases
• Einheit 3) Dein eigenes RAG-Tool: NotebookLM & Co.
  • 3.1 Zusammenfassung Einheit 3
  • 3.2 Übung 3: Eigenes RAG
• 4) Zusammenfassung & Lessons Learned
• 5) Projektaufgabe: Arbeite selbst mit RAG
• FAQ

Einheit 1) Was ist RAG – Retrieval Augmented Generation?

RAG steht für "Retrieval Augmented Generation" – zu Deutsch etwa "durch Informentenabruf angereicherte Texterzeugung". Eine Such-Engine findet relevante Dokumentenausschnitte, die dem LLM als Kontext für die Antwort mitgegeben werden.

Heute geht's um eine der praktischsten KI-Techniken, die es derzeit für den Business-Alltag gibt: das Arbeiten mit größeren Mengen an Dokumenten mittels RAG.

Die Kernidee dahinter: Dokumente anhand von Wissen finden – nicht nur über stumpfe Keywords. Kennst du die gute alte Windows-Dokumentensuche? Die scheitert schon an "Was wissen wir über den ISO-Feldbus?", weil sie stur nach der exakten Zeichenkette sucht. RAG denkt hier deutlich cleverer mit und sucht nach "Bedeutungen".

Das Ausgangsproblem: Dokumentenarbeit mit ChatBots funktioniert grundsätzlich schon ganz gut. Aber nur mit begrenzten Mengen an Dokumenten, und das Zitieren und Referenzieren ist auch nicht perfekt zuverlässig. Die KI erfindet gerne mal eine Seitenzahl, die es so nie gab.

Die Lösung: Wir ergänzen Chat-Bots um eine spezielle Dokumenten-Engine, die (hoffentlich) immer den richtigen Kontext bereitstellt – inklusive exakter Quellenangabe:

In welchem Dokument und auf welcher Seite steht das?
Dokument: Euro NCAP Test Protocol – AEB Systems
Abschnitt: 7.2 Weather Conditions
Seite: 15

Diese Session gliedert sich in drei Einheiten:

• Was ist RAG (Grundlagen, Funktionsweise, Anforderungen, Performance)
• Industrie Use-Cases (Dokumentensuche, Homologation, Projekt-Management, Debugging)
• Dein eigenes RAG-Tool (Praxis mit Google NotebookLM)

Vorweg noch ein wichtiger Praxis-Hinweis: Es gibt mittlerweile zahlreiche RAG-Tools für den Hausgebrauch – aber IP-Schutz ist dabei ein essentielles Thema. Bevor du sensible Firmendokumente in irgendein Tool hochlädst, lies dir das Kleingedruckte durch.

1.1 Wie funktioniert RAG?

RAG wandelt Anfrage und Dokumente per "Embedding" in Vektoren um. Über die Nähe dieser Vektoren im Vektorraum findet das System semantisch passende Textstellen – auch bei Tippfehlern oder in mehreren Sprachen.

Das Kernprinzip lautet: "Internes Betriebs-Wissen anwenden." Und ja, das Schöne daran: RAG kann komplett lokal bzw. on-prem betrieben werden – deine Dokumente müssen also nicht zwingend irgendwo in der Cloud landen.

Typische Wissensquellen für RAG-Systeme sind:

• Konferenz-Bände, wissenschaftliche Papers
• Handbücher, Anleitungen, Wartungsanweisungen
• Fehleranalysen, Messprotokolle
• Requirements, Spezifikationen, Analysen

Um zu verstehen, wo RAG eigentlich ansetzt, lohnt sich ein Blick auf die Ausbaustufen – von simpel bis richtig ausgebaut:

• LLM stand-alone: Nur Embedding + Transformer + LLM, keine externe Wissensquelle. Das reine "Ich antworte aus dem, was ich mal gelernt habe"-Modell.
• ChatGPT und ähnliche: LLM + Internet-Suche + Input-/Output-Guardrails + Memory of Questions and Answers. Schon besser, aber immer noch kein gezielter Zugriff auf deine Dokumente.
• Simple RAG: Deine Anfrage wird über eine Vectorization Engine in Vektoren umgewandelt, gegen eine lokale Knowledge Base (aus PDFs) mit semantischer Ähnlichkeit abgeglichen, und die Treffer werden dem LLM als Kontext mitgegeben. Das ist die Basis-Stufe von RAG.

Jetzt wird's spannend: Wie findet so ein System eigentlich "ähnliche" Inhalte, ohne stumpf nach exakten Wörtern zu suchen? Die Antwort heißt Embedding.

Embedding wandelt Bedeutungen in Vektoren um. Im echten Leben sind das Vektoren mit ca. 1024 Dimensionen – für unser Verständnis reicht aber ein einfaches 2D-Beispiel völlig aus.

Stell dir vor, wir tragen Städte und Länder auf zwei Achsen [Land / Stadt] ein:

• München [0,2 / 1]
• Munich [0,2 / 0,9]
• Deutschland [0,2 / 0]
• Toulouse [0,4 / 0,9]
• Paris [0,5 / 0,9]

Über den Abstand dieser Vektoren im Raum findet das System ähnliche Bedeutungen:

• München liegt fast auf demselben Punkt wie Munich – mehrsprachige Ausdrücke werden also automatisch mitgelernt.
• Toulouse liegt nah an Paris.
• Paris und Toulouse haben ein sehr ähnliches "Land".

Suchst du jetzt nach "Stadt in Frankreich", sucht das System im Vektorraum nach der Position [~0,5 / ~1] – und findet Paris und Toulouse. Inklusive der exakten Dokumentenstelle, aus der die Information stammt. Sogar Tippfehler-Varianten werden mitgelernt, z. B. "Frnkreich" statt "Frankreich". Praktisch, oder? In der sog. Vektor Datenbank sind all diese Vektoren gespeichert. Wenn ein Suchvektor gegeben wird, werden "ähnlichsten" gesucht. Das passiert mit der sog. Cosinus-Distanz, das ist effektiv der Winkel zwischen den Vektoren - ein mathematischer Trick für die effiziente Berechnung.

So sieht das dann konkret in der Praxis aus, wenn eine RAG-Prompterweiterung passiert:

Aus der Frage What is RAG? wird:

What is RAG? Context: [Document(page_content='Meta AI researchers introduced a method called [Retrieval Augmented Generation] '(RAG) to address such knowledge-intensive tasks. RAG combines an information retrieval component with a text generator model. RAG can be fine-tuned and its internal knowledge can be modified in an efficient manner and without needing retraining of the entire model.', metadata={'source': 'https://www.promptingguide.ai/techniques/rag', 'title': 'Retrieval Augmented Generation (RAG)'})]

Quelle: Manny Silva, Stackoverflow

Und weil "Simple RAG" natürlich nicht das Ende der Fahnenstange ist, hier noch die weiteren Ausbaustufen:

• Integrated RAG: zusätzlich Anbindung an Cloud/SaaS-Apps und Legacy-Systeme.
• Simple 1-step RAG-Bot: zusätzlich API-Zugriff auf andere Tools (z. B. Jira), andere Look-up-Daten (z. B. Confluence), automatisierte Prompt-Engineering-Schicht.
• Simple cyclic Interactive RAG-Bot ("Agent"): eine feste Bot-Engine steuert den Prozess zyklisch und interaktiv über mehrere Runden.

1.2 Anforderungen an ein gutes RAG-System

Ein gutes RAG-System muss vier Kernkriterien erfüllen: Accuracy (werden die richtigen Ergebnisse gefunden?), Completeness (werden alle relevanten Ergebnisse gefunden?), Relevance (keine irrelevanten Treffer?) und Transparency (ist die Quelle nachvollziehbar?).

Bevor du dich Hals über Kopf in ein RAG-Projekt stürzt, solltest du wissen, woran man ein gutes von einem schlechten System unterscheidet. Hier die Kriterien, gegliedert nach Bereich:

RAG (Vertrauen):

• Accuracy – Werden die gewünschten Ergebnisse gefunden?
• Completeness – Werden alle relevanten Ergebnisse gefunden?
• Relevance – Werden nicht zu viele irrelevante Ergebnisse gefunden? (Diese können die korrekten überlagern oder verdecken!)
• Transparency – Kann man nachvollziehen, warum genau diese Ergebnisse gefunden wurden – und wo genau?

LLM (Sicherheit):

• False/True Positive Rate
• False/True Negative Rate
• Hallucination – Erfindet das System falsche "Fakten"?

IT (Business):

• Data / IP Protection – Bleibt deine IP ausschließlich bei dir?

Regulatorisch:

• Ethical? Discrimination free?

Klingt nach viel Checkliste? Ist es auch. Aber genau diese Kriterien entscheiden, ob dein RAG-System am Ende ein verlässlicher Kollege wird – oder ein Kollege, dem niemand mehr traut.

1.3 Performance: Wo RAG-Systeme an ihre Grenzen stoßen

In einem Test mit 100 Fragen in 20 Kategorien gegen 20 Industriedokumente zeigte sich: Nicht-spezialisierte RAG-Systeme sind nicht ausreichend. Schwierige Formulierungen, Metadaten-Fragen und komplexe Dokumente bringen Standard-Setups an ihre Grenzen.

Jetzt kommt der Teil, den viele Anbieter gerne unter den Tisch fallen lassen...

Test-Setup: 100 Testfragen in 20 Kategorien, getestet gegen eine Mischung industrieller Dokumente, mit 2 nicht spezialisierten RAG-Systemen (1× Graph RAG, 1× Vector RAG).

Fazit: Nicht-spezialisierte RAG-Systeme sind nicht ausreichend. Autsch, aber wichtig zu wissen, bevor du Geld und Nerven investierst. RAG Systeme müssen auf die Dokumente und vor allem die Fragen-Typen angepasst werden.

Warum das so ist? Zwei typische Problemfelder:

Schwierige Fragen: Nimm das Beispiel eines ISO 9001-Audits. Wenn 50 % deines Prompts eine Instruktion sind, die sich gar nicht in den Daten wiederfindet, "vergiftest" du quasi die Suche. Es ist dann kein normaler Suchtext mehr – ein Teil der Anfrage bezieht sich nicht auf Dokumentinhalte, sondern auf Metadaten, mit denen das System nichts anfangen kann.

Zwei Beispiel-Prompts aus der Praxis, die genau diese Tücken zeigen:

Ist in dem QM-Handbuch Evidenz dafür, dass der Produktentwicklungsprozess initiiert wird? Falls du keine Evidenz findest, antworte mit „keine Evidenz gefunden"

Welcher Sensor ist neuer, der ARS458 oder der ARS404? Antworte nur mit der Nummer für eine automatisierte Weiterverarbeitung.

Schwierige Dokumente mit Artefakten:

• Kopf- und Fußzeilen werden in PDF zwischen den Inhalten eingefügt
• Bilder (könne sie überhaupt interpretiert werden ohne Expertenwissen?)
• Große Tabellen: das LLM liest sequenziell, bei großen Tabellen geht die Bedeutung der Tabellen-Köpf verloren 

Zusammenfassung Einheit 1

RAG ergänzt LLMs um eine gezielte Dokumenten-Retrieval-Komponente. Embeddings wandeln Bedeutung in Vektoren um, sodass semantisch ähnliche Inhalte gefunden werden – nicht nur exakte Keywords. Qualität misst sich an Accuracy, Completeness, Relevance und Transparency.

• RAG ergänzt LLMs um eine gezielte Dokumenten-Retrieval-Komponente.
• Embeddings wandeln Bedeutung in Vektoren um – so werden semantisch ähnliche Inhalte gefunden, nicht nur exakte Keywords.
• Qualität misst sich an Accuracy, Completeness, Relevance und Transparency – nicht-spezialisierte Systeme scheitern häufig an schwierigen Fragen und komplexen Dokumenten.

Übung 1: Embedding von Hand nachvollziehen

Übertrage das München/Paris/Toulouse-Beispiel auf eigene Begriffe: Trage 5–6 Begriffe aus deinem Arbeitsumfeld auf zwei selbst gewählten Achsen ein und prüfe, welche davon sich im "Vektorraum" nahekommen.

Ziel: Ein intuitives Gefühl dafür entwickeln, wie Embedding und semantische Ähnlichkeit funktionieren – ganz ohne Code.

Schritte:

1. Wähle 5–6 Fachbegriffe aus deinem eigenen Arbeitsumfeld (z. B. Produktnamen, Abteilungen, Prozessschritte).
2. Definiere zwei Achsen, auf denen sich diese Begriffe sinnvoll einordnen lassen (z. B. "Abteilung" / "Prozessphase").
3. Trage die Begriffe grob auf den zwei Achsen ein – wie im München/Paris/Toulouse-Beispiel.
4. Prüfe: Welche Begriffe liegen nah beieinander? Würde eine Suche nach dem einen auch sinnvoll den anderen finden?

Lernziel: Verstehen, warum RAG über Bedeutung statt über exakte Keywords sucht – und wo die Grenzen einer rein visuellen/intuitiven Einordnung liegen.

Tools/Accounts: Keine – Stift und Papier reichen.

Einheit 2) Industrie Use-Cases für RAG

RAG wird heute u. a. eingesetzt für: Dokumentensuche in großen Prüfbericht-Archiven, Homologationsprozesse in der Fahrzeugentwicklung, Projekt-Management-Unterstützung und Debugging-Support in Engineering-Tools.

Genug Theorie – schauen wir uns an, wo RAG in der Industrie schon heute echten Nutzen bringt. Vier Beispiele, quer durch verschiedene Branchen.

2.1 Dokumentensuche

Der wohl naheliegendste und am schnellsten umsetzbare Use-Case: Große Mengen an Fachdokumenten durchsuchbar machen – jenseits von stumpfen Keywords.

Der naheliegendste Use-Case: 1.000 Prüfberichte bei einem Maschinenbauer. Oder 1.000 Messberichte bei einem Ingenieurbüro. Kein Mitarbeiter überblickt das mehr. Selbst die Seniors können nur raten "ja...., sowas haben wir schonmal gemacht... evtl. vor 4 Jahren? Oder 6?", die Such dauert ewig.

Reine Keyword-Suche reicht hier nicht aus, weil Mitarbeitende unterschiedliche Begriffe nutzen und die Dokumentation oft mehrsprachig ist. Der eine sucht nach "Grenzwertüberschreitung", der andere nach "Limit exceeded" – und meint dasselbe.

Ausserdem finden wir in Dokumenten in der Industrie oft lange Tabellen, etwa mit Messwerten. Deshalb ergänzen wir hier die semitische Suche um klassische Datenbanken, etwa postgrSQL. Beim Einlesen und Vectorisieren der Dokumente werden die Tabellen erkannt und in klassische Datenbanken eingelesen und die Zeilen mit den Embedding Chunks verknüpft. So können später auch exakte Daten gefunden und wiedergegeben werden.

Praxis-Tipp: Es gibt praktisch immer typische "Standardfragen" in einem Unternehmen. Auf genau diese kann man das RAG-System gezielt tunen (siehe Performance-Kapitel oben).

2.2 Homologation und Audits

Ein Blick in die Automobilbranche: Hier zeigt sich RAG als echter Zeitgewinn bei einem notorisch aufwendigen Prozess.

Ein Prozess, der klassisch viel Handarbeit bedeutet: Fahrzeug-Typ-Dokumentation trifft auf Regularien und Standards. RAG übernimmt hier die Vorarbeit → LLM erzeugt vorausgefüllte Checklisten, die dann nur noch aktualisiert und reviewt werden müssen.

Demo-Stack: Neo4j + Ollama (llama2) + Chroma + LangChain-Bot – eine Kombination aus Graph-Base und Vector-Base.

Ähnlich verhält es sic mit Audits, .B. einem ISO9001 Audit. Hier werden Fragenkataloge Schritt für Schritt abgearbeitet. Dies kann man mit einer RAG App vorbereiten:

2.3 Projekt-Management

Auch im klassischen Projekt-Alltag lässt sich RAG einsetzen – hier haben sich zwei Spielarten bewährt.

• Tool-Integration
• Interaktiver Dialog

Use-Case 1: Wissensabfrage & Suche (Jira & Confluence Integration)

Statt im Büroalltag manuell nach alten Projekt-Dokumenten, Richtlinien oder Ticket-Historien zu suchen, greift die KI über RAG (Retrieval Augmented Generation) direkt auf die Wissensdatenbanken (etwa Confluence) und Ticketsysteme (etwa Jira) zu.

• Funktion: Das System liest die relevanten Unternehmensdaten aus, versteht den Kontext und beantwortet Fachfragen präzise in Alltagssprache.

• Mehrwert: Keine langen Suchzeiten mehr – Antworten basieren auf euren echten internen Projektdaten.

Use-Case 2. Interaktiver Dialog: Vom Stichpunkt zum Ticket (als PM / PO Co-Pilot)

Die Erstellung sauberer Aufgabenstrukturen scheitert oft an unvollständigen Informationen. Der Bot fungiert hier als intelligenter Gesprächspartner im interaktiven Dialog.

• Funktion: Du gibst nur einen groben Stichpunkt vor (z. B. „Onboarding-Prozess für Kunde X im Tool Y aufsetzen“). Der Bot sucht nach Informationen mittels RAG, erkennt Lücken und stellt gezielte Fragen, bis er das Vorhaben vollständig verstanden hat. Dann erstellet er User-Stories, und nach deren Bestätigung Jira Tickets als Stories und bricht diese in Tasks herunter. 

• Mehrwert: Er stellt aus deinen Antworten automatisch die hierarchische Struktur zusammen (von Hauptaufgabe/Epic über User Stories bis hin zu konkreten Einzel-Tasks). Ein Projektleiter oder Product Owner braucht für sowas Stunden, so geht es in Minuten.

Demo-Stack: GPT + GPT Pilot, Data Flow Aggregator nifi, Graph Base neoj, Vector Base Chroma, GPT 3.5, Jira, Confluence.

2.4 Debugging Support (Automatisierte Fehleranalyse)

Letztes Beispiel: RAG direkt im Werkzeugkasten der Entwickler – kein Kontextwechsel mehr zwischen Doku und Tool.

Auch im Engineering selbst hilft RAG: Integriert in das NISAR-Tool (ROS-Browser) unterstützt es direkt beim Debugging im System-Modellierungs-Tool. Kein Kontextwechsel zwischen Doku und IDE mehr nötig.

Tritt in einer Anwendung oder einem System ein Fehler auf, muss dieser oft aufwendig gesucht und Dokumentation gelesen werden. Der Nawa Bot ist hier direkt in die Arbeitsumgebung eingebunden und liest Consolenausgaben und Logdateien mit.

• Funktion: Im Screenshot erkennt der Bot automatisch die Fehlermeldung in der Log-Liste (z. B. Exception calling subscribe callback...). Er übersetzt den unleserlichen Code-Fehler in verständliche Sprache und erklärt genau, an welcher Stelle im Datenfluss die Ursache liegt.

• Mehrwert: Die zeitraubende manuelle Suche nach Fehlerursachen entfällt. Anstatt kryptische Fehlermeldungen in Suchmaschinen zu googeln und Doku zu wälzen, erhält man vom KI-Assistenten direkt am Bildschirm konkrete Hinweise zur Behebung des Problems.

Zusammenfassung Einheit 2

RAG lässt sich branchenübergreifend einsetzen: von Dokumentensuche über Homologation bis zu Projekt-Management und Debugging. Gemeinsamer Nenner: strukturierte Fachdokumente plus wiederkehrende Standardfragen ergeben einen guten RAG-Anwendungsfall.

RAG lässt sich branchenübergreifend einsetzen: von reiner Dokumentensuche über Homologationsprozesse bis zu Projekt-Management und technischem Debugging. Der gemeinsame Nenner: strukturierte Fachdokumente + wiederkehrende Standardfragen = guter RAG-Anwendungsfall.

Übung 2.1: RAG Use-Cases

Zeit für den Transfer in deinen eigenen Arbeitsalltag: Wo in deinem Beruf würde RAG wirklich helfen?

Identifiziere eigene RAG-Anwendungsfälle: Welche Dokumentquellen nutzt du regelmäßig? Welche Fragen stellst du dir oft dazu? Wie könnte ein KI-Assistent mit Zugriff auf diese Dokumente helfen? Bewerte anschließend Häufigkeit und Zeitersparnis.

Ziel: RAG-Anwendungsfälle im eigenen Beruf identifizieren und bewerten.

Schritte:

1. Eigene Dokumentquellen identifizieren (Handbücher, Verträge, Angebote, Produktdokumentationen, Projektberichte, Prozessbeschreibungen, …).
2. Möglichen RAG-Use-Case formulieren – für jede Dokument-Art beantworten:
   • Welche Frage stellst du dir regelmäßig zu diesen Dokumenten?
   • Welche Informationen musst du oft suchen?
   • Wie könnte ein KI-Assistent mit Zugriff auf diese Dokumente helfen?
3. Use-Case bewerten (ca. 5 Minuten): Wie oft tritt die Aufgabe auf? Wie viel Zeit kostet die Suche heute? Wie viel Zeit könnte man einsparen?

Lernziel: Transfer des RAG-Konzepts in reale Arbeitsprozesse; Verständnis, wann ein normaler Chatbot nicht ausreicht; Erkennen typischer Wissensquellen für RAG-Systeme.

Tools/Accounts: Keine. Experimente mit einem Out-of-the-box RAG Tool im nächsten Abschnitt!

Einheit 3) Dein eigenes RAG-Tool: NotebookLM & Co.

Google NotebookLM ist ein kostenloses (bzw. Ultra-)RAG-Tool für den persönlichen Gebrauch: bis zu 50 Dokumente im Free-Tarif, 600 im Ultra-Tarif, inklusive Gemini-Integration und optionaler Websuche.

Genug graue Theorie und Industrie-Demos mit Neo4j und LangChain – zeit für was, das du heute noch ausprobieren kannst.

Es gibt mittlerweile zahlreiche "persönliche" RAG-Tools. Ein besonders umfassendes Beispiel: Google NotebookLM.

• Kann auch auf Google-Docs-Dokumente zugreifen
• Hat Gemini integriert
• Eignet sich richtig gut zum Experimentieren

Es gibt natürlich noch viele weitere Tools – einfach mal recherchieren, was zu deinem Anwendungsfall passt.

Limits NotebookLM:

• Free: 50 Dokumente
• Ultra: 600 Dokumente

Reicht gut für den privaten Gebrauch – für industrielle Anwendungen eher nicht. Da braucht's dann doch die "großen" Stacks aus Kapitel 2.

Live-Demo-Ausschnitte: Wiederholung des Tests aus der Dokumentenverarbeitungs-Einheit – diesmal mit perfekt referenzierter Quelle. Hier ein paar der getesteten Fragen, inklusive Metadaten- und Grenzfälle:

Ist das Qualitätshandbuch älter oder neuer als die ISO-9001 in den Quellen Bei der CMC Electronic, gibt es im Qualitätshandbuch Belege dafür, dass der Produktentwicklungsprozess initiiert wird? Wenn ja, geb die Stelle genau an, wenn es keine Evidenz gibt, antworte mit "keine Evidenz gefunden" Bei der CMC Electronic, nach dem Qualitätshandbuch, wie wir die Qualifikation der Mitarbeiter sichergestellt? Bei der CMC Electronic, nach dem Qualitätshandbuch, wie werden Fehlteile gemanaged und wie wird sichergestellt, dass sie nicht ausgeliefert werden?

Spannend wird's beim Test mit aktivierter Internet-Suche (neues Notebook, Websuche "EU AI Act" + 4 eigene Testdokumente):

Was sagt der EU AI Act zur Kennzeichnungspflicht von KI Inhalten?

→ Klappt. Die Information ist tatsächlich in den Dokumenten enthalten.

Die EU Kommission hat "KI-Erstellt" Labels erstellt. Wann müssen diese verwendet werden und wofür?

→ Klappt nicht richtig. Die Information steht schlicht nicht in den Dokumenten, sondern nur aktuell in Medien – die Hoffnung, dass die Websuche das ausbügelt, hat sich nicht erfüllt. Gesucht war eigentlich der "Code of Practice on Transparency of AI-Generated Content".

Die EU hat "buttons" mit weisser Schrift auf schwarzem Hintergrund herausgegeben um KI Inhalte zu kennzeichnen. Wo finde ich die?

Und genau das ist die ungeschminkte Wahrheit über RAG: Es ist kein Zauberstab. Es ist so gut wie die Dokumente, die du reinsteckst.

Zusammenfassung Einheit 3

Persönliche RAG-Tools wie NotebookLM zeigen den Unterschied zum reinen Chatbot deutlich: exakte Quellenreferenzierung funktioniert gut für Inhalte aus den hochgeladenen Dokumenten – bei Metadaten-Fragen oder aktuellen, nicht dokumentierten Themen stößt auch gutes RAG an Grenzen.

Persönliche RAG-Tools wie NotebookLM zeigen sehr anschaulich den Unterschied zu einem reinen Chatbot: Exakte Quellenreferenzierung funktioniert gut für Inhalte, die tatsächlich in den hochgeladenen Dokumenten stehen – bei Fragen zu Metadaten oder aktuellen, nicht dokumentierten Themen stößt auch ein gutes RAG-System an Grenzen.

Übung 3.1: Eigenes RAG

Wiederhole deine bisherigen Dokumenten-Aufgaben jetzt in einem echten RAG-Tool wie NotebookLM. Was hat sich verändert? Funktioniert die Suche besser oder schlechter als im reinen Chatbot?

Ziel: Experimentieren mit einem eigenen RAG-System.

Schritte:

1. Wiederhole die Aufgaben aus der Einheit zu den Dokumenten – diesmal im Chatbot mit RAG.
   1. Dokumente: Übung 1
   2. Dokumente: Übung 2
   3. Dokumente: Übung 3
2. Was hat sich geändert? Funktioniert das Ganze besser oder schlechter?

Lernziel: Ein Gefühl dafür bekommen, wie sich das im Gegensatz zu Dokumenten direkt im ChatBot verhält.

Tools/Accounts: Ein persönliches RAG, z. B. Google NotebookLM.

Direkt zu Google NotebookLM

4) Zusammenfassung & Lessons Learned

RAG macht Dokumenteninhalte präzise auffindbar und referenzierbar. Die größte Herausforderung bleibt die zuverlässige, vollständige Suche – erschwert durch komplexe Dokumente und mehrdeutige Fragestellungen.

• RAG macht Dokumenteninhalte gezielt verfügbar.
• Auch aus großen Datenmengen können Inhalte präzise aufgefunden und referenziert werden.
• Diese Informationen werden dem LLM als "Kontext" zur Beantwortung der Fragen zur Verfügung gestellt.
• Die eigentliche Herausforderung bei RAG: alle relevanten Daten zuverlässig zu finden ("Vollständigkeit", "Genauigkeit").
• Dies wird durch komplexe Dokumente zusätzlich erschwert.
• Auch die Art, wie der Anwender die Frage stellt, kann die Suche erschweren.

5) Projektaufgabe: Arbeite selbst mit RAG

Teste dein eigenes RAG-System an drei Fronten: Dokumente absichtlich vermischen, ein 10-Fragen-Audit durchführen (4 einfach, 3 schwierig, 3 mit Fehlannahmen) und gezielt die Grenzen mit Metadaten-Fragen austesten.

Zeit, selbst Hand anzulegen. Wiederhole die Projektaufgabe von der Einheit "Arbeiten mit Dokumenten" – diesmal mit deinem eigenen RAG-Tool.

1. Dokumente vermischen

• Lade von Wikipedia 2 "zu ähnliche" Artikel, z. B. Tier: Jaguar und Auto: Jaguar.
• Frage nach gemeinsamen Informationen wie z. B. der Geschwindigkeit oder Größe.
• Frage nach unsinnigen Kombinationen, z. B. der Ausstattung des Tieres oder der Nahrung des Jaguar F-Type.
• Kannst du den ChatBot dazu bringen, die Daten zu vermischen?

2. Audit

• Erstelle 10 Audit-Fragen zu einem Dokument nach dem Schema 4-3-3: 4 einfache, 3 schwierige, 3 mit falschen Annahmen.
• Lasse den ChatBot sie beantworten.
• Wie viele Antworten sind korrekt?

3. Grenzen testen

• Frage nach Informationen, die nicht im Dokument stehen.
• Frage nach Metadaten zu den Dokumenten ("Welches Dokument ist älter").
• Wie verhält sich das RAG im Vergleich zu einem Chatbot allein?
• Tipp: Sammle dafür mehrere Dokumente, die den Kontext des Chatbots füllen, damit der Unterschied besser erkennbar wird.

Lernziel: Ein Gefühl fürs RAG im Vergleich zu Dokumenten im Chatbot entwickeln.

Tools/Accounts: Ein persönliches RAG, z. B. Google NotebookLM.

FAQ

• Was bedeutet RAG bei ChatGPT & Co.? RAG (Retrieval Augmented Generation) ergänzt ein Sprachmodell um eine gezielte Dokumentensuche. Statt nur aus trainiertem Wissen zu antworten, holt sich das System vor jeder Antwort passende Textstellen aus deinen echten Dokumenten und liefert sie als Kontext mit – inklusive Quellenangabe.
• Ist RAG dasselbe wie Fine-Tuning? Nein. Beim Fine-Tuning wird das Modell selbst mit neuen Daten nachtrainiert – aufwendig und teuer. RAG dagegen erweitert das Modell zur Laufzeit um externes Wissen, ohne das Modell selbst zu verändern. Deutlich schneller und flexibler.
• Welches RAG-Tool eignet sich für Einsteiger? Google NotebookLM ist ein guter, kostenloser Einstieg (bis 50 Dokumente im Free-Tarif) mit Gemini-Integration und optionaler Websuche. Für den privaten oder kleinen geschäftlichen Gebrauch völlig ausreichend.
• Kann RAG halluzinieren? Ja, auch RAG-Systeme können falsche Informationen erfinden – vor allem bei Fragen zu Metadaten oder Inhalten, die schlicht nicht in den Dokumenten stehen. RAG reduziert Halluzinationen deutlich, macht sie aber nicht unmöglich.
• Ist meine Daten-IP bei RAG-Tools sicher? Das hängt vom jeweiligen Tool ab. RAG kann grundsätzlich auch lokal bzw. on-prem betrieben werden, wodurch Dokumente das eigene Netzwerk gar nicht verlassen müssen. Bei Cloud-Tools solltest du vorher genau prüfen, was mit deinen hochgeladenen Dokumenten passiert.