RAG verstehen: Retrieval Augmented Generation erklärt

Retrieval Augmented Generation (RAG) kombiniert die Stärken von Suchsystemen mit der Sprachfähigkeit von LLMs. Das Ergebnis: akkuratere, aktuellere Antworten.

Das Problem

LLMs haben einen Knowledge Cutoff – sie wissen nur, was bis zu ihrem Training veröffentlicht wurde. Außerdem "halluzinieren" sie manchmal plausibel klingende, aber falsche Informationen.

Die Lösung: RAG

Bei RAG wird die Anfrage zunächst verwendet, um relevante Dokumente aus einer Wissensdatenbank abzurufen. Diese Dokumente werden dann zusammen mit der Anfrage an das LLM übergeben.

Architektur

1. Dokumente werden in Chunks aufgeteilt und als Embeddings gespeichert
2. Bei einer Anfrage werden die semantisch ähnlichsten Chunks abgerufen
3. Die Chunks werden als Kontext in den Prompt eingefügt
4. Das LLM generiert eine Antwort basierend auf dem Kontext

Anwendungsfälle

RAG eignet sich besonders für Unternehmenswissen, Dokumentation, Kundensupport und jede Anwendung, die aktuelle oder proprietäre Daten benötigt.