Tärningens RAG

Retrieval Augmented Generation

Retrieval Augmented Generation (RAG), rakt översatt till svenska ungefär Förstärkt Generering från Hämtning, är en teknik som låter språkmodeller inom Generativ AI använda specifik indata som grund istället för generella texter hämtade från Internet.

Allt fler har insett att man inte alltid kan lita på svaret från system för Generativ AI, fastän svaret ger sken av att vara bomsäkert. Man säger att systemet ger hallucinationer. Problemet är att det statistiskt mest sannolika svaret inte alltid är rätt svar. En anledning kan vara att informationen på Internet inte alltid är relevant.

En lösning kan vara att enbart ge relevant information till språkmodellen. Det kan innebära att man till exempel instruerar språkmodellen att enbart använda den interna dokumentationen i företaget eller organisationen. Eller från andra specifika databaser, dokument och liknade källor, till skillnad från de statiska källor som den tränats på.

RAG tillåter dessutom att systemet inkluderar källreferenser i sitt svar, vilket ger användare möjlighet att enkelt verifiera svaret, och därmed mer förtroende att lita på svaret.

Vilka steg används av RAG?

Indexering ("Indexing"): Det specifika indatat som ska användas konverteras till LLM-inbäddningar ("embeddings"), numeriska representationer i form av en vektor. RAG kan användas på ostrukturerad (vanligtvis text), halvstrukturerad eller strukturerad data (till exempel siffror från en relationsdatabas). Dessa inbäddningar lagras sedan i en vektordatabas för att möjliggöra dokumenthämtning.

Hämtning ("Retrieval"): Utifrån användarens fråga anropas en dokumenthämtare för att välja de mest relevanta dokumenten som ska användas för att besvara frågan. Den här jämförelsen kan göras med hjälp av olika metoder, som delvis beror på vilken typ av indexering som har använts.

Förstärkning ("Augmentation"): Modellen matar in den relevanta hämtade information i språkmodellen via dess prompt. Nyare versioner (från och med 2023) kan använda specifika förstärkningsmoduler med möjlighet att utöka frågor till flera domäner, och använda minne och självinlärning för att lära sig av tidigare hämtningar.

Generering ("Generation"): Slutligen kan LLM generera utdata baserat på både frågan och de hämtade dokumenten. Vissa modeller innehåller extra steg för att förbättra utdata, till exempel omrankning av hämtad information, sammanhang och annan finjustering.

källa: en.wikipedia.org/wiki/Retrieval_Augmented_Generation

Sidan skapad 18 mars 2025
Sammanställt av Christer Tärning.