En Large Language Model (LLM), eller stor språkmodell, är en typ av modell för maskininlärning avsedd för att hantera naturligt tal och text, både för att tolka och skapa tal och text. En LLM använder många parametrar, och är tränade på massiva mängder av text för att kunna ge det statistiskt mest sannolika svaret.
Google började använda neuronnät för tolkning av söktexter 2016, och 2017 släppte man rapporten "Attention Is All You Need" med en arkiktektur med neuronnät för transformering ("transformer") baserat på en uppmärksamhetsmekanism ("attention mechansism") utvecklad 2014 av Bahdanau et al.
Detta var startskottet för användningen av stora språkmodeller ("Large Language Model, LLM"), och begreppet Generativ AI. Flera företag och organisationer grundades för att utveckla Allmän AI ("Artificial General Intelligence, AGI"), såsom OpenAI och Google DeepMind.
2018 lanserade Google modellen BERT ("Bidirectional Encoder Representations from Transformers") som enbart gjorde encoding, fastän arkitekturen i rapporten hade både encoding ("kodning") och decoding ("avkodning"). BERT representerade text som en sekvens av vektorer, genom självinlärning.
Samma år lanserade OpenAI modellen GPT-1 ("Generative Pre-trained Transformer") som enbart gjorde decoding. Det var dock GPT-2 som väckte uppmärksamhet 2019 när OpenAI först tyckte att den var alltför kraftfull för att släppas publikt. 2020 släpptes GPT-3 som enbart är tillgänglig via API, utan möjlighet att ladda ner för lokal körning.
Fast mest uppmärksamhet fick OpenAI när de släppte ChatGPT som en lättanvänd prompt för allmänheten 2022. Den fångade allmänhetens uppmärksamhet och åstadkom en fullkomlig hype i medierna, som till viss del fortfarande pågår.
GPT-4 som släpptes 2023 fick lovord för sin förbättrade noggrannhet, och för sina multimodala möjligheter. 2024 släppte OpenAI den resonerande modellen o1, som skapar långa kedjor av tankebanor innan den ger sitt svar.
Under tiden har allt fler insett att man inte alltid kan lita på svaret från dessa system, fastän systemet ger sken av att vara bomsäkert. Man säger att systemet ger hallucinationer. Problemet är att det statistiskt mest sannolika svaret inte alltid är rätt svar. En anledning kan vara att informationen på Internet inte alltid är relevant.
En lösning kan vara att enbart ge relevant information till språkmodellen. Det kan innebära att man till exempel instruerar språkmodellen att enbart använda den interna dokumentationen i företaget eller organisationen. Metoden kallas för "Retrieval Augmented Generation" (RAG), på svenska Förstärkt Generering från Hämtning.
Mer: RAG.
källa: en.wikipedia.org/wiki/Large_Language_Model
Sidan skapad 18 mars 2025
Sammanställt av Christer Tärning.