Storskalig LLM-arkitektur
bortom modellvikterna

Begreppsnyckel

Korta förklaringar av tekniska termer som används på den här sidan och i audit-kravkartan. Termerna är riktade till granskare som behöver förstå arkitekturen utan att vara LLM-specialister.

Tenant

Logisk kund- eller organisations­avgränsning i en multi-tenant-tjänst. Tenant-isolering innebär att data, prompter, embeddings, cache och loggar från en kund inte kan nås av en annan — ofta en kritisk kontroll vid molnbaserade LLM-tjänster.

RAG

Retrieval-Augmented Generation. Arkitekturmönster där modellen vid varje fråga hämtar relevanta dokument eller dataposter från en kunskapsbas (typiskt en vektor-store) och fogar dem till prompten. Risk: hämtade dokument kan innehålla personuppgifter och kan användas för indirekt prompt injection.

Embeddings

Numerisk vektorrepresentation av text eller andra data, framtagen av en modell. Används för semantisk sökning, klustring och RAG. Kan utgöra personuppgifter när de härrör från personuppgifter eller kan kopplas tillbaka till en identifierbar person — särskilt om de kan sökas, jämföras, länkas till konto eller delvis inverteras.

KV-cache

Key-Value-cache. Mellanlagring av modellens interna tillstånd (attention-nycklar och -värden) under generering, för att inte räkna om samma kontext flera gånger. Innehåller derivat av prompten — alltså potentiellt personuppgifter — i RAM, oftast kortlivat men ibland delat över requests.

Prompt-cache

Cache av tidigare prompter eller delprompter för att snabba upp svar och sänka kostnad. Risk vid återanvändning mellan användare, tenants eller sessioner — kan läcka kontext eller personuppgifter om isolering brister.

Guardrail

Policyimplementerande kontroll runt modellen — typiskt en kombination av klassificerare, regler och hjälpmodeller som filtrerar input och output för att förhindra exfiltrering, skadligt innehåll eller policyöverträdelser. Granskas mot designspecifikation och effektivitet (FP/FN).

Prompt injection

Angrepp där instruktioner smyger sig in i modellens kontext — antingen direkt (i användarens prompt) eller indirekt (i hämtade dokument, webbsidor eller verktygssvar). Kan användas för att kringgå guardrails, exfiltrera data eller utlösa oavsiktliga verktygsanrop. OWASP LLM01:2025.

DSR

Data Subject Request — den registrerades begäran enligt GDPR kapitel III (åtkomst, rättelse, radering, dataportabilitet, invändning m.m.). I LLM-sammanhang kräver DSR-flödet täckning även av embeddings, cache, loggar, träningsdata och feedback­loopar — inte bara den synliga konversations­databasen.

Tool / tool router

Funktionsanrop som modellen kan utföra (web­sökning, kodkörning, filsystem, MCP-konnektorer). Tool router väljer och kör verktyget. Granskningspunkter: behörighet, sandbox-isolering, SSRF-skydd, OAuth-scope och loggning av vilka verktyg som körts mot vilken data.

RLHF / DPO

Reinforcement Learning from Human Feedback respektive Direct Preference Optimization — träningstekniker som finjusterar modellbeteende utifrån mänskliga preferenser. Annotatordata och feedback-signaler kan innehålla personuppgifter och kräver egen ROPA- och retentions­hantering. DPO här är inte detsamma som DPO = dataskyddsombud i löpande text.

Lineage

Spårbarhet bakåt från ett dataobjekt eller en modell till dess ursprung — vilka källor, vilken förbehandling, vilka transformationer. Krävs för att kunna svara på radering, rättelse och frågor om laglig grund i hela kedjan.

Observability

Samlad insyn i tjänstens drift via loggar, mätetal och spårning. För LLM-tjänster en egen integritetsutmaning eftersom prompter och svar ofta hamnar i observability-stacken med längre retention och bredare åtkomst än applikationen själv.

Checkpoint

Sparad version av modellvikterna under eller efter träning. Granskningspunkter: signering, integritet, rollback­förmåga vid incident, åtkomstkontroll.

Dataförgiftning & modellförgiftning

Angrepp där tränings-, finjusterings- eller RAG-data manipuleras (dataförgiftning), eller där själva modellvikterna komprometteras via bakdörrar i förtränade modeller, finjusteringar eller adaptrar (modellförgiftning). Kan plantera dolt beteende eller bias som kringgår kontroller. OWASP LLM04:2025 — Data and Model Poisoning.

Försörjningskedja (AI)

Kedjan av tredjepartskomponenter en LLM-tjänst vilar på: programvarubibliotek, basmodeller, dataset, adaptrar, modellhubbar och hjälpmodeller. Varje länk kan bära sårbarheter eller komprometterat innehåll. Hanteras med proveniens, signering, sårbarhetshantering och förteckningar (SBOM samt en AI-/modell-BOM). OWASP LLM03:2025 — Supply Chain.

OWASP LLM Top 10

Branschvedertagen lista över de tio vanligaste säkerhets­riskerna i LLM-applikationer (version 2025). Refereras på flera ställen i kartan — bl.a. LLM01 prompt injection, LLM02 sensitive information disclosure och LLM10 unbounded consumption.