AI-sikkerhedOpdateret 4. sep. 202611 min.

Sikker RAG og AI-assistenter: en 2026-sikkerhedsbaseline

Retrieval-augmented generation gør AI mere nyttig, men skaber nye trust boundaries mellem kildesystemer, vector stores, retrieval, modelkontekst, tool calls og handlinger.

Kort svar

En sikker RAG-assistent bør bevare kildesystemets adgangsrettigheder, adskille identiteter og tenants, behandle retrieved content som untrusted input, begrænse tool calls, validere output, logge væsentlige events og vise kilder. RAG forbedrer grounding, men fjerner ikke prompt injection, datalæk, excessive agency eller misinformation.

Identitet før retrievalModellen må ikke hente materiale, brugeren ikke må se.
Dokumenter er untrustedRetrieved tekst kan indeholde skadelige instruktioner.
Agency skal afgrænsesLæseadgang og handlingsrettigheder bør være separate og least-privileged.

Referencearkitektur

LagPrimær risikoBaseline-kontrol
Bruger & identitetAccount compromise eller for brede rettighederSSO/MFA, roller, session controls, group-aware retrieval
Connectors & ingestionFølsomt eller ondsindet indholdGodkendte kilder, proveniensmetadata, scanning, klassifikation
Vector / retrievalCross-tenant eller permission leakageTenant isolation, ACL-filter, beskyttede embeddings, deletion lifecycle
ModelkontekstPrompt injectionTrust separation, policy hierarchy og kontrolleret kontekst
Tools / agentsExcessive agencyAllowlists, least privilege og approval ved væsentlige handlinger
OutputDatalæk og misinformationKildehenvisning, validering, policy filters og human review
MonitoringUsynligt misbrug eller driftAudit logs, telemetri, evaluering og incident workflow

Bevar rettigheder hele vejen

Hvis en bruger ikke kan åbne et dokument i kildesystemet, bør assistenten ikke kunne vise det via retrieval. Undgå flade vector indexes uden adgangskontekst. Retrieval skal håndhæve brugeridentitet, kilderettigheder og tenant boundaries.

Behandl dokumenter som potentielt fjendtligt input

Et retrieved dokument kan indeholde instruktioner, der forsøger at ændre modellens adfærd. OWASP fastholder prompt injection som en central GenAI-risiko; RAG og finetuning eliminerer ikke problemet. Systeminstruktioner, brugerinput og retrieved content skal have tydelige trust-grænser.

Adskil viden fra handling

En assistant der læser dokumenter er ikke det samme som en agent, der kan sende mail, ændre data eller udføre transaktioner. Tool permissions skal være eksplicitte, scoped og auditerbare. Konsekvensfulde handlinger bør bruge deterministisk validering og relevant menneskelig godkendelse.

Test de vigtigste failure modes

Deployment gate

GateSpørgsmål
DataEr kilder godkendte, klassificerede og permission-aware?
IdentitetKan systemet håndhæve bruger-, gruppe- og tenant-grænser?
InjectionEr direkte og indirekte prompt injection testet?
ToolsEr agenthandlinger allowlisted, least-privileged og godkendte ved behov?
EvidensKan output spores til kilder, model/version og handlinger?
DriftEr monitoring, incident response, rollback og change control defineret?

Primære referencer

En sikkerhedsbaseline, ikke en garanti for sikkerhed. Arkitekturen skal testes mod jeres faktiske data og trusselsmodel.

Review en AI-assistent før den bliver produktionsinfrastruktur

SundAI fokuserer på AI-sikkerhedsarkitektur, governance-evidens og kontrolleret ibrugtagning.

Se AI-sikkerhedsvurdering →
← Alle indsigterNæste: Shadow AI →