Bedöm riskerna med användningen och säkerställ lämplig säkerhet

Metod för lämplig säkerhet

Dataskyddsförordningen ställer krav på att det vidtas säkerhetsåtgärder som är lämpliga i förhållande till risken med personuppgiftsbehandlingen. Vid högre risker krävs mer omfattande och långtgående åtgärder och vid mindre riskfylld behandling är kraven lägre.

Viktiga led i arbetet med att säkerställa en lämplig säkerhet är:

Analysera risker på förhand

Analysera och bedöm risker med användningen innan AI-systemet införs i verksamheten. Syftet med detta är att i förväg vidta lämpliga åtgärder för att minska riskerna samt att inte genomföra behandlingar som innebär för hög risk.

Följ upp och hantera risker under användning

Följ kontinuerligt upp riskerna samt vidta lämpliga åtgärder för att minska riskerna. I förekommande fall, upphör med behandlingar som visar sig vara alltför riskfyllda.

Hantera incidenter

Identifiera, analysera och åtgärda incidenter. Informera berörda personer och IMY vid behov.

Risker med användning av generativ AI

Användning av generativ AI kan medföra flera olika risker. Nedan ges exempel.

Övertro och olämplig användning

En risk med generativ AI är att användare i verksamheten har bristande förståelse för tekniken, särskilt när det gäller dess begränsningar. Det kan leda till att medarbetare som använder tekniken i sitt arbete förlitar sig i alltför stor utsträckning på de resultat som AI-systemet genererar. Det kan också leda till att tekniken används på sätt som är olämpliga utifrån ett informationssäkerhetsperspektiv.

Dataläckage

Ytterligare en risk är att personuppgifter som överförs till en extern generativ AI-tjänst kan hamna i orätta händer eller används på ett obehörigt sätt utanför verksamhetens kontroll.

Svarta lådan-problematiken

En utmaning med generativ AI är den så kallade svarta lådan-problematiken (eng. the black box problem), vilket innebär att det inte alltid går att fullt ut förstå hur tekniken fungerar eller på vilka grunder ett svar genereras. Detta kan leda till säkerhetsrisker som vi ännu inte känner till eller förstår. Offentliga verksamheter bör därför överväga om användningen av generativ AI är nödvändig eller om en mer förutsebar, regelbaserad it-lösning kan fylla samma funktion. Enklare AI-lösningar som kan ge bättre kontroll över och förståelse för behandlingen bör också övervägas, till exempel en liten språkmodell (eng. small language model, SLM) som kan hanteras närmare verksamheten.

Hallucinationer

Hallucinationer innebär att generativ AI skapar utdata som inte stämmer överens med verkligheten. Exempel på hallucinationer kan vara svar eller handlingar som innehåller vilseledande eller felaktiga uppgifter. Vissa hallucinationer kan vara mycket svåra att skilja från fakta. Ju svårare det är att identifiera det felaktiga, desto större kan risken och konsekvenserna av hallucinationen bli. Hallucinationer kan medföra svårigheter att följa dataskyddsförordningens princip om riktighet.

Bias

Bias innebär att ett generativt AI-systemet producerar resultat som är diskriminerande eller snedvridna. Detta beror ofta på att skevheter i träningsdatan har påverkat grundmodellens inlärning. Exempelvis om grundmodellens träningsdata visar att kvinnor generellt sett tjänar mindre än män, kan modellen felaktigt lära sig att detta är en norm och återskapa eller förstärka sådana mönster i sina resultat. Bias kan medföra svårigheter att följa dataskyddsförordningens princip om korrekthet.

Lämpliga åtgärder för att begränsa risker

Flera olika åtgärder kan vara lämpliga för att begränsa risker med användningen av generativ AI. Nedan ges några exempel.

Styrningsstruktur

För att minska riskerna med generativ AI är det vanligtvis lämpligt att etablera en tydlig styrningsstruktur, både internt och i förhållande till leverantörer av generativa AI-system. En sådan styrningsstruktur kan omfatta riktlinjer och rutiner gällande användning, säkerhet och hantering av personuppgifter. Det bör exempelvis finnas en tydlig styrning kring vilka personuppgifter som får användas som indata och vilka personuppgifter som en grundmodell får ges tillgång till på andra sätt.

Utbildning

Verksamheten bör utbilda de medarbetare som ska använda generativ AI i sitt arbete. Medarbetarna bör lära sig att identifiera risker och det bör betonas att tekniken är ett stödverktyg som inte ersätter det mänskliga omdömet.

Mänsklig kontroll

En annan lämplig åtgärd är att upprätthålla mänsklig kontroll (eng. human-in-the-loop) genom att säkerställa mänsklig inblandning i viktiga steg vid användning av generativ AI. Mänsklig kontroll innebär att resultaten ska kunna granskas och bedömas av en människa, vilket kan vara en utmaning i vissa fall när AI-systemet genererar komplexa eller svårtolkade svar. Exempelvis kan risken för hallucinationer begränsas genom att medarbetare granskar det innehåll som generativ AI producerar. Granskningen kan underlättas om AI-systemets grundmodell använder metoden chain-of-thought (CoT) som innebär att modellen redovisar sitt resonemang steg för steg, vilket gör dess processer mer transparenta och lättbegripliga.

Tekniska säkerhetsåtgärder

För att skydda personuppgifter, både i vila och under överföring, är det viktigt att använda stark kryptering. Vidare bör lösningar för åtkomstkontroll och behörighetsstyrning implementeras för att säkerställa att endast behöriga har tillgång till de personuppgifter som överförs till AI-systemet, särskilt vid användning av en extern tjänst. Utöver detta är det viktigt att införa säkerhetsåtgärder som kan upptäcka och förhindra obehörig användning av personuppgifter, såsom övervakning av systemaktivitet och larm vid misstänkta avvikelser.

För att ytterligare stärka säkerheten bör verksamheten regelbundet utvärdera prestanda och funktionalitet hos generativa AI-system för att identifiera och åtgärda eventuella brister.

Sannolikhetströsklar och temperatur

Ett generativt AI-system är ofta konstruerat för att generera svar oavsett om svaret är faktamässigt korrekt eller inte. Till skillnad från en människa, som kan uttrycka osäkerhet eller medge att man inte vet eller förstår, tenderar generativ AI att alltid generera ett svar, även vid osäkerhet. Ett sätt att motverka problemet är att använda så kallade sannolikhetströsklar (eng. confidence thresholds). AI-systemet kan då konfigureras till att avstå från att generera ett svar om sannolikheten för att svaret är korrekt ligger under ett visst tröskelvärde. Gränsen för när ett svar ska anses ligga under tröskelvärdet kan inte fastställas generellt och beror bland annat på hur hög den så kallade temperaturen tillåts vara.

Temperaturen är en parameter som styr hur ”kreativt” ett AI-system tillåts vara när det genererar utdata. En låg temperatur gör systemet mer förutsägbart genom att prioritera de mest sannolika svaren, medan en hög temperatur skapar mer varierade och kreativa resultat. Konfigurering av temperaturen kan sålunda också vara en lämplig åtgärd i sammanhanget.

RAG

För att generera mer korrekta och träffsäkra svar kan tekniken retrieval-augmented generation (RAG) användas. RAG kombinerar grundmodellens generativa förmåga med extern eller verksamhetsspecifik information från utvalda källor. Detta gör att systemet inte bara genererar mer kvalitativa svar, utan att det också kan besvara frågor som bygger på verksamhetens egna data. Det är viktigt att notera att RAG inte är någon garanti mot bias eller hallucinationer, men denna teknik kan ändå bidra till att minska riskerna för dessa problem.

Det bör samtidigt framhållas att RAG medför egna risker. Till exempel krävs avancerade processer som vektorisering och indexering av data för att systemet ska kunna använda informationen. Det kan i sig innebära en komplex bearbetning av personuppgifter, vilket ställer krav på att analyser genomförs för att säkerställa att behandlingen är nödvändig och proportionerlig i enlighet med dataskyddsförordningen. Dessutom krävs åtgärder såsom behörighetsstyrning där det noggrant bör övervägas vilken information RAG-lösningen ska ha tillgång till.

PET

Olika integritetshöjande teknologier, ofta kallade privacy-enhancing technologies (PET), kan vara en viktig del av arbetet med att minska riskerna med generativ AI. PET kan säkerställa efterlevnaden av de grundläggande dataskyddsprinciperna, till exempel uppgiftsminimering. PET kan också öka säkerheten, särskilt vid avancerade personuppgiftsbehandlingar i samband med användning av generativ AI.

Konsekvensbedömning för generativ AI

För behandling av personuppgifter som sannolikt innebär en hög risk för enskilda krävs att verksamheten gör en konsekvensbedömning avseende dataskydd. Det kan beskrivas som en process för att identifiera risker med behandlingen av personuppgifter och för att ta fram åtgärder för att hantera dessa risker.

Analysen av om en konsekvensbedömning behöver genomföras innan en verksamhet börjar använda ett generativt AI-system, skiljer sig inte från motsvarande analys för annan personuppgiftsbehandling. Att genomföra en riskanalys inför användning av teknik som är ny för verksamheten kan dock kräva särskild kompetens. Exempel på faktorer som kan aktualiseras vid användning av generativ AI och som talar för att en konsekvensbedömning behöver göras är att det kan röra sig om användning av ny teknik, behandling av personuppgifter i stor omfattning, bearbetning av känsliga personuppgifter och automatiserat beslutsfattande.

Användning av generativ AI kan alltså innebära att en konsekvensbedömning måste genomföras, men det är inte alltid fallet. En bedömning måste göras från fall till fall.

Dokument och länkar

• Inbyggt dataskydd och dataskydd som standard (imy.se) Länk till annan webbplats.
• Informationssäkerhet (imy.se) Länk till annan webbplats.
• Konsekvensbedömningar (imy.se) Länk till annan webbplats.
• Personuppgiftsincidenter (imy.se) Länk till annan webbplats.
• Rapport: Utlämnande av allmänna handlingar med hjälp av AI - se särskilt avsnitt 6 (pdf, imy.se) Länk till annan webbplats.