Beslut med stöd av generativ AI bör ha mänsklig kontroll

Särskild medvetenhet behövs om generativ AI ska användas vid beslut

Beslut inom den offentliga förvaltningen kan ha många former. Typiskt sett är ett beslut någon form av handlingsdirigerande uppmaning från det offentliga som på ett inte obetydligt sätt påverkar en enskild person eller företag. Det finns därför ett antal formkrav i förvaltningslagen kring den typen av beslut, inte minst att de ofta måste vara skriftliga och överklagbara. Detsamma gäller vissa andra former av vägledande eller handlingsdirigerande beslut som riktas mot, uppmanar någonting, eller har som syfte att påverka handlandet för en grupp människor eller företag. Det gäller särskilt när det är fråga om förbud eller någon form av begränsning.

Inom den offentliga förvaltningen fattas även en mängd andra typer av beslut. Det kan vara inköpsbeslut, verksamhetsinterna beslut eller beslut som bestämmer hur en viss uppgift eller ett visst uppdrag ska genomföras. Även här finns det ramar, till exempel genom de instruktioner som uppdragsgivaren - ofta regeringen eller någon annan beslutande församling och ytterst medborgarna – ger verksamheten i fråga genom lag, förordning eller uppdrag. Formerna för sådana beslut regleras exempelvis genom myndighetsförordningen eller genom specialreglering för vissa verksamheter, inom till exempel social vård och omsorg.

En annan typ av beslut är rena verkställighetsbeslut, det vill säga den typen av beslut som egentligen inte är ”beslut” utan mer en konsekvens av ett tidigare fattat beslut. Den typen av beslut i den löpande verksamheten fattas ofta inom myndigheter, kommuner och regioner. Gemensamt för dessa beslut är att de ofta inte är överklagbara i sig eftersom det är fråga om så kallad ren verkställighet. De är därmed till sin typ inte handlingsdirigerande, utan av en agerande karaktär med anledning av ett tidigare fattat handlingsdirigerande beslut. Texterna om beslutsfattande och generativ AI syftar på den första typen av beslut, det vill säga som fattas enligt förvaltningslagen.

Automatiserat beslutsfattande är tillåtet när det finns mänsklig kontroll

Automatiserat beslutsfattande, det vill säga beslut som fattas maskinellt utan att någon människa är inblandad, är visserligen tillåtet enligt förvaltningslagen. Automatiserat beslutsfattande i den mening som avses i förvaltningslagen bygger på att besluten fattas med stöd av programmeringskod som har skapats, och i sin helhet kontrolleras, av människor och som därmed anses förutsägbar. Läs mer i Diggs vägledning Automatisera handläggning och beslut.

Möjligheten till kontroll över hela beslutsprocessen och att ett automatiserat beslutsfattande är förutsägbart är det som skiljer sådant beslutsfattande från den typen av beslutsfattande som kan göras med stöd av generativ AI.

När generativ AI används vid beslutsfattande

”Human in the loop”, eller mänsklig kontroll, används som ett centralt begrepp vid användning av generativ AI.

Begreppet betyder att det är viktigt att människor bevakar, granskar och följer upp hur generativa AI-lösningar fungerar i allmänhet, och det som generas i synnerhet.

Det som ett generativt AI-stöd skapar är som huvudregel inte tillräckligt tillförlitligt för att omedelbart användas som fakta. Det beror dels på kvaliteten och bristen på kontroll över träningsdatan, dels på att generativa AI-tjänster kan vara konfigurerade för att vara användaren till lags och att de genererar det som är sannolikt att användaren vill ha. Det som ett generativt AI-verktyg skapar är därmed i bästa fall ett resultat som baserats på en pålitlig, citerad källa men kan i andra fall vara en kvalificerad gissning. I värsta fall kan resultatet vara en ren fabrikation eller så kallad hallucination.

Mycket av det som skapas kan också bekräfta fördomar. Ett typexempel är att en instruktion att skapa en bild på en människa ofta genererar en bild på en vit, medelålders man. Inom den offentliga förvaltningen är det därför särskilt viktigt att det finns processer för att säkerställa att resultat och output granskas och kvalitetsgranskas av människor. Det är alltså extra viktigt vid beslutsfattande som på något sätt kan komma att påverka människor och företag, eftersom den typen av beslutfattande är en följd av den makt som medborgarna har anförtrott den offentliga förvaltningen genom grundlagar och lagar.

Utöver mänslig kontroll kan sättet som generativ AI används i verksamheten påverka riskerna, genom att försöka öka kontrollen över träningsdata, AI-lösningens konfiguration och tendens till inbyggda fördomar.

Verksamheter inom den offentliga förvaltningen som fattar beslut med stöd av AI behöver upprätthålla kompetens i verksamheten som möjliggör mänsklig kvalitetskontroll.

Uppfyll formkraven för beslut vid användning av generativ AI

De minimikrav som förvaltningslagen ställer upp vad gäller formkrav för beslut, inklusive automatiserade sådana, kan inte utan vidare appliceras på situationen att generativ AI används som stöd vid beslutsfattandet. Bristen på kontroll över vissa delar av ett generativt AI-stöd innebär att det krävs dokumentation om AI-verktygets roll i beslutsprocessen och möjlighet till förklarbarhet av grunderna för beslutet. Detta är särskilt viktigt när det gäller överklagbara beslut som på ett inte obetydligt sätt påverkar människor eller företag, ingripande beslut som kan innebär negativa och oönskade konsekvenser för den enskilde.

Förutom formkrav om beslut ställs även andra krav upp i förvaltningslagen som kan få betydelse vid användning av generativ AI som en del av beslutsfattandet. Förvaltningslagen ställer till exempel krav på att enskilda ska få ta del av det som tillförts ett ärende som gäller denne, och få möjlighet att bemöta det. Ett annat exempel är att ett beslut i allmänhet ska innehålla en motivering för att den enskilde ska kunna förstå beslutet och kunna angripa det i en högre instans genom att överklaga. Vid användning av generativ AI som stöd vid beslutsfattande finns det därför behov av att kunna vara transparent och att kunna förklara vilka underlag som ligger till grund för besluten.

De formkrav som ställs i förvaltningslagen påminner i hög grad om de transparenskrav som AI-förordningen ställer. Det vill säga vikten av att vara öppen med, och informera om, när och hur ett generativt AI-verktyg används. De kraven bör även tillämpas om, och när, ett generativt AI-verktyg används som en del av ett beslutsunderlag.

Generativ AI som stöd vid beslutsfattande

Ett generativt AI-verktyg kan med fördel vara en del av ett beslutsunderlag vid beslut som inte har sådan direkt eller ingripande påverkan för enskilda eller företag. Samma gäller vid verkställighet.

Dokument och länkar

Automatisera handläggning och beslut