Vad händer när företagets AI gör fel?

När företag börjar använda AI i allt fler delar av verksamheten ökar också risken för att tekniken fattar fel beslut. Ett AI-system kan ge felaktiga rekommendationer, tolka information på ett missvisande sätt eller fatta beslut som får ekonomiska, juridiska och organisatoriska konsekvenser. Problemet är inte alltid enkelt att upptäcka, eftersom ett AI-svar kan framstå som både trovärdigt och professionellt. Därför behöver företag förstå vad som händer när AI gör fel, vem som bär ansvaret och hur skador kan begränsas. Med tydliga rutiner, mänsklig kontroll och rätt riskbedömning går det att minska konsekvenserna och använda AI på ett mer ansvarsfullt sätt.

När AI fattar fel beslut

Artificiell intelligens används i dag för att analysera information, bedöma kunder, upptäcka avvikelser och ge rekommendationer som påverkar företagets vardag. När systemet fungerar som avsett kan det spara tid och resurser, men ett felaktigt AI-beslut kan få betydligt större konsekvenser än ett vanligt tekniskt misstag. AI arbetar utifrån de data, instruktioner och modeller som systemet har fått tillgång till. Om underlaget är bristfälligt, gammalt eller snedvridet kan resultatet också bli fel. Ett problem är dessutom att AI ibland presenterar felaktiga slutsatser med stor säkerhet, vilket gör dem svåra att upptäcka.

Felaktiga beslutsunderlag

Ett AI-system kan exempelvis användas för att bedöma kreditrisk, sortera jobbansökningar eller prioritera kundärenden. Om modellen har tränats på historiska data som innehåller skevheter kan den börja återskapa samma mönster. Ett företag kan då fatta beslut som verkar objektiva eftersom de bygger på en teknisk modell, trots att modellen i praktiken behandlar olika grupper på ett olämpligt sätt. Även små fel i datan kan få stora effekter när systemet används på tusentals eller miljontals beslut. Därför räcker det inte att kontrollera själva AI-modellen. Företaget måste även granska informationen som modellen använder.

Ett annat problem uppstår när AI genererar information som inte har någon verklig grund. Det kan handla om påhittade uppgifter, felaktiga beräkningar eller rekommendationer som bygger på en missuppfattning av frågan. Inom exempelvis ekonomi, juridik eller kundservice kan sådana fel snabbt få praktiska följder. En medarbetare som litar på ett övertygande AI-svar kan föra informationen vidare till en kund eller använda den som beslutsunderlag. Ju längre informationen sprids innan felet upptäcks, desto svårare kan det bli att rätta konsekvenserna.

När automatisering förstärker felet

Risken ökar när AI kopplas direkt till andra system och får möjlighet att agera utan mänsklig kontroll. Ett felaktigt beslut kan då automatiskt påverka betalningar, kundkommunikation, inköp eller andra processer. Några exempel på situationer där ett AI-fel kan få följder är:

• Felaktiga kundbedömningar kan leda till att rätt personer prioriteras bort.

• Felaktiga prognoser kan påverka inköp, bemanning eller lagerhållning.

• Påhittad information kan hamna i dokument eller kommunikation med kunder.

• Bristfälliga analyser kan leda till ekonomiska eller operativa beslut.

• Automatiserade åtgärder kan genomföras innan någon hinner upptäcka felet.

Det betyder inte att företag bör undvika AI, utan att tekniken behöver användas med rätt kontrollnivå. Ett system som endast ger förslag kan innebära en annan risk än ett system som självständigt fattar och genomför beslut. Företaget behöver därför bedöma vad som händer om AI:s slutsats är fel och hur snabbt en människa kan upptäcka och stoppa processen.

Fel kan vara svåra att upptäcka

En särskild utmaning är att AI-fel inte alltid märks direkt. Ett uppenbart tekniskt fel kan vara enkelt att identifiera, medan ett felaktigt beslut som ser rimligt ut kan passera obemärkt. Därför behöver företag följa upp resultaten över tid och kontrollera om systemen faktiskt levererar det som verksamheten förväntar sig. Det är också viktigt att medarbetare vet när AI:s svar ska granskas extra noggrant. Mänsklig kontroll fungerar bäst när den är en integrerad del av processen och inte bara används efter att ett problem redan har uppstått.

Vem ansvarar när AI gör fel?

När ett AI-system gör ett misstag uppstår en viktig fråga: Vem är egentligen ansvarig? Det enkla svaret är att ansvaret inte automatiskt kan läggas på själva AI-systemet. Ett AI-system är ett verktyg som utvecklats, införts eller används av människor och organisationer. Företaget behöver därför kunna visa att användningen sker på ett genomtänkt sätt och att relevanta risker har hanterats. Ansvarsfrågan kan samtidigt bli komplicerad när flera aktörer är inblandade, exempelvis AI-leverantören, företaget som använder systemet och den medarbetare som fattar det slutliga beslutet.

Företaget har ett centralt ansvar

Det företag som väljer att använda AI behöver förstå vad systemet gör och vilka begränsningar det har. Det räcker inte att köpa en färdig AI-tjänst och utgå från att leverantören automatiskt tar ansvar för alla konsekvenser. Företaget behöver bland annat veta vilken typ av information som behandlas, vilka beslut systemet påverkar och vilka kontroller som finns. Om AI används i en verksamhetskritisk process blir kraven på styrning särskilt viktiga. Det bör också finnas tydliga roller för vem som får använda systemet, vem som kontrollerar resultatet och vem som agerar om något går fel.

Medarbetarens roll kan också vara betydelsefull. Om en person använder AI för att ta fram ett underlag behöver det vara tydligt om resultatet ska kontrolleras innan det används. En medarbetare kan inte alltid förväntas upptäcka avancerade tekniska problem, men företaget kan minska risken genom utbildning och tydliga instruktioner. Det handlar bland annat om att lära personalen att identifiera osäkra svar, kontrollera viktiga uppgifter och förstå när AI inte bör användas. Ju större konsekvenser ett beslut kan få, desto viktigare blir det att den mänskliga kontrollen är tydligt definierad.

Leverantören kan också ha betydelse

AI-leverantörens ansvar kan bero på vilken tjänst som erbjuds, hur den marknadsförs och vilka avtal som gäller mellan parterna. Företag som köper in AI bör därför inte bara titta på funktioner och pris. Det är minst lika viktigt att förstå hur leverantören hanterar säkerhet, uppdateringar, incidenter och förändringar i systemet. Ett AI-system kan förändras över tid, vilket innebär att en modell som fungerade på ett visst sätt vid införandet senare kan ge andra resultat. Avtalen bör därför tydliggöra ansvarsfördelningen och vad som händer om tjänsten orsakar problem.

Ansvar behöver kunna följas

För att hantera AI-risker behöver företaget kunna rekonstruera hur ett viktigt beslut har fattats. Om ingen vet vilken information som användes, vilken modell som gav resultatet eller vem som godkände åtgärden blir det svårt att utreda ett fel. Dokumentation kan därför vara en viktig del av AI-styrningen. Företaget bör kunna identifiera vilka AI-system som används och i vilka processer de ingår. Vid mer känsliga användningsområden behövs även rutiner för avvikelser, incidentrapportering och uppföljning. Ett tydligt ansvar gör det lättare att agera snabbt när ett fel upptäcks och att förhindra att samma problem återkommer.

Så kan företag minska riskerna med AI

Att minska risken för AI-fel handlar inte om att försöka skapa ett system som aldrig gör misstag. Det är i praktiken svårt att garantera. Målet bör i stället vara att bygga en verksamhet där fel upptäcks tidigt, begränsas och hanteras på ett kontrollerat sätt. Företaget behöver därför kombinera tekniska kontroller med mänsklig granskning och tydliga arbetsrutiner. Innan ett AI-system tas i bruk bör verksamheten också fundera på vilka konsekvenser ett fel kan få. Ett mindre fel i en intern arbetsprocess kräver exempelvis en annan kontrollnivå än ett fel som påverkar kunder eller ekonomiska beslut.

Testa innan systemet används brett

En viktig åtgärd är att testa AI-systemet under kontrollerade former innan det får påverka verksamheten fullt ut. Testerna bör inte bara undersöka om tekniken fungerar, utan även hur den reagerar på ovanliga, ofullständiga eller felaktiga indata. Företaget kan på så sätt upptäcka svagheter innan systemet används i skarp drift. Resultaten bör dokumenteras så att det går att jämföra hur systemet presterar över tid. När en modell uppdateras kan den behöva testas igen, eftersom förändringar i modellens beteende kan påverka tidigare fungerande arbetsprocesser.

Behåll mänsklig kontroll

Mänsklig granskning är särskilt viktig när AI:s beslut kan få stora konsekvenser. Det innebär inte att en medarbetare måste kontrollera varje automatiskt genererat svar. I stället bör företaget identifiera vilka situationer som kräver extra granskning. Ett AI-system kan exempelvis få föreslå åtgärder, medan en ansvarig person måste godkänna dem innan de genomförs. Det skapar en kontrollpunkt där fel kan upptäckas. Företaget bör också ge medarbetare möjlighet att ifrågasätta AI:s resultat utan att systemets rekommendation automatiskt betraktas som det mest korrekta alternativet.

Ha rutiner när något går fel

Företag behöver även planera för situationen där ett AI-system faktiskt gör fel. En incident bör kunna rapporteras, analyseras och åtgärdas utan onödiga dröjsmål. Det bör vara tydligt vem som kontaktas, hur systemet tillfälligt kan begränsas och hur berörda beslut kan granskas i efterhand. Det kan också vara relevant att ha en möjlighet att stänga av automatiserade funktioner om systemet börjar producera oväntade resultat. Ett sådant arbetssätt minskar risken för att ett enskilt fel fortsätter att påverka verksamheten under en längre tid.

Följ upp AI över tid

AI-styrning är inte något som blir färdigt när ett system har installerats. Modeller, data, verksamheter och användningsområden förändras, vilket gör att riskbilden också kan förändras. Företaget bör därför regelbundet kontrollera hur systemen presterar och om de fortfarande används på det sätt som var tänkt. Det kan exempelvis handla om att granska felutfall, avvikelser och återkommande klagomål. Om resultaten försämras behöver orsaken undersökas. En genomtänkt uppföljning gör det möjligt att upptäcka problem innan de växer till större incidenter och hjälper företaget att använda AI med bättre kontroll.