Joakim Wernberg är en av de viktigaste kunskapsspridarna i svensk AI-debatt och konsekvent läsvärd. Det här är mitt försök att reda ut varför jag ändå starkt motsätter mig hans slutsatser om reglering och säkerhetsarbete runt AI.
Att förstå och kunna förklara hur någon annan ser på något är något mycket eftersträvansvärt i en diskussion. Nationalekonomen Bryan Caplan kallar det för att klara ett ideologiskt Turingtest. Ibland visar det sig då att det finns en avgörande skillnad – en specifik detalj – som är upphovet till oenigheten. I så fall är det ett krux. Om man är två som diskuterar och man är överens om en viss detalj är ett krux så är det ett dubbelt krux. Jag hoppas att jag här klarar att återge viktiga delar av Wernbergs syn på AI och AI-reglering och jag tycker mig ha identifierat kruxet som gör att jag inte alls håller med Wernberg i hans slutsatser.
I huvudsak bygger jag min uppfattning av vad som ligger bakom Wernbergs ställningstaganden vad gäller AI-reglering på en essä han gav ut via Entreprenörskapsforum i våras, Vad menas med AI, vad regleras och varför är det viktigt? Där hävdar Wernberg att vi i synnerhet då vi diskuterar reglering av AI vinner på att betrakta AI som tre fenomen:
- Smal AI. AI-baserade datorprogram som har ett smalt område på vilket programmet fungerar väl, ofta på en övermänsklig nivå. Detta är den AI som finns idag med exempel som AlphaGo som spelar Go på övermänsklig nivå och AlphaFold som utifrån ett proteins aminosyresekvens räknar ut dess tredimensionella struktur.
- AGI. AI med funktion i klass med mänsklig på ett område vars bredd åtminstone innefattar viktiga delar av den mänskliga kognitiva bredden.
- Superintelligens. AI som är övermänskligt kompetent på ett så pass brett område att mänskligt kognitivt arbete på det hela taget blir överflödigt.
Wernberg menar att det är viktigt att hålla isär dessa tre fenomen när man reglerar AI eftersom reglering som är adekvat för smal AI och AGI är väsenskild från reglering som är adekvat för superintelligens. Smal AI och AGI regleras bäst på samma sätt som den mesta teknik, det vill säga allt eftersom problem och risker vid användning uppstår. Superintelligens liknar Wernberg däremot vid kärnvapen i det att riskerna kan vara mycket omfattande och då är det rimligt att reglera själva framställandet snarare än bara användningen och det kan också vara nödvändigt att vara proaktiv och reglera på förhand snarare än allt eftersom problem blir kända trots de omfattande kunskapsproblem sådan förhandsreglering präglas av.
Tyvärr beaktas inte distinktionen mellan dessa tre typer av AI i tillräcklig omfattning vid regleringsarbete och i samhällsdebatten i stort enligt Wernberg. Ett exempel är arbetet med EU:s AI-förordning. Det konkreta problemet Wernberg beskriver är att farhågor angående superintelligens spiller över på regleringen av smal AI och den omfattande gråzonen mellan smal AI och AGI. Detta leder till obefogad förhandsreglering, dessutom inte bara av användning utan också av framställningsstadiet vilket bådadera kommer att försvåra teknikutvecklingen och förlägga den utanför EU.
Skulle jag hålla med Wernberg både om hans tredelade karaktäristik av AI samt om hans bedömning om att dagens utveckling på området med säkerhet handlar dels om smal AI och möjligen dels om den omfattande gråzon mellan smal AI och AGI så skulle jag finna det Wernberg skriver om AI-reglering insiktsfullt och viktigt snarare än som nu – missvisande och farligt. Poänger som att reglera användning snarare än utveckling och att reglera i efterhand när kunskap om både vad som visat sig vara riktiga problem och vad som kan vara ett någorlunda rimligt sätt att hantera problemen på skulle vara värdefulla och befogade i en värld där vi både skiljer AI i övrigt från superintelligens och är säkra på att vi inte är på väg att utveckla superintelligens. Likaså är samhällskommentarer som att AI-utvecklingen kan förväntas leda till automatisering av arbetsuppgifter snarare än yrken och att mänsklig intelligens och artificiell intelligens kompletterar varann snarare än ersätter varann mycket goda ledstänger i en sådan värld.
Men vi lever tyvärr inte i den värld Wernberg beskriver. De tre kategorierna han drar upp är hyggligt hjälpsamma och Wernbergs beskrivning av att gränsen mellan smal AI och AGI som svårbedömd med en omfattande gråzon är både teoretiskt rimlig och numera försedd med visst empiriskt stöd (Se exempelvis Melanie Mitchells introduktion till problemen med att bedöma hur pass kraftfulla dagens stora språkmodeller är). Problemet är gränsen Wernberg drar mellan AGI och superintelligens.
Förutom att superintelligens kännetecknas av en övermänsklig förmåga på alla relevanta områden så beskriver Wernberg att superintelligens har medvetande och använder sedan detta gång på gång som den relevanta gränsen mellan AGI och superintelligens. För mig som följt det här området i runt 10 år är det ett helt förbluffande påstående. Ingen, och jag menar verkligen noll personer, av det dryga hundratal jag under dessa år har läst eller talat med betraktar medvetande som gränsen mellan AGI och superintelligens. Tvärtom betonar litteraturen på området om och om igen att det farliga är hög förmåga och att vi inte vet nästan någonting om och i så fall hur medvetande sitter ihop med förmåga. Konsensus är alltså att artificiellt medvetande vare sig är det som är farligt i sig eller att det utgör ett viktigt tecken på fara. Nedanstående citat ur Wernbergs bloggpost till vårens upprop om att i sex månader pausa träningen av AI-modeller större än GPT-4 visar hans misstag i kortform:
Bortom debatten om AI finns också de, bland annat Future of Life Institute, som forskar om riskerna med superintelligens, vilket kan sägas vara en AGI som uppnår någon form av självmedvetande som grund för sin agens. Även om man antar att smal AI stegvis kan utvecklas till AGI är detta inget belägg för att smal AI kan utvecklas stegvis till superintelligens. Att det finns en betydande skillnad mellan AGI och självmedveten superintelligens finns betydligt mer konsensus om bland AI-forskare än vad gäller gränsen mellan smal AI och AGI.
Detta är alltså felaktigt. Wernberg har i grunden missförstått hur de AI-forskare som varnar för existentiell risk från framtida avancerade AI-program ser på den eventuella gränsen mellan AGI och superintelligens. Tyvärr är det ett misstag som krossar modellen Wernberg använder som grund för sina rekommendationer.
Den grundläggande poängen Wernberg driver är alltså att inte blanda samman smal AI och AGI med superintelligens eftersom de förstnämnda har mycket lägre risker och inte måste förhandsregleras. Detta bygger i sin helhet på att det finns en tydlig gräns mellan å ena sidan AGI och superintelligens. Men de som varnar med riskerna från superintelligens håller alls inte med Wernberg om att en sådan tydlig gräns skulle finnas och avfärdar explicit den gräns om medvetande som Wernberg föreslår.
Den här bloggposten har handlat om det enskilda missförstånd jag är övertygad om att Wernberg gör i sin bedömning av AI-utvecklingen och hur det gör att modellen och policyrekommendationerna Wernberg föreslår blir trasiga. Men ändå betraktar jag Wernberg som en kunskapsspridare eftersom det finns så mycket att ta vara på i de resonemang och förslag han kommer med. Det kräver dock att man inte bara identifierar felet i modellen utan också ersätter det med en bättre variant. Det är ämnet för nästa bloggpost.