Det finns tyvärr ingen tydlig och klar skiljelinje mellan AGI och superintelligens. Det är synd, för som Joakim Wernberg skriver så hade det varit bra att kunna skilja på olika typer av AI när vi reglerar AI. Bland de tre typer som Wernberg delar in tänkbar AI i – smal AI, AGI och superintelligens – hade det varit överlägset mest värdefullt att kunna skilja ut superintelligens. Värdet hade legat i att vi skulle kunna använda oss av den normala, ofta hyggligt välfungerande teknikreglering som bygger på att man hanterar risker och problem allt eftersom de dyker upp och man lär känna dem gott nog för att kunna få en rimlig bild av vilka regleringar som eventuellt är lämplig. Kan vi inte skilja ut superintelligens från de andra bägge drabbas istället utveckling och användning av smal AI av den extrema förhandshandsreglering som superintelligens – likt kärnvapen – kräver. Den här texten handlar både om varför vi säkerhetsmässigt inte kan skilja på AGI och superintelligens och vad vi istället borde försöka göra.
Vare sig AGI eller superintelligens är väldefinierade begrepp men de används för att beteckna tänkbar AI med en funktionell bredd och djup motsvarande ungefär en människa (AGI) eller i fallet med superintelligens, klart mer än en människa. Det som får mig att konstatera att vi inte har möjlighet att dra upp säker gräns mellan AGI och superintelligens är dock en annan egenskap.
Pris.
En av de bästa tänkbara framtiderna tror jag vore om världen skulle visa sig vara sådan att vi kunde bygga dyr AGI. Med dyr AGI menar jag AGI vars marginalkostnad vid användning är högre än den som uppkommer genom att samma uppgifter utförs av människor. Dyr AGI skulle stöta på enorma hinder om den gavs breda målsättningar som innefattar att samla resurser eller makt. Samtidigt skulle vi kunna lära oss hantera den i en takt vi som mänsklighet klarade av. Tyvärr verkar dyr AGI inte alls vara särskilt sannolik om vi skulle nå AGI med något som liknar dagens helt dominerande maskinlärningsbaserade AI-teknik. Det beror på att de stora kostnaderna för dagens maskinlärning uppkommer vid träningen av det första exemplaret av en AI-modell. För att träna de enorma AI-modeller som ligger vid dagens tekniska frontlinje (hädanefter kallade ”frontlinjemodeller” efter engelskans ”frontier models”) behöver man ta på sig kostnader i storleksklassen 10 miljarder kronor. Kostnaderna uppkommer dels för att samla in de stora datamängder som behövs för träningen men huvuddelen bekostar själva beräkningsmängden (användningstid i extrema datorkluster). När det första exemplaret av en modell väl är tränad är dock marginalkostnaden vid användning väldigt mycket lägre. De färdiga modellerna är inte stora relativt dagens datalagringskostnader så man kan billigt kopiera upp mängder av exemplar och själva användningen är alls inte särskilt beräkningsintensiv så ingen större kostnad uppkommer där heller.
Det innebär att om väl skulle lyckas träna fram ett AI-program, en frontlinjemodell, med funktionsbredd och djup någorlunda motsvarande en människa så skulle vi på studs kunna ha väldigt väldigt många sådana och köra dem i olika hastigheter på många olika datorer. Kanske skulle en sådan mängd program tillsammans ha en förmåga som vida överstiger inte bara en människa utan hela vårt samhälle. Billig AGI skulle alltså mycket väl kunna visa sig vara superintelligens och just nu tyder det mesta på att om vi skulle lyckas träna fram AGI så skulle det vara just billig AGI.
Så vad ska vi då göra? Finns det något sätt att komma åt i alla fall något av de regulatoriska vinster Wernberg skisserar? Ja. Det gör det, förhoppningsvis. Lösningen som diskuteras nu exempelvis här av Markus Anderljung med flera (eller här som intervju från 80.000 hours) och alldeles nu i dagarna från RANDs vd Jason Matheny här i Washington Post är att reglera frontlinjemodellerna. Om någon ska träna en frontlinjemodell, alltså en modell som sett till modellstorlek, datamängd och eller beräkningsmängd är större än dagens modeller så måste man skaffa en licens för träningen. När träningen sedan är avklarad måste modellen undersökas med avseende på hur pass kraftfull och bred dess funktion är för att (helst kraftigt) minska risken att man börjar använda en modell som riskerar vara alltför kraftfull för att vara kontrollerbar. Om kontrollerna tyder på att modellen inte är kraftfull nog för att vara svårkontrollerbar så släpps den ut ur frontlinjemodellsregleringsregimen och dess vidare användning regleras sedan vid behov via normal efterhandsteknikreglering.
Det stora problemet med denna lösning är att vi idag inte vet hur man skulle göra undersökningen av modellen. Men det är ett problem denna typ av reglering delar med all framställning av frontlinjemodeller. Dessa behöver redan idag genomgå företagsinterna funktions- och säkerhetstester och den är något som måste förbättras väldeliga oavsett reglering eller ej i fall vi inte bara ska springa blinda över det här eventuellt minerade fältet.
Det stora fördelen är att vi kommer åt huvuddelen av de regulatoriska vinster Wernberg beskriver. När en modell väl godkänts och släppts ut ur frontlinjemodellregleringsregimen så är den tillgänglig som grundmodell i de vidare värdekedjor som kan förväntas vara den viktigaste värdeskapande AI-användningen framöver (till den eventuella tid då vi når något AGI/superintelligens-liknande tillstånd).
1 svar på ”Varför vi inte kan skilja på AGI och superintelligens och vad vi istället borde göra”