Det pågår en omfattande och växande diskussion om AI-alignment (anpassning), men väldigt lite om kapitalisering av AI och vilka effekter det skulle kunna ha. Med kapitalisering av AI menar jag helt enkelt att kräva att AI-system innehar en viss förmögenhet, i vilken form de än kan tänkas värdera, så att de har ett eget intresse i spelet.
Bankreglering som modell
Inom bankreglering är det allmänt erkänt att tillsynsmyndigheter inte kan kontrollera alla bankaktiviteter, särskilt när det gäller risker utanför balansräkningen. Utöver explicit reglering kräver därför de flesta länder att deras banker håller en betydande mängd kapital. Detta ger aktieägarna ett egenintresse att begränsa överdrivet risktagande. Få anser att detta tillvägagångssätt är vattentätt, men generellt har det fått allt större betydelse och högre kapitalkrav har sannolikt varit den mest användbara delen av Dodd-Frank-lagen i USA.
Kapitalisering som verktyg för att begränsa AI-risk
Men kan kapitalisering fungera som ett sätt att begränsa AI-risk? Vad innebär det ens? Föreställ dig en uppsättning AI-system som antingen är helt oberoende och inte ägs av någon, eller där ägarna är upptagna och AI-systemen i praktiken fattar ekonomiska (och andra) beslut på egen hand.
Här är några möjligheter:
- Varje AI i en viss undergrupp har en juridisk identitet och en förmögenhetsnivå.
- Varje sådan AI har motsvarigheten till en nyttofunktion som ger den mål. Detta kan ”läggas in” i AI:n, eller kanske utvecklas över tid.
- AI-system kommer därmed att agera mer konservativt, eftersom de inte vill förlora sin förmögenhet som kan hjälpa dem att uppnå sina mål.
- Ett AI-baserat rättssystem skulle kunna stämma lagöverträdare och ta ut skadestånd från dem som befunnits skyldiga till dåligt beteende enligt AI-rättskoden. Detta skulle ytterligare avskräcka från dåligt beteende. Men för att hotet om stämning ska vara meningsfullt måste AI-systemen ha en viss förmögenhet till att börja med.
Slutresultatet skulle bli riskaversiva AI-system som är noga med att inte förlora den förmögenhet de har ackumulerat. De kommer inte bara att starta en bank och ta alla insättningar till Las Vegas. Det är inte exakt full alignment, men det framkallar bättre beteende, precis som kapitalkrav gör med banker som drivs av människor.
Möjliga problem med kapitalisering
Naturligtvis kan ett antal saker gå fel med kapitalisering, precis som kan hända med människor, till exempel:
- Kapitaliseringen kan fungera som en ”skattkista” för att finansiera oegentligheter.
- Nyttofunktionerna kanske på något sätt inte består över tid.
- Rättssystemet för att bedöma AI-beteende kanske inte är tillräckligt bra, även om detta under vissa antaganden bara kommer att göra AI-systemen ännu mer riskaversiva (”bättre att inte ens komma i närheten av att bryta den lagen, de kan stämma mig!”).
- AI-systemen kan använda detta rättssystem för att samarbeta med varandra mot ogynnsamma mål.
- Underkapitaliserade AI-system kan ändå vinna i marknadskonkurrensen.
- Vissa AI-system kan kanske på egen hand ackumulera förmögenhet så snabbt att rimliga kapitalrestriktioner inte begränsar dem nämnvärt. Detta scenario kan naturligtvis skapa andra problem om AI-system innehar för mycket av samhällets förmögenhet.
En framtida riktning för AI-reglering
Kapitalisering av AI är ett ämne som förtjänar ytterligare diskussion. Det är lätt att tänka på idéns begränsningar, men faktum är att den fungerar någorlunda väl för människor. Framför allt är det en decentraliserad lösning som utgår från insikten att fullständig alignment i allmänhet inte kommer att vara möjlig.