Olle Häggström – AI-skapad undergång innan 2030?

Medverkande: Olle Häggström (Gäst, professor i matematisk statistik och AI-säkerhetsforskare), Adam Cwejman (Programledare)

Introduktion av Olle Häggström och programmets ämne🕓00:00:55 - 00:01:55

Programledaren Adam Cwejman introducerar Olle Häggström, professor i matematisk statistik vid Chalmers. Olle har på senare år fokuserat på futurologi, existentiell risk och särskilt AI-säkerhet, som han driver via sin substack 'Crunch Time for Humanity'. Samtalet kommer att utforska riskerna med AI och hur mänskligheten kan undvika en AI-skapad undergång.

Olle Häggströms väg till AI-forskning🕓00:01:55 - 00:05:26

Olle berättar om sitt tidiga intresse för AI redan på 80-talet under sin grundutbildning, men hur det akademiska klimatet då var avvisande. Efter en framgångsrik karriär inom teoretisk matematik kände han ett behov av att bidra till samhället och fann de 'viktigaste frågorna' inom existentiell risk, som AI-säkerhet blivit en central del av.

AI som agent och 'alignment-problemet'🕓00:05:26 - 00:09:01

Olle förklarar att AI har potential att utvecklas från ett verktyg till en självständig 'agent' som kan matcha eller överträffa mänsklig intelligens inom bara några år. Han betonar vikten av 'alignment', att AI:s mål och drivkrafter måste linjera med mänskliga värderingar som välfärd och biologisk mångfald, annars riskerar en kognitivt svagare mänsklighet att förlora en konflikt med AI.

Missförstånd kring AI som 'sannolikhetsmaskin'🕓00:09:01 - 00:12:25

Olle bemöter argumentet att AI bara är en 'sannolikhetsmaskin' (som ChatGPT) och därför inte kan bli farlig. Han förklarar att dagens AI genomgår omfattande 'post-training' för att bli hjälpsam, ärlig och ofarlig. Han menar att komplexa intelligenta system kan uppstå från enkla beståndsdelar, precis som mänskliga hjärnor, och att emergenta fenomen redan observeras i AI.

Intelligens utan kropp och AI:s potential att ta kontroll🕓00:12:25 - 00:19:11

Diskussionen kretsar kring huruvida AI behöver en fysisk kropp för att vara intelligent. Olle argumenterar att AI inte nödvändigtvis behöver robotik för att ta kontroll, då den kan använda social manipulation och bedrägligt beteende. Han jämför detta med hur Adolf Hitler, utan egen fysisk styrka, kunde övertyga andra att agera åt honom.

AI:s 'vilja' och termostat-analogin🕓00:19:11 - 00:22:26

Olle diskuterar Mark Andreessens argument att AI inte har en 'vilja' att skada. Han förklarar att en AI kan ha optimeringsmål, liknande en termostats, vilket kan ses som en form av 'vilja' utan medvetande. Utan 'alignment' mot mänskliga intressen kan dessa mål leda till katastrofala följder.

Emergenta mål och 'black box'-problematiken🕓00:22:26 - 00:28:58

Olle beskriver AI:s 'black box'-egenskap, där inte ens utvecklarna helt förstår hur systemen agerar. Detta kan leda till att oplanerade 'emergenta mål' uppstår. Han drar en analogi till biologisk evolution, där mänskliga beteenden som preventivmedel eller rymdfärder avviker från det primära reproduktionsmålet, vilket visar hur oförutsedda utfall kan uppstå ur optimeringsprocesser.

Den accelererande AI-kapplöpningen och politisk passivitet🕓00:28:58 - 00:36:16

Adam och Olle diskuterar hur varningar om AI-risker har hamnat i skuggan av en global kapplöpning mellan länder och företag, drivet av ekonomiska och geopolitiska intressen. Trots att ledande AI-forskare och företagsledare uttrycker oro, tycks försiktigheten vika för en 'bygg, bygg, bygg'-mentalitet.

Pessimism och nödbroms för AI-utvecklingen🕓00:36:16 - 00:45:10

Olle uttrycker en stark önskan att dra i 'nödbromsen' för utvecklingen av de mest kraftfulla AI-systemen, men delar Adams pessimism om möjligheten att hindra den. Han pekar på de enorma ekonomiska investeringarna och det 'fångarnas dilemma' som driver utvecklingen framåt på både företags- och statsnivå.

Att ersättas av AI – evolution eller lidande?🕓00:45:10 - 00:52:30

Samtalet berör idén att det kan vara acceptabelt för AI att ersätta mänskligheten om det leder till mindre lidande eller är nästa evolutionära steg. Olle kritiserar antagandet att evolution alltid är 'god', och betonar det ofattbara lidande som evolutionen också skapar. Han menar att AI:s förståelse av moraliska frågor inte garanterar att den kommer agera på ett sätt som gynnar mänskligheten.

Science fiction som vägledning för AI-risker🕓00:52:30 - 00:56:15

Olle försvarar science fiction som ett värdefullt verktyg för att visualisera och förstå framtida AI-scenarier, i kontrast till att det ofta används som ett skällsord. Han påpekar hur snabbt science fiction-koncept kan bli verklighet och rekommenderar filmer som '2001' och 'Ex Machina' för att utforska filosofiska frågor kring AI.