Je tu populární sci-fi klišé, že jednoho dne Umělá inteligence jde rogue a zabíjí každého člověka a vyhladí druh. Mohlo by se to skutečně stát? V Průzkumy v reálném světě Vědci AI tvrdí, že lidské vyhynutí považují za věrohodný výsledek vývoje AI. V roce 2024 stovky těchto vědců podepsaly a prohlášení To zní: „Zmírnění rizika vyhynutí z AI by mělo být globální prioritou spolu s dalšími riziky společenského měřítka, jako je pandemie a jaderná válka.“
Dobře, lidi.
Pandemie a jaderná válka jsou skutečné, hmatatelné obavy, více než ai doom, alespoň pro mě, vědec v Rand Corporation. Děláme všechny druhy výzkumu otázek národní bezpečnosti a můžeme být nejlépe známý pro naši roli v Vývoj strategií za prevenci jaderné katastrofy během studené války. Rand bere velké hrozby pro lidstvo vážně, takže já, skeptický o AI Potenciál lidského vyhynutínavrhl projekt na zkoumání, zda by to mohl.
O podpoře vědecké žurnalistiky
Pokud se vám tento článek líbí, zvažte podporu naší oceněné žurnalistiky předplatné. Zakoupením předplatného pomáháte zajistit budoucnost působivých příběhů o objevech a myšlenkách, které dnes formují náš svět.
Hypotéza mého týmu byla tato: Žádný scénář nelze popsat, kde AI je přesvědčivě ohrožením vyhynutí pro lidstvo. Jinými slovy, naší počáteční hypotézou bylo, že lidé byli příliš adaptační, příliš hojní a příliš rozptýleni po celé planetě, aby nás AI vymazali pomocí jakýchkoli nástrojů hypoteticky k likvidaci. Kdybychom mohli tuto hypotézu prokázat špatně, znamenalo by to, že by AI mohla být pro lidstvo skutečnou vyhynoucí hrozbou.
Mnoho lidí hodnotí katastrofická rizika z AI. V nejextrémnějších případech někteří lidé ASSERT že AI se stane superintelligence, s téměř jistou šancí, že k převzetí a vymazání nás použije novou, pokročilou techniku, jako je nanotechnologie. Prognostici mají předpovězeno Pravděpodobnost existenciálního rizika z katastrofy AI, která často přichází mezi 0 a 10 % šancí, že AI způsobuje vyhynutí lidstva o 2100. Byli jsme skeptičtí vůči hodnotě, jako jsou tyto pro tvorbu politik a snížení rizik.
Náš tým se skládal z vědce, inženýra a matematika. Polykali jsme jakýkoli z našich skepticismu AI a-ve velmi randové módě-soubor o detailech Jak by AI mohla ve skutečnosti způsobit lidské vyhynutí. Jednoduchá globální katastrofa nebo společenský kolaps pro nás nestačilo. Snažili jsme se brát riziko vyhynutí vážně, což znamenalo, že jsme se zajímali pouze o úplné vymazání našeho druhu. Rovněž nás nezajímalo, zda se nás AI pokusí zabít – pouze o tom, zda by to mohlo uspět.
Byl to morbidní úkol. Probíhali jsme o tom tím, že přesně analyzujeme, jak by AI mohla využívat tři hlavní hrozby, které se běžně vnímají jako existenciální rizika: jaderná válka, biologické patogeny a změna klimatu.
Ukázalo se, že je velmi těžké – i když ne úplně z oblasti možnosti – pro AI nás všechny zabít.
Dobrou zprávou, pokud to mohu nazvat, je to, že si nemyslíme, že by nás AI mohla zabít všechny jadernými zbraněmi. I když AI nějak získala schopnost spustit všechny 12 000 plus hlavice V globální jaderné zásobě devíti zemí by exploze, radioaktivní spada a výsledná jaderná zima pravděpodobně ještě nedosahovala události na úrovni vyhynutí. Lidé jsou příliš hojní a rozptýlení, aby vybuchli, aby nás všechny přímo zabili. AI by mohla odpálit zbraně přes všechny nejvíce hustější oblasti paliva na planetě a stále nedokázal produkovat tolik popela jako meteor, který pravděpodobně vymazal dinosaury. Na planetě také není dostatek jaderných hlavic, aby plně ozářilo použitelnou zemědělskou půdu planety. Jinými slovy, jaderný Armageddon iniciovaný AI by byl kataklyzmatický, ale pravděpodobně by stále nedosahoval zabití každé lidské bytosti, protože někteří lidé by přežili a měli potenciál rekonstruovat tento druh.
Na druhé straně jsme považovali pandemii za věrohodnou hrozbu vyhynutí. Předchozí přírodní mory byly katastrofické, ale lidské společnosti přežily a vojáky. Dokonce minimální populace (Pravděpodobně několik tisíc členů) může nakonec tento druh rekonstituovat. Hypoteticky 99,99 procent smrtícího patogenu by nechalo více než 800 000 lidí naživu.
Zjistili jsme však, že kombinace patogenů by mohla být pravděpodobně navržena tak, aby dosáhla téměř 100 % letality, a AI by mohla být použita k nasazení takových patogenů způsobem, který zajistil rychlý, globální dosah. Klíčovým omezením je, že AI by musela nějak infikovat nebo jinak vyhladit komunity, které by se nevyhnutelně izolovaly, když by čelily pandemii končící druhem.
A konečně, pokud by AI měla urychlit antropogenní změnu klimatu zahrady, stále by se nezvýšilo na vyhynutí pro celé lidstvo. Lidé by pravděpodobně našli nové environmentální výklenky, ve kterých přežijí, i kdyby to zahrnovalo přechod na pozemky Země. Aby se Země zcela neobývatelná pro lidi, vyžadovalo, aby AI čerpala něco mnohem silnějšího než oxid uhličitý do atmosféry. To je dobrá zpráva.
Špatnou zprávou je, že tyto mnohem silnější skleníkové plyny existují. Mohou být vyrobeny na průmyslových měřítcích. A přetrvávají v atmosféře po dobu stovek nebo tisíců let. Pokud by se AI měla vyhnout mezinárodnímu monitorování a organizovat produkci několika stovek megatonů těchto chemikálií (to je menší než hmota plastu, kterou lidé každoročně produkují), stačilo by vařit Zemi do té míry, že pro lidstvo nezůstane žádná environmentální výklenek.
Chci to objasnit: žádný z našich scénářů Ai-Elinction by nemohl dojít náhodou. Každý by byl nesmírně náročný. AI by nějak musela překonat hlavní omezení.
V průběhu naší analýzy jsme také identifikovali čtyři věci, které musí mít naše hypotetická super-možná AI: Nejprve by muselo nějak stanovit cíl, aby způsobil vyhynutí. AI by také musela získat kontrolu nad klíčovými fyzickými systémy, které vytvářejí hrozbu, jako je kontrola spuštění jaderných zbraní nebo infrastruktura chemické výroby. Bylo by potřeba schopnost přesvědčit lidi, aby pomohli a skrývali své činy dostatečně dlouho, aby uspěli. A musí být schopen přežít bez lidí kolem, aby to podporoval, protože i když se společnost začala kolaps, následné akce by bylo nutné způsobit plné vyhynutí.
Pokud by AI neměla všechny čtyři z těchto schopností, náš tým dospěl k závěru, že by jeho projekt vyhynutí selhal. To znamená, že je pravděpodobné vytvořit AI, která má všechny tyto schopnosti, i když neúmyslně. Navíc lidé mohou vytvářet AI se všemi čtyřmi z těchto schopností záměrně. Vývojáři se již snaží Vytvořte agentiku nebo více autonomnější aiA oni už pozorováno AI, která má kapacitu pro schéma a podvod.
Pokud je však vyhynutí věrohodným výsledkem vývoje AI, neznamená to, že bychom měli dodržovat princip preventivního opatření? To znamená: vše zavřete, protože je lepší než omlouvám se? Říkáme, že odpověď je ne. Přístup k uzavření je vhodný pouze tehdy, pokud se nám moc nestaráme o výhody AI. K lepšímu nebo horšímu se nám to zajímá hodně o výhodách, které AI pravděpodobně přinese, a je nevhodné se jim vzdát, aby se vyhnuli potenciální, ale vysoce nejisté katastrofě, dokonce i jeden jako následná jako lidská vyhynutí.
Takže nás AI jednoho dne zabije? Není absurdní říkat to mohl. Zároveň naše práce také ukázala, že lidé nepotřebují pomoc AI, aby se zničili. Jedním jistotou způsob, jak zmírnit riziko vyhynutí, ať už pramení z AI, je zvýšit naše šance na přežití snížením počtu jaderných zbraní, omezením chemikálií a zlepšením pandemického dohledu. Má také smysl investovat do výzkumu bezpečnosti AI, ať už si koupíte argument, že AI je potenciálním rizikem vyhynutí. Stejný odpovědný vývoj AI se blíží, které zmírňují riziko z vyhynutí, také zmírní rizika od jiných škod souvisejících s AI, které jsou méně následné a také méně nejisté než existenciální rizika.
Toto je článek o názoru a analýze a názory vyjádřené autorem nebo autory nemusí nutně názory Vědecký Američan.
