AI lze nyní použít k návrhu zbrusu nových virů. Můžeme to zabránit v další devastující bioweaponu?
Vědci použili umělou inteligenci (Ai), abyste stavěli zbrusu nové viry, otevření dveří do formy života navrženého AI.
The viry jsou dostatečně odlišné od stávajících kmenů až po potenciálně se kvalifikují jako nový druh. Jsou to bakteriofágy, což znamená, že útočí na bakterie, nikoli lidé, a autoři studie podnikli kroky, aby zajistili, že jejich modely nemohou navrhnout viry schopné infikovat lidi, zvířata nebo rostliny.
Ve studii, zveřejněno ve čtvrtek (2. října) v časopise VědaVědci z společnosti Microsoft odhalili, že AI může obejít bezpečnostní opatření, která by jinak zabránila například špatným aktérům na objednávání toxických molekul z dodavatelských společností.
Po odhalení této zranitelnosti se výzkumný tým spěchal vytvořit softwarové záplaty, které výrazně snižují riziko. Tento software v současné době vyžaduje specializované odborné znalosti a přístup k konkrétním nástrojům, které většina lidí na veřejnosti nemůže použít.
Kombinované nové studie zdůrazňují riziko, že AI by mohla navrhnout novou formu života nebo bioweapon, která představuje hrozbu pro lidi – potenciálně uvolňuje a pandemickýV nejhorším případě. Zatím AI nemá tuto schopnost. Odborníci však říkají, že budoucnost, kde to dělá, není tak daleko.
Abychom zabránili AI v tom, aby představovala nebezpečí, říkají odborníci, musíme stavět vícevrstvé bezpečnostní systémy s lepšími screeningovými nástroji a vyvíjejícími se předpisy upravujícími biologickou syntézu řízenou AI.
Problém s dvojím použitím
Jádrem problému s viry navrženými AI, proteiny a dalšími biologickými produkty je známý jako „problém s dvojím použitím“. To se týká jakékoli technologie nebo výzkumu, která by mohla mít výhody, ale mohlo by být také použity k úmyslnému poškození.
Vědec studující infekční choroby by mohl chtít geneticky Upravte virus, abyste se dozvěděli, co je přenositelnější. Ale někdo, kdo má za cíl vyvolat další pandemii, by mohl použít stejný výzkum k vytvoření dokonalého patogenu. Výzkum a aerosolové dodávání léčiv může lidem pomoci s astmatem tím, že povede k účinnějším inhalátorům, ale návrhy mohou být také použity k dodání chemických zbraní.
Stanford doktorský student Sam King a jeho nadřízený Brian HieDocent profesora chemického inženýrství si byl vědom tohoto dvojitého meče. Chtěli stavět zbrusu nové bakteriofágy-nebo „fágy“, které by mohly lovit a zabíjet bakterie u infikovaných pacientů. Jejich úsilí bylo popsáno v předtisku nahrávaném do Biorhivive Databáze v září a dosud nebyly recenzovány.
Fágy kořistí bakterií a bakteriofágy, které vědci mají vzorkované z životního prostředí a pěstované v laboratoři jsou již testovány jako potenciální doplňky nebo alternativy k antibiotikům. To by mohlo pomoci vyřešit problém Antibiotická rezistence A zachraňte životy. Ale fágy jsou viry a některé viry jsou pro lidi nebezpečné, což zvyšuje teoretickou možnost, že by tým mohl neúmyslně vytvořit virus, který by mohl lidi poškodit.
Vědci toto riziko očekávali a pokusili se ho snížit tím, že zajistili, že jejich modely AI nebyly vyškoleny na viry, které infikují lidi nebo jiné eukaryoty – doménu života, která zahrnuje rostliny, zvířata a vše, co není bakterie nebo archaea. Testovali modely, aby se ujistili, že nemohou nezávisle přijít s viry podobnými těm, o nichž je známo, že infikují rostliny nebo zvířata.
Se zavedenými záruky požádali AI, aby modelovala své návrhy na fágu již široce používaném v laboratorních studiích. Každý, kdo chce postavit smrtící virus, by pravděpodobně měl snadnější čas s použitím starších metod, které byly již déle, řekl King.
„Stav této metody je právě teď, že je to docela náročné a vyžaduje hodně odborných znalostí a času,“ řekl King Live Science. „Máme pocit, že to v současné době nesnižuje bariéru na žádné nebezpečnější aplikace.“
Centring Security
Ale v rychle se vyvíjejícím poli jsou taková preventivní opatření vynalezena na cestách a zatím není jasné, jaké bezpečnostní standardy budou nakonec dostatečné. Vědci tvrdí, že předpisy budou muset s výhodou vyvážit rizika biologie s podporou A. A co víc, vědci budou muset předvídat, jak se modely AI mohou vrhnout kolem překážek umístěných před nimi.
„Tyto modely jsou chytré,“ řekl Tina Hernandez-BoussardProfesor medicíny na Stanford University School of Medicine, který konzultoval bezpečnost pro modely AI o virových sekvenčních benchmarcích používaných v nové studii předtisku. „Musíte si pamatovat, že tyto modely jsou vytvořeny tak, aby měly nejvyšší výkon, takže jakmile budou poskytnuty tréninkové údaje, mohou potlačit záruky.“
Pečlivě přemýšlet o tom, co zahrnout a vyloučit z tréninkových údajů AI, je základním hlediskem, který může vydat mnoho bezpečnostních problémů po silnici, řekla. Ve studii fágů vědci zadržovali údaje o virech, které infikují eukaryoty z modelu. Provedli také testy, aby se zajistilo, že modely nemohou nezávisle vymyslet genetické sekvence, díky nimž by jejich bakteriofágy pro člověka byly nebezpečné – a modely ne.
Další vlákno v bezpečnostní síti AI zahrnuje překlad designu AI – řetězec genetických pokynů – do skutečného proteinu, viru nebo jiného funkčního biologického produktu. Mnoho předních společností s dodávkami biotechnologií používá software k zajištění toho, aby jejich zákazníci neobjednali toxické molekuly, i když použití tohoto screeningu je dobrovolné.
Ale ve své nové studii vědci společnosti Microsoft Eric Horvitzhlavní vědecký ředitel společnosti a Bruce WittmanSenior aplikovaný vědec zjistil, že stávající screeningový software může být oklamán návrhy AI. Tyto programy porovnávají genetické sekvence v řádu s genetickými sekvencemi, o nichž je známo, že produkují toxické proteiny. AI však může generovat velmi odlišné genetické sekvence, které pravděpodobně kódují pro stejnou toxickou funkci. Tyto sekvence generované AI proto nemusí nutně zvyšovat červenou vlajku softwaru.
Ve vzduchu mezi recenzenty bylo zjevné napětí.
Eric Horvitz, Microsoft
Vědci si půjčili proces od kybernetické bezpečnosti, aby upozornili důvěryhodné odborníky a profesní organizace na tento problém a zahájili spolupráci při opravě softwaru. „O měsíce později byly celosvětově rozšiřovány záplaty, aby posílily screening biologické bezpečnosti,“ řekl Horvitz na tiskové konferenci 30. září.
Tyto záplaty snížily riziko, i když ve čtyřech běžně používaných screeningových nástrojích, v průměru 3% potenciálně nebezpečných genových sekvencí stále proklouzly, uvedli Horvitz a jeho kolegové. Vědci museli zvážit bezpečnost i při publikování svého výzkumu. Vědecké práce mají být replikovatelné, což znamená, že ostatní vědci mají dostatek informací, aby zkontrolovali zjištění. Zveřejnění všech údajů o sekvencích a softwaru by však mohla pochutnat na špatných aktérech ve způsobu, jak obejít bezpečnostní záplaty.
„Ve vzduchu mezi recenzenty bylo zjevné napětí o:„ Jak to uděláme? “Řekl Horvitz.
Tým nakonec přistál na odstupňovaném přístupovém systému, ve kterém se vědci, kteří chtějí vidět citlivá data, vztahují na mezinárodní iniciativu pro biologickou bezpečnost a biologickou bezpečnost pro vědu (IBBI), která bude působit jako neutrální třetí strana, aby vyhodnotila žádost. Společnost Microsoft vytvořila za tuto službu nadaci a hostování dat.
Je to poprvé, kdy top vědecký deník schválil takovou metodu sdílení dat, řekl Tessa AlexanianTechnický olovo u společného mechanismu, nástroje pro screeningové sekvence poskytované IBBIS. „Tento program spravovaného přístupu je experiment a my jsme velmi dychtiví vyvinout náš přístup,“ řekla.
Co jiného lze udělat?
A kolem nástrojů AI dosud není mnoho regulace. Promítání, jako jsou ty, které studovaly v novém vědeckém článku, jsou dobrovolné. A existují zařízení, která mohou stavět proteiny přímo v laboratoři, žádná třetí strana nevyžaduje – takže špatný herec mohl použít AI k navrhování nebezpečných molekul a jejich vytvoření bez strážců.
Roste však pokyny týkající se biologické bezpečnosti od profesionálních konsorcií i vlád. Například a 2023 Prezidentský výkonný příkaz V USA vyžaduje zaměření na bezpečnost, včetně „robustních, spolehlivých, opakovatelných a standardizovaných hodnocení systémů AI“ a politik a institucí, aby se zmírnilo riziko. Trumpova správa pracuje na rámci, který omezí federální fondy výzkumu a vývoje pro společnosti, které neprovádějí bezpečnostní promítání, řekl Diggans.
„Viděli jsme více tvůrců politik, kteří mají zájem o přijetí pobídek pro screening,“ řekl Alexanian.
Ve Velké Británii byla organizace podporovaná státem s názvem Bezpečnostní institut AI Cílem je podporovat politiky a standardy ke zmírnění rizika AI. Organizace je financování výzkumných projektů zaměřených na bezpečnost a zmírnění rizik, včetně obrany AI systémů proti zneužití, brány proti útokům třetích stran (jako je vstřikování poškozených dat do tréninkových systémů AI), a hledání způsobů, jak zabránit veřejným a otevřeným modelům, aby byly používány pro škodlivé cíle.
Dobrou zprávou je, že vzhledem k tomu, že genetické sekvence navržené AI se stávají složitějšími, které ve skutečnosti poskytují screeningové nástroje více informací, se kterými lze pracovat. To znamená, že designy celého genomu, stejně jako bakteriofágy King a Hie, by bylo poměrně snadné prověřit potenciální nebezpečí.
„Obecně platí, že screening syntézy funguje lépe o více informacích než méně,“ řekl Diggans. „Takže v genomové stupnici je to neuvěřitelně informativní.“
Společnost Microsoft spolupracuje s vládními agenturami na způsobech, jak používat AI k detekci nesprávnosti AI. Například, Horvitz řekl, společnost hledá způsoby, jak procházet velkým množstvím údajů o odpadních vodách a kvalitě vzduchu, aby našla důkaz o výrobě nebezpečných toxinů, proteinů nebo virů. „Myslím, že uvidíme screening pohybující se mimo toto jediné místo syntézy nukleové kyseliny (DNA) a napříč celým ekosystémem,“ řekl Alexanian.
A zatímco AI by mohla teoreticky navrhnout zbrusu nový genom pro nový druh bakterií, archaea nebo složitějšího organismu, v současné době neexistuje snadný způsob, jak AI převést tyto pokyny AI do živého organismu v laboratoři, řekl král. Hrozby ze života navrženého AI nejsou bezprostřední, ale nejsou neuvěřitelně daleko. Vzhledem k tomu, že nové horizonty AI pravděpodobně odhalí v blízké budoucnosti, je třeba po celém poli být kreativní, řekl Hernandez-Boussard.
„Pro vydavatele, pro vydavatele, pro průmysl, pro akademické pracovníky,“ řekla, „řekla,„ protože tato multidisciplinární komunita vyžaduje tato hodnocení bezpečnosti. “
