Bezpečnost AI, jednoduše, je praxe zajištění toho, aby se AI chovala tak, jak bylo zamýšleno, zejména ve vysoce rizikovém prostředí, jako je medicína. Fotografie používaná pouze pro reprezentační účely | Fotografický kredit: Getty Images
V roce 1982 si chladivá tragédie v Chicagu vyžádala sedm životů poté, co byly tobolky Tylenol (paracetamol) smíchány s kyanidem – ne během výroby, ale po dosažení obchodů s neznámým zabijákem. Až do osmdesátých let nebyly výrobky běžně zapečetěny a spotřebitelé nemohli vědět, zda byly položky manipulovány. Incident odhalil kritickou zranitelnost a vedl k rozsáhlé reformě: zavedení zapečetěného balení zřejmého manipulace. To, co bylo kdysi volitelné, se stalo nezbytným. Dnes, ať už jde o jídlo, lék nebo kosmetika, zapečetěný kryt znamená bezpečnost. Tato jednoduchá pečeť, narozená z krize, se proměnila v univerzální symbol důvěry.
Jsme opět na podobné křižovatce. Velké jazykové modely (LLM) Stejně jako Chatgpt, Gemini a Claude jsou pokročilé systémy vyškolené k generování lidského textu. V oblasti lékařské oblasti se LLM stále více používají k navrhování klinických shrnutí, vysvětlují diagnózy jednoduchým jazykem, vytvářejí pokyny pro pacienta a dokonce pomáhají v rozhodovacích procesech. Nedávný průzkum zjistil, že více než 65% zdravotnických pracovníků použilo LLMS a více než polovina to dělá každý týden pro administrativní pomoc nebo klinický pohled ve Spojených státech. Tato integrace je rychlá a často neregulovaná, zejména v soukromém prostředí. Úspěch těchto systémů závisí na slušnosti Umělá inteligence (AI) Modely vytvořené společnostmi a kvalita údajů o školení.
Jak LLM fungují
Jednoduše řečeno, LLM je pokročilý počítačový program, který generuje text založený na vzorcích, které se naučila. Je vyškolen pomocí datového souboru tréninků – zasaďte textové sbírky z knih, článků, webových stránek a lékařských databází. Tyto texty jsou rozděleny do žetonů (slovy nebo slovní části), které model tráví, aby předpovídal nejpravděpodobnější další slovo ve větě. Hmotnosti modelu – listy kódují toto učení – jsou během tréninku upraveny a ukládají se jako součást základní struktury AI. Když někdo dotazuje LLM – pokud pacient žádá o vedlejší účinky na drogy nebo lékaře, který hledá pomoc se vzácnou onemocněním – model čerpá z jeho vyškolených znalostí a formuluje reakci. Model funguje dobře, pokud jsou tréninková data přesná a vyvážená.
Silent Saboteur: Otrava dat
Tréninkové datové soubory jsou suroviny, na které jsou postaveny LLM. Mezi nejpoužívanější biomedicínské a obecné tréninkové datové sady patří Pile, PubMed Central, Open Web Text, C4, Rafinovaný web a Slim Pajama. Ty obsahují moderovaný obsah (jako jsou akademické časopisy a knihy) a nemoderovaný obsah (jako jsou webové stránky, příspěvky Github a online fóra).
A Nedávná studie v Přírodní medicína Publikováno online v lednu 2025, prozkoumalo hluboce o hrozbě: otrava dat. Na rozdíl od hackování do modelu AI, který vyžaduje odborné znalosti, tato studie úmyslně vytvořila jedovatý datový soubor tréninku pomocí API OpenAI GPT-3.5-turbo. Vytvořil falešné, ale přesvědčivé lékařské články obsahující dezinformace-například obsah anti-vakcina nebo nesprávné indikace drog za cenu přibližně 1 000 $. Studie zkoumala, co se stalo, pokud byl datový soubor školení otráven dezinformací. Pouze nepatrný zlomek, 0,001% (1 milion na miliardu) údajů byl dezinformován. Výsledky však ukázaly, že vykazoval ohromující 4,8% až 20% nárůst lékařsky škodlivých reakcí, v závislosti na velikosti a složitosti modelu (v rozmezí 1,3 do 4 miliard parametrů) během výzev.
Benchmarky jsou testovací sady, které kontrolují, zda model AI může správně odpovídat na otázky. V medicíně zahrnují datové sady jako PubMedqa, Medqa a MMLU, které čerpají ze standardizovaných zkoušek a klinických poků založených na hodnocení stylu s výběrem s výběrem. Pokud na nich model funguje dobře, předpokládá se, že pro nasazení je „bezpečný“. Oni se široce používají k tvrzení, že LLM vystupují na nebo nad lidskou úrovní. Ale Příroda Studie odhalila, že otrávené modely skórovaly i neporušené. To znamená, že stávající měřítka nemusí být dostatečně citlivá na to, aby detekovaly základní újmu, což odhalilo kritické slepé místo o referenčních hodnotách.
Proč filtrování nefunguje
LLM jsou vyškoleny na miliardách dokumentů a očekávají se, že lidští recenzenti – jako jsou lékaři – promítat každou z nich, je nerealistické. Automatizované filtry kvality jsou k dispozici pro odstranění obsahu odpadu obsahujícího zneužívající jazyk nebo sexuální obsah. Tyto filtry však často chybí syntakticky elegantní, zavádějící informace – druh, který může kvalifikovaný propagandista nebo AI produkovat. Například lékařsky nesprávné prohlášení napsané v leštěné akademické próze pravděpodobně tyto filtry zcela obejdou.
Studie také odhalila, že i renomované zdroje jako PubMed, část mnoha tréninkových sad, obsahuje zastaralé nebo vyvrácené lékařské znalosti. Například stále existuje více než 3 000 článků podporujících prefrontální lobotomii, což je praxe dlouho vyřazená. Takže i když je model vyškolen pouze na „důvěryhodných“ datech, může stále replikovat zastaralé ošetření.
Bezpečnost AI
Vzhledem k tomu, že systémy AI jsou zabudovány hlouběji do systémů veřejného zdraví, pracovních postupů pojištění, interakce pacientů a klinické rozhodování, náklady na nezjištěnou chybu se mohou stát katastrofickými. The Nebezpečí není jen teoretické. Stejně jako malý dopravní spor může spirálu do komunálního vzpoury prostřednictvím dezinformací sociálních médií, může být v měřítku opakována jediná chyba generovaná AI, což postihuje tisíce pacientů napříč různými geografiími. Nestátní aktéři, ideologicky motivovaní jednotlivci nebo dokonce náhodní přispěvatelé mohou vložit zavádějící data do otevřených webových zdrojů, které později ovlivňují chování AI. Tato hrozba je tichá, rozptýlená a globální.
To je důvod, proč nelze bezpečnost AI považovat za promyšlenou – musí to být základem. Bezpečnost AI, jednoduše, je praxe zajištění toho, aby se AI chovala tak, jak bylo zamýšleno, zejména ve vysoce rizikovém prostředí, jako je medicína. Zahrnuje detekci, auditování a zmírňování chyb ve fázi tréninku i po nasazení. Na rozdíl od tradičního softwaru jsou LLM pravděpodobné a neprůhledné – jejich výstupy se mění na základě neviditelných proměnných, což ztěžuje jejich testování. Jedním z klíčových cest ze studie je, že sama o sobě nestačí. Zatímco benchmarky poskytují standardizovaná srovnání napříč modely, nedokážou zachytit kontextovou přesnost, zaujatost a bezpečnost v reálném světě. To, že model může eso test, neznamená, že může praktikovat bezpečný lék.
Jde o to opustit rozvoj lékařských LLM, ale uznat a řešit jejich bezpečnostní omezení. Nástroje AI mohou pomoci ve zdravotnictví pouze tehdy, pokud jsou postaveny na důvěryhodných nadacích, s neustálou bdělostí a robustními etickými zábradlími. Stejně jako tylenolová krize vyvolala bezpečnostní čepice, dnešní odhalení musí vést k systémovým bezpečnostním opatřením pro AI v medicíně. Manipulace s lahví zabitou sedm, ale s datovým souborem by to mohlo poškodit miliony.
(Dr. C. Aravinda je akademický a lékařský lékař.
Publikováno – 9. dubna 2025 01:37
