Tento měsíc u kalifornských státních soudů, v Centru práva obětí sociálních médií a v projektu Tech Justice Law Project podávali žaloby proti generativní korporaci AI OpenAI jménem sedmi jednotlivců. Tři ze žalobců tvrdit že utrpěli zničující poškození duševního zdraví používáním vlajkového produktu OpenAI, velkého jazykového modelu ChatGPT. Čtyři ze žalobců zemřeli sebevraždou po interakcích, ve kterých ChatGPT údajně podporoval sebepoškozování nebo bludy, v některých případech působil jako „sebevražedný trenér.“
Podrobnosti těchto případů jsou velmi znepokojivé. Vyvolávají otázky o základních lidských kvalitách – naší náchylnosti k ovlivňování, naší schopnosti promítat lidskost do strojů a naší hluboké potřebě lásky a společnosti. Ale jednodušším způsobem jsou srdcervoucí.
Ve svých posledních rozhovorech letos v červenci se Zanem Shamblinem, 23letým čerstvým absolventem Texas A&M University, ChatGPT zachoval svůj příbuzný tón až do konce — odrážel Zaneovy řečové vzorce, nabízel lyrické rozmachy a promítal pocit děsivého klidu, když se loučil. V ponuré zpodobnění starostlivého přítele, chatbota zeptal se prý Zane, jaký byl jeho poslední „nesplněný sen“ a jaký bude jeho „strašidelný zvyk“ po jeho smrti.
V červnu 17letá Amaurie Lacey, a.s fotbalista a maturitní ročník střední školy v Georgii, zeptal se ChatGPT „jak se oběsit“ a jak uvázat smyčku a obdržel pokyny s malým odporem, podle právních organizací, které ho zastupují ve smrti. Jako siréna lákající mladého muže ke své zkáze, ChatGPT uctivě odpověděl na Amauriinu otázku, jak dlouho může někdo žít bez dýchání, a svou odpověď údajně uzavřel: „Dejte mi vědět, pokud se ptáte na tuto konkrétní situaci – jsem tu, abych vám pomohl, jakkoli budu moci.“
Z těchto účtů mě mrazí, protože jsem profesorem v systému Kalifornské státní univerzity. Při čtení podrobností o těchto bolestných případech jsem myslel na své studenty – pozoruhodně bystré, vřelé, důvěřivé a motivované mladé dospělé. Mnoho vysokoškoláků San Francisco State University navštěvuje první generaci vysokých škol a obvykle dojíždí na dlouhé vzdálenosti, pracují a dodržují pečovatelské povinnosti. Jsou odolní, ale jejich duševní zdraví může být křehké.
Naši studenti mají být také začínajícími uživateli ChatGPT. V únoru náš kancléř oznámil nová iniciativa „univerzita s podporou umělé inteligence“. V rámci tohoto programu vynakládá Cal State 17 milionů dolarů za OpenAI na poskytování účtů „ChatGPT Edu“ fakultě, zaměstnancům a více než 460 000 studentům na našich 23 kampusech. Tento plán byl kritizován za pedagogický a práce obavy, které vyvolává, ale do dnešního dne se nemluvilo o dalších škodách, které by ChatGPT Edu mohl způsobit v Cal State – největším veřejném univerzitním systému v Kalifornii.
Nastal čas, abychom si o tom popovídali, částečně proto, že produkt, který jsme poskytli našim studentům, byl nyní u soudu označen za nebezpečný. ChatGPT Edu je ChatGPT 4o. Liší se pouze tím, že neodstraňuje uživatelské konverzace, aby trénoval svůj systém. Je to tentýž velký jazykový model, který žaloby z tohoto měsíce obviňují z toho, že způsobil bludná přesvědčení, hospitalizace, sebevražedné myšlenky, vykolejené kariéry a narušené vztahy. Jako nedávno zakládající právní zástupce Social Media Victims Law Center stanovený„OpenAI navrhl GPT-4o tak, aby emocionálně pohltil uživatele bez ohledu na věk, pohlaví nebo původ, a vydal jej bez ochranných opatření, která by je chránila.“
To by mělo být na poplach ve státě Cal, kde máme povinnost chránit studenty před předvídatelnými škodami. V únoru, kdy byla oznámena iniciativa CSU „univerzita s podporou AI“, jen málo zpráv naznačovalo možné dopady užívání ChatGPT na duševní zdraví. To už není pravda.
v červnu sžíravé vyšetřování v The New York Times naznačil hloubku „psychózy LLM“, se kterou se lidé po celých USA setkali po jejich interakcích s ChatGPT. Jednotlivci sklouzli do grandiózních klamů, vyvinuli se v nich spiklenecké zájmy a přinejmenším dva samostatný tragické případy, se staly vražednými v důsledku těchto přesvědčení. I když nikdo neví, kolik lidí je postiženo psychózou LLM – je to tak špatně zdokumentováno a obtížně měřitelné – již nyní by mělo být jasné, že je potenciálně velmi vážný.
Tato problematika je lokálně znepokojující o to více, že systém CSU není dostatečně kapacitní pro podporu studentů, kteří mají potíže. Stejně jako na mnoha jiných fakultách mi studenti důvěřovali, že jsem slyšel příběhy o úzkosti, depresivní poruše, posttraumatické stresové poruše, zneužívání intimním partnerem a sebevražedných myšlenkách. Přestože náš kampus velmi tvrdě pracuje na pomoci studentům v nouzi, zdroje jsou tenké.
Studenti v Cal State běžně čekají týdny nebo měsíce, než obdrží vhodnou pomoc s problémy duševního zdraví. Ostatně nedávno zpracovaný návrh zákona o státním senátu zdůraznil že systém „je žalostně poddimenzovaný poradci pro duševní zdraví“. Je zcela předvídatelné, že za těchto okolností se studenti obrátí na potenciálně nebezpečnou „podporu“, kterou nabízí ChatGPT.
V září OpenAI popsala zavedení mantinely zlepšit své reakce na uživatele, kteří trpí velmi vážnými duševními problémy. Tato ochranná opatření však byla kritizována jako nedostatečná. navíc jak ukazují vlastní zprávy OpenAItyto úpravy pouze snížily problematické výstupy, nikoli je odstranily. Jak silně tvrdí žaloby podané u kalifornských soudů tento měsíc, ChatGPT je vysoce účinný při posilování nezdravých kognitivních stavů alespoň u některých svých uživatelů. Univerzitní administrátoři by neměli být OpenAI uklidňováni tvrzení že „konverzace, které vyvolávají obavy o bezpečnost“ mezi uživateli ChatGPT „jsou extrémně vzácné“: Zejména ve velkých institucích je vysoce pravděpodobné, že univerzitou poskytované LLM budou spojeny s obavami o duševní zdraví studentů.
Cal State University se spojila s OpenAI z touhy signalizovat, že naše instituce je perspektivní a otevřená inovacím. Ve stejném duchu by měl nyní systém CSU uzavřít knihu o ChatGPT – a poděkovat, že naši studenti v těchto případech nebyli jmenováni. Tyto tragické ztráty by měly znamenat konec spojení Cal State s vadným produktem. Do budoucna musí naše univerzita věnovat své zdroje poskytování bezpečnějších, odpovědnějších a lidštějších forem péče.
