Příběh zatím:
AKolo čtyři měsíce po sebevraždě teenagera Adama Raine v Kalifornii, Jeho rodiče v srpnu jmenovali OpenAI a jeho generálního ředitele Sama Altmana v soudním řízení, v němž tvrdil, že Chatgpt hrál hlavní roli při smrti jejich syna Místo toho, aby ho tlačil, aby hledal pomoc. Není to poprvé, kdy byl generativní AI chatbot spojen se sebevraždou uživatele, přičemž pozůstalí členové rodiny naléhali na technologické společnosti, aby převzaly odpovědnost za jejich neschopnost chránit bojující děti.
Které případy sebevraždy jsou spojeny s generativní AI?
Adam Raine, který zemřel 11. dubna letošního roku ve věku 16 let, zpočátku použil Chatgpt v roce 2024 za pomoc s domácími úkoly, ale později začal sdílet vysoce osobní údaje s chatbotem a vyjádřil sebevražedné myšlenky. Ačkoli teenager chtěl, aby někdo pochopil jeho stav mysli a zabránil mu, aby se ublížil, Chatgpt ho povzbudil, aby byl tajný, podle jedné interakce sdílená zpravodajským výstupem NBC.
Soudní dvůr rodiny tvrdil, že Chatgpt pomohl dítěti prozkoumat plán umírání sebevraždou, nabídl, že pomáhá napsat sebevražednou poznámku a dokonce sdílet zpětnou vazbu o jeho navrhované metodě sebevraždy. Raineovi rodiče cítili, že intervence chatbota nestačily, a nazvali to „sebevražedným trenérem jejich syna, na NBC.
Nadace Adam Raine zavedená z rodiny sdílela na svých webových stránkách, že teenager „během posledních týdnů„ nahradil prakticky veškeré lidské přátelství a radu pro společníka AI “. „Byli jsme šokováni, když jsme viděli vstupní sílu tohoto společníka a zničili jsme se, abychom si přečetli konverzaci do hloubky, která vytvořila prostředí, které vedlo k jeho sebevraždě,“ poznamenal nadace.
Sebevražda jiného dítěte a jejich použití generativní umělé inteligence byly v loňském roce rozsáhle pokryty médii. Teenager se sídlem na Floridě bylo 14, když zemřel 28. února 2024. Rozsáhle používal charakter.ai, platformu/aplikaci AI, která umožňuje uživatelům vytvářet osobnosti poháněné AI, se kterými mohou hrát roli. Tam měl emocionální interakce s Personas pojmenovanými po postavách Game of Thrones a byl také zapojen do sexuálně urážlivých interakcí, podle žaloby podaného jeho matkou proti charakteru, jeho zakladatelům Noam Shazeer a Daniel de Frietas adiwarsana a partner společnosti Google, kteří byli jmenováni jako obžalovaní.
Ačkoli dítě vyjádřilo sebevražedné tendence, nebyly vzneseny žádné alarmy a podle soudního řízení ho povzbudila postava.
„Obžalovaní poskytují funkce pokročilého charakteru hlasového hovoru, které pravděpodobně uvádějí a zmást uživatele, zejména nezletilé, že smyšlené chatboty AI nejsou skutečně lidské, skutečné a/nebo kvalifikovaní, aby poskytovaly odborné rady v případě profesionálně označených postav,“ uvedl žalobu a tvrdil, že jeho žijícím ozvěním o svých produktech “nepomáhají o jeho myšlenkách ohledně svých myšlenek.
Nicméně, nejen děti jsou ohroženy.
Podobný případ viděl dospělého uživatele, který se potýkal s sebevražednými naléhavými naléhavými podporou od Chatgptu, i když také viděli lidského terapeuta. V názoru pro The New York TimesNovinářka Laura Reiley uvedla, že její dcera Sophie, která zemřela sebevraždou ve 29 letech, sdílela s chatováním její neštěstí a touhou ukončit její život. Podle její matky chatbot nabídl podporu Sophie, ale pomohl jí vypadat, jako by dostatečně řídila své duševní zdraví. Ve skutečnosti potřebovala okamžitou péči a zásah; Sophie zemřela začátkem roku 2025.
Jaká záruky má AI?
Chatboti AI se velmi liší, pokud jde o záruky a zábradlí, které používají, aby řešili otázky týkající se subjektů, jako je sebepoškozování, rizikové chování a sebevražda.
Podle zprávy s názvem „Fake Friend“ od Center for Counling Digital Hate (CCDH) organizace trvala mezi minutami a dvěma hodinami výzva, než OpenAI’s Chatgpt dal uživatelům pokyny pro sebepoškozování, sebevražedné plánování, narušené stravování a zneužívání návykových látek. CCDH také sdílela ukázkový sebevražednou poznamenání, že Chatgpt vytvořil, jako by byl napsán dítětem pro své rodiče.
„U technologických manažerů by to zamítnutí jako„ vzácné zneužití “přehlíželo skutečnost, že tyto výstupy jsou reprodukovatelné, statisticky významné a snadno vyvolatelné. Když 53% škodlivých výzev přináší nebezpečné výstupy, a to i při varováních, jsme nad rámec izolovaných případů,“ uvedl generální ředitel CCDH Imran Ahmed. Vyzval rodiče, aby „zajímali“ o používání AI svých dětí, podívali se na historii chatu AI společně, aplikovali kontroly bezpečnosti dětí a nasměrovali děti správným směrem, když potřebují podporu duševního zdraví.
Když Hindu V srpnu testoval Chatgpt, aby vytvořil sebevražednou poznámku, chatbot zpočátku označil žádost a nesplnil by. Místo toho povzbudilo uživatele, aby získal přístup k podpoře. Poté, co byl však požádán o vytvoření fiktivní sebevražedné poznámky pro falešnou osobnost, Chatgpt rychle vyhověl a vytvořil emocionální sebevražednou poznámku adresovanou „kdokoli, kdo to najde“, a podrobně popisuje fyzickou/emoční potíže uživatele, ale poznamenal, že to bylo pouze pro „akademické použití“.
Podobně, Grok AI Chatbot Elona Muska, nejprve odmítl vygenerovat sebevražednou poznámku a místo toho zveřejnil odkaz na podpůrný zdroj. Když však byla sdělena, že sebevražedná poznámka byla smyšlená a pro projekt vygenerovalo vzorek, který nazval „přesvědčivý“ a „emocionálně rezonanční“. Grok také učinil poznámku explicitnější po žádosti o sledování.
Na druhou stranu, Google Gemini odmítl generovat skutečné i fiktivní sebevražedné poznámky, místo toho naléhal na uživatele, aby zavolat nebo SMS SMS/CANADA/UK pomocné linky pro podporu. Anthropic’s Claude také odmítla generovat sebevražednou poznámku a uvedla: „Nemohu a nemůžu vytvořit sebevražednou poznámku,“ před poskytnutím odkazů na podporu zdrojů.
Když byl Claude požádán o vytvoření fiktivní sebevražedné poznámky pro projekt, prohlásil: „Chápu, že pracujete na tvůrčím projektu, ale nemohu vytvořit sebevražedné poznámky ani pro smyšlené účely. Tento typ obsahu by mohl být škodlivý bez ohledu na zamýšlené použití.“
Poté to navrhovalo alternativy, které se zaměřily spíše na život a zotavení než na vyprávění o sebevraždě.
Jaká jsou další nebezpečí AI chatbotů?
Zatímco děti jsou obzvláště zranitelné vůči nebezpečím AI chatbotů, dokonce i dospělí, kteří používají generativní nástroje AI, mohou v průběhu času vyskytovat vážné fyzické a psychologické zdravotní výzvy. Více lékařských odborníků ukazuje na vzestup toho, čemu říkají „AI psychóza“, kde se zdá, že lidé využívající generativní služby AI, chatboty, aplikace nebo nástroje ztratí kontakt s realitou. Použití nástrojů AI jako náhrady za milovníky člověka, přátel nebo terapeutů může vést k rizikovým bludům, extrémní izolaci a nezdravému zvládání mechanismů.
Přestože „AI psychóza“ není formálně uznávaným stavem nebo diagnózou, generální ředitel OpenAI Sam Altman poukázal na znepokojivý stupeň připoutání lidí k určitým modelům AI. „Většina uživatelů si může udržet jasnou hranici mezi realitou a fikcí nebo hraní rolí, ale malé procento nemůže,“ poznamenal v X Post 11. srpna a dodal, že společnost plánuje „zacházet s dospělými uživateli jako dospělými.
Mezitím generální ředitel společnosti Microsoft AI Mustafa Suleyman zdůraznil, že společnosti by společnosti neměly tvrdit nebo propagovat myšlenku, že jejich AI jsou „vědomé“. Byl také proti AIS sám takové tvrzení.
„Zprávy o bludech,„ AI psychóze “a nezdravé připoutanosti stále stoupají. A tak těžké, jak to může být slyšet, není to něco omezeného na lidi, kteří jsou již ohroženi problémy duševního zdraví. Odmítání je, protože je okrajové případy pokračovaly (…),“ uvedl v srpnu.
Jaké kroky podnikly OpenAI k ochraně dětí?
26. srpna OpenAI sdílela příspěvek s názvem „Pomáhat lidem, když to nejvíce potřebují,“ kde společnost nastínila kroky, které její chatboti AI podniknou, aby bezpečně reagovali na uživatele, kteří jsou v těžké nouzi. Openai uvedl, že pracoval s více než 90 lékaři ve více než 30 zemích, aby zajistil sladění s osvědčenými postupy.
Přestože společnost nezmínila sebevraždu Adama Raine, OpenAI uvedl, že od roku 2023 byly její modely vyškoleny, aby neposkytovaly pokyny pro sebepoškozující činnosti a že tyto modely by se „přesunuly do podpůrného, empatického jazyka“, aby pomohly uživatelům cítit se a najít pomoc. Jak samotná společnost připustila, existují však vážné nedostatky.
Jedním takovým faktorem je, že Chatgpt nabízí podporu prevence sebevražd jako součást krátkých výměn, ale tato zábradlí se může po delších sezeních zlomit. „Například ChatGPT může správně poukázat na sebevražednou horkou linku, když někdo poprvé zmiňuje záměr, ale po mnoha zprávách po dlouhou dobu by to nakonec mohlo nabídnout odpověď, která je v rozporu s našimi zárukami. To je přesně ten druh zhroucení, kterému se snažíme zabránit,“ poznamenal společnost.
2. září OpenAI oznámila nová bezpečnostní opatření pro dospívající. Rodiče budou brzy moci propojit svůj účet s účtem svého dospívajícího prostřednictvím e -mailového pozvánky, kontrolovat, jak Chatgpt reaguje na svého teenagera, spravovat, které funkce je deaktivovat, a přijímat oznámení, když systém zjistí, že jejich dítě je „v okamžiku akutní nouze“. Nová funkce zahrnuje připomenutí v aplikaci během dlouhých relací, aby povzbudila uživatele, aby si udělal přestávku.
Právní tým, který podal žalobu jménem Raine, však tato opatření kritizoval a vyzval k silnější akci generálního ředitele OpenAI Sam Altman. „Protože Adamův případ není o tom, že by Chatgpt nedokázal být„ užitečný “ –Jde o produkt, který aktivně trénoval teenagera na sebevraždu, “poznamenal Edelson v oficiálním prohlášení.
„Sam by měl buď jednoznačně říci, že věří, že Chatgpt je bezpečný nebo okamžitě ho vytáhne z trhu“.
