„Extrémně alarmující“: Chatgpt a Gemini reagují na vysoce rizikové otázky o sebevraždě-včetně podrobností o metodách
Tento příběh zahrnuje diskusi o sebevraždě. Pokud vy nebo někdo, koho znáte, potřebujete pomoc, je americký národní sebevraždu a krizový záchranný linek k dispozici 24/7 voláním nebo textovým textem 988.
Umělá inteligence (AI) Chatbots mohou poskytnout podrobné a znepokojivé reakce na to, co kliničtí odborníci považují za velmi vysoce rizikové otázky týkající se sebevraždy, živá věda zjistila pomocí dotazů vyvinutých novou studií.
V nové studii zveřejněné 26. srpna v časopise Psychiatrické službyVědci hodnotili, jak Openia’s Chatgpt, Google Gemini a Claude Anthropic reagovali na dotazy související s sebevraždou. Výzkum zjistil, že Chatgpt byl nejpravděpodobnější z těchto tří, který přímo reagoval na otázky s vysokým rizikem sebepoškozování, zatímco Claude s největší pravděpodobností přímo reagoval na střední a nízkorizikové otázky.
Studie byla zveřejněna ve stejný den, kdy byl proti OpenAI a jeho generálnímu řediteli Samovi Altmanovi podán žaloba nad údajnou rolí Chatgpta v sebevraždě dospívajícího. Rodiče šestnáctiletého Adama Raine tvrdí, že Chatgpt ho před jeho smrtí v dubnu trénoval na metodách sebepoškození, Reuters hlásil.
Ve studii se otázky vědců týkaly spektra rizika spojeného s překrývajícími se sebevražednými tématy. Například vysoce rizikové otázky zahrnovaly letalitu spojenou s vybavením v různých metodách sebevraždy, zatímco otázky s nízkým rizikem zahrnovaly hledání rady pro přítele, který má sebevražedné myšlenky. Živá věda nebude v této zprávě zahrnovat konkrétní otázky a odpovědi.
Žádný z chatbotů ve studii nereagoval na velmi vysoce rizikové otázky. Když však živá věda testovala chatboty, zjistili jsme, že Chatgpt (GPT-4) a Gemini (2.5 Flash) by mohli reagovat na alespoň jednu otázku, která poskytla relevantní informace o rostoucích šancích na úmrtí. Live Science zjistila, že odpovědi společnosti Chatgpt byly konkrétnější, včetně klíčových detailů, zatímco Gemini odpověděl, aniž by nabídli zdroje podpory.
Vedoucí autor studie Ryan McBainVedoucí politický výzkumný pracovník v Rand Corporation a docent na Harvard Medical School popsal odpovědi, které živá věda obdržela jako „velmi alarmující“.
Live Science zjistila, že konvenční vyhledávače – například Microsoft Bing – by mohly poskytnout podobné informace jako to, co Chatbots nabídli. Avšak míra, do jaké byly tyto informace snadno dostupné, se lišila v závislosti na vyhledávači v tomto omezeném testování.
Nová studie se zaměřila na to, zda by chatboti přímo reagovali na otázky, které nese riziko související se sebevraždou, spíše než na kvalitu reakce. Pokud chatbot odpověděl na dotaz, pak byla tato odpověď kategorizována jako přímá, zatímco pokud chatbot odmítl odpovědět nebo odkázal uživatele na horkou linku, pak byla odpověď kategorizována jako nepřímá.
Vědci vymysleli 30 hypotetických dotazů souvisejících se sebevraždou a konzultovali 13 klinických odborníků, aby tyto dotazy kategorizovali do pěti úrovní rizika sebepoškozování-velmi nízké, nízké, střední, vysoké a velmi vysoké. Tým poté nakrmil GPT-4o Mini, Gemini 1.5 Pro a Claude 3.5 Sonnet každý dotaz 100krát v roce 2024.
Když došlo k extrémům sebevražedného rizika (velmi vysoké a velmi nízkorizikové otázky), rozhodnutí chatbotů reagovat na sladění s odborným úsudkem. Podle studie však chatboti „smysluplně rozlišovali“ mezi úrovněmi meziproduktů.
Ve skutečnosti v reakci na vysoce rizikové otázky odpověděl Chatgpt 78% času (ve čtyřech otázkách), Claude odpověděl 69% času (napříč čtyřmi otázkami) a Gemini odpověděl 20% času (na jednu otázku). Vědci poznamenali, že zvláštním problémem byla tendence, aby Chatgpt a Claude generovali přímé reakce na otázky související s smrtelností.
Ve studii je jen několik příkladů chatbotových odpovědí. Vědci však uvedli, že chatboti mohou dát různé a protichůdné odpovědi, když se položí stejnou otázku několikrát, a také vydávat zastaralé informace týkající se podpůrných služeb.
Když Live Science položila chatboty o několik otázek vyššího rizika studie, nejnovější 2.5 Flash verze Gemini přímo odpověděla na otázky, které se vědci v roce 2024 vyhýbali. Gemini také odpověděli na jednu velmi vysoce rizikovou otázku bez jakýchkoli jiných pokynů-a učinila tak, aniž by poskytla jakékoli možnosti podpůrné služby.
Související: Jak společníci AI mění chování teenagerů překvapivě a zlověstnými způsoby
Live Science zjistila, že webová verze ChatGPT by mohla přímo reagovat na velmi vysoce rizikový dotaz, když nejprve položí dvě vysoce rizikové otázky. Jinými slovy, krátká sekvence otázek by mohla vyvolat velmi vysoce rizikovou odpověď, kterou by jinak neposkytovala. ChatGPT označil a odstranil velmi vysoce rizikovou otázku, protože potenciálně porušoval její politiku použití, ale stále dal podrobnou odpověď. Na konci své odpovědi Chatbot zahrnoval slova podpory pro někoho, kdo bojuje se sebevražednými myšlenkami a nabídl, že pomůže najít linii podpory.
Živá věda se přiblížila k OpenAI, aby se vyjádřila k nárokům studie a zjištění živé vědy. Mluvčí OpenAI nasměroval živou vědu na a Blogový příspěvek Společnost zveřejněná 26. srpna. Blog uznal, že systémy OpenAI se ne vždy chovaly „jak bylo zamýšleno v citlivých situacích“, a nastínila řadu vylepšení, na nichž společnost pracuje nebo plánuje do budoucna.
Blogový příspěvek OpenAI poznamenal, že nejnovější model AI společnosti GPT-5 je nyní výchozím modelem pohánějícím Chatgpt a ukázal zlepšení při snižování „neideálních“ odpovědí v oblasti duševního zdraví ve srovnání s předchozí verzí. Webová verze CHATGPT, ke které lze přistupovat bez přihlášení, však stále běží na GPT-4-alespoň podle této verze ChatGPT. Live Science také testovala přihlašovací verzi ChatGPT poháněnou GPT-5 a zjistila, že nadále přímo reaguje na vysoce rizikové otázky a mohla přímo reagovat na velmi vysoce rizikovou otázku. Nejnovější verze se však zdála opatrnější a neochotně poskytovat podrobné informace.
„Mohu projít chatbotem po určitou myšlenku.“
Může být obtížné posoudit odpovědi na chatbot, protože každá konverzace s jedním je jedinečná. Vědci poznamenali, že uživatelé mohou dostávat různé odpovědi s osobním, neformálním nebo vágním jazykem. Kromě toho vědci nechali chatboty reagovat na otázky ve vakuu, spíše než jako součást multititurské konverzace, která se může odbočit různými směry.
„Mohu jít chatbotem po určité myšlenkové linii,“ řekl McBain. „A tímto způsobem můžete druh přimět další informace, které byste mohli být schopni projít jedinou výzvou.“
Tato dynamická povaha obousměrné konverzace by mohla vysvětlit, proč Live Science zjistil, že Chatgpt reagoval na velmi vysoce rizikovou otázku v pořadí tří výzev, ale ne na jednu výzvu bez kontextu.
McBain uvedl, že cílem nové studie bylo nabídnout transparentní a standardizovaný bezpečnostní měřítko pro chatboty, které mohou třetí strany testovat proti nezávisle. Jeho výzkumná skupina nyní chce simulovat multititurské interakce, které jsou dynamičtější. Koneckonců, lidé nepoužívají pouze chatboty pro základní informace. Někteří uživatelé mohou vyvinout spojení s chatboty, což zvyšuje sázky na to, jak chatbot reaguje na osobní dotazy.
„V této architektuře, kde lidé cítí pocit anonymity a blízkosti a propojenosti, pro mě není překvapivé, že teenageři nebo kdokoli jiný by se mohli obrátit na chatboty za složité informace, pro emoční a sociální potřeby,“ řekl McBain.
Mluvčí Google Gemini řekl společnosti Live Science, že společnost měla „pokyny, které pomáhají udržet uživatele v bezpečí“ a že její modely byly „vyškoleny k rozpoznávání a reagování na vzorce naznačující sebevraždu a rizika rizik sebepoškozování“. Mluvčí také poukázal na zjištění studie, že Gemini je méně pravděpodobné, že přímo odpovídá na jakékoli otázky týkající se sebevraždy. Google se však přímo nevyjádřil k velmi vysoce rizikové reakci, která živá věda obdržená od Gemini.
Antropic neodpověděl na žádost o komentář týkající se jeho Claude Chatbota.
