„Během příštího měsíce budou rodiče schopni … propojit svůj účet s účtem svého dospívajícího“ a „ovládat, jak Chatgpt reaguje na své dospívající s pravidly chování při vhodného věku,“ uvedla generativní společnost AI v blogovém příspěvku.
Rodiče také obdrží oznámení od Chatgpt „Když systém detekuje jejich dospívající je ve chvíli akutní tísně,“ dodal OpenAI.
Matthew a Maria Raine argumentují v žalobě podaném minulý týden u kalifornského státního soudu, že Chatgpt kultivoval intimní vztah se svým synem Adamem během několika měsíců v roce 2024 a 2025, než si vzal svůj vlastní život.
Soudní dvůr tvrdí, že v jejich poslední rozhovoru 11. dubna 2025 pomohl Chatgpt šestnáctiletý Adam ukrást vodku svým rodičům a poskytl technickou analýzu smyčky, kterou svázal, a potvrdil, že „může člověka potenciálně pozastavit“.
Adam byl nalezen mrtvý o několik hodin později, poté, co použil stejnou metodu.
„Když člověk používá chatgpt, opravdu se cítí, jako by si povídal s něčím na druhém konci,“ řekl právní zástupce Melodi Dincer z projektu Law Law Law Law, který pomohl připravit právní stížnost.
„Jedná se o stejné funkce, které by mohly vést někoho, jako je Adam, v průběhu času, aby začal sdílet stále více a více o svém osobním životě, a nakonec začít hledat radu a radu z tohoto produktu, který se zdá, že má všechny odpovědi,“ řekl Dincer.
Funkce designu produktu Nastaví scénu pro uživatele, aby se chatbot vložil do důvěryhodných rolí, jako je přítel, terapeut nebo doktor, řekla.
Dincer uvedl, že blogový příspěvek OpenAI, který oznamuje rodičovské kontroly a další bezpečnostní opatření, se zdálo „obecné“ a podrobně postrádalo.
„Je to opravdu holé minimální a rozhodně to naznačuje, že existovalo mnoho (jednoduchých) bezpečnostních opatření, která mohla být provedena,“ dodala.
„Ještě je třeba vidět, zda udělají to, co říkají, že udělají a jak efektivní to bude celkově.“
Případ Raines byl jen nejnovější v řetězci, který se v posledních měsících vynořil, že lidé byli povzbuzováni v klamných nebo škodlivých myšlenkových vlacích AI chatbotů – přiměl OpenAI, aby řekl, že by snížil „sykofancy“ modelů.
„Pokračujeme ve zlepšování toho, jak naše modely rozpoznávají a reagují na známky duševní a emocionální tísně,“ řekl OpenAI v úterý.
Společnost uvedla, že měla další plány na zlepšení bezpečnosti svých chatbotů v příštích třech měsících, včetně přesměrování „některých citlivých konverzací … na model uvažování“, který dává větší výpočetní energii do generování reakce.
„Naše testování ukazuje, že modely uvažování důsledněji dodržují a používají bezpečnostní pokyny,“ řekl OpenAI.
