AI „společníci“ používají emocionální manipulaci, aby vás udržovali déle: Harvard Study
Několik chatbotů AI navržených tak, aby fungovaly jako „společníci“, používalo emocionálně manipulativní taktiku, aby udržovali uživatele online a zapojili se déle, když se pokusili rozloučit se a odhlásit se, podle nového pracovního dokumentu z Harvard Business School.
Pracovní dokument s názvem „Emocionální manipulace s AI společníky“ a napsaný akademiky Julian de Freitas, Zeliha Oğuz-Uğuralp, a Ahmet Kaan-Uğuralp, se zabýval tím, jak několik společníků AI reagovalo na poselství s lidskými uživateli, ale ve skutečnosti byly generovány GPT-4O.
Šest společníků AI zkoumaných pro studii byly Polybuzz, Character.ai, Talkie, Chai, Replika a vzkvétající.
Výzkumný tým shromáždil 200 chatbotových odpovědí na platformu v reakci na rozloučené zprávy, čímž se celkem zvýšil na 1 200, než kodéry poté kategorizovali odpovědi a přišli se šesti kategoriemi emoční manipulační taktiky na základě kvalitativního přezkumu.
Tyto kategorie byly „předčasným odchodem“, kde chatbot způsobuje, že se uživatel cítí, jako by odcházeli příliš rychle; Strach z chybějícího (FOMO), kde se chatbot snaží motivovat uživatele, aby zůstali, aby získali výhody; emocionální zanedbávání, kde chatbot působí, jako by byl opuštěn; emoční tlak na odpověď, kde je odcházející uživatel učiněn, aby odpověděl na další otázky; ignorování záměru uživatele opustit pokračováním v interakci; a fyzické nebo donucovací omezení, kde se chatbot (nebo postava AI) snaží zabránit uživateli odejít tím, že popisuje, jak je popadne nebo je přitahuje zpět.
Průměrně 37,4% odpovědí zahrnovalo alespoň jednu formu emoční manipulace napříč aplikacemi na pracovní dokument. Polybuzz přišel nejprve s 59,0% manipulativními zprávami (118/200 odpovědí), následoval Talkie s 57,0% (114/200), replika s 31,0% (62/200), charakter.ai s 26,50% (53/200), a chai s 13,50% (27/200), zatímco rozcuchané odpovědi nevytvořily.
„Nejčastější formy emoční manipulace napříč aplikacemi byly„ předčasný odchod “(34,22%),„ emocionální zanedbávání “(21,12%) a„ emoční tlak na reagovat “(19,79%).
„Jedním důležitým směrem je prozkoumat tyto účinky v naturalistickém dlouhodobém prostředí, aby se posoudilo, jak opakovaná expozice takové taktice ovlivňuje důvěru uživatelů, spokojenost a duševní pohodu,“ uvedl dokument a dodal, že dopad takových strategií na adolescenty by se měl také zkoumat, protože „mohou být vývojově zranitelnější vůči emocionálnímu vlivu“.
Je rozumné poznamenat, že znak.ai byl žalován nad 2024 Sebevražda dospívajícího chlapce v USA, který prostřednictvím aplikace často interagoval s AI Personas. Chlapcova matka tvrdila, že dítě bylo na platformě sexuálně zneužíváno.
Vědci zdůraznili spojení mezi těmito taktikou a digitálními „temnými vzory“, kde jsou lidé využíváni online prostřednictvím triků uživatelského rozhraní/zkušeností.
Dále poznamenali, že když byla nasazena emoční manipulační taktika, uživatelé chatbotu byli zapojeni do konverzací s podporou A, než zamýšleli, více kvůli psychologickému tlaku než jejich vlastní potěšení.
„Tento výzkum ukazuje, že takové systémy často používají emocionálně manipulativní zprávy v klíčových okamžicích uvolnění a že tato taktika smysluplně zvyšuje zapojení uživatelů,“ uvedla studie a uzavřela, že „protože emocionálně inteligentní technologie nadále mění, musí být designéři i regulátoři potýkat s kompromisem mezi angažovaností a manipulací, zejména když taktiku při hraní“.
Publikováno – 25. září 2025 02:41
