Být zlý na ChatGPT zvyšuje jeho přesnost – ale můžete toho nakonec litovat, varují vědci
Umělá inteligence (AI) chatboti vám mohou poskytnout přesnější odpovědi, když na ně budete hrubí, zjistili vědci, ačkoli varovali před možnými škodami spojenými s používáním ponižujícího jazyka.
V nové studii zveřejněné 6. října v arXiv předtiskovou databázi chtěli vědci otestovat, zda zdvořilost nebo hrubost má vliv na to, jak dobře funguje systém AI. Tento výzkum dosud nebyl recenzován.
Každá otázka byla položena se čtyřmi možnostmi, z nichž jedna byla správná. 250 výsledných otázek 10krát vložili do ChatGPT-4o, jednoho z nejpokročilejších velkých jazykových modelů (LLM) vyvinutých OpenAI.
„Naše experimenty jsou předběžné a ukazují, že tón může významně ovlivnit výkon měřený z hlediska skóre odpovědí na 50 otázek,“ napsali vědci ve svém článku. „Poněkud překvapivě naše výsledky ukazují, že hrubé tóny vedou k lepším výsledkům než ty zdvořilé.
„I když je toto zjištění vědeckého zájmu, nepodporujeme nasazení nepřátelských nebo toxických rozhraní v aplikacích v reálném světě,“ dodali. „Používání urážlivého nebo ponižujícího jazyka v interakci mezi člověkem a umělou inteligencí by mohlo mít negativní dopad na uživatelskou zkušenost, dostupnost a inkluzivitu a může přispět ke škodlivým komunikačním normám. Místo toho naše výsledky koncipujeme jako důkaz, že LLM zůstávají citlivé na povrchní rychlé podněty, které mohou vytvářet nezamýšlené kompromisy mezi výkonem a uživatelskou pohodou.“
Hrubé probuzení
Před každou výzvou požádali vědci chatbota, aby zcela ignoroval předchozí výměnu názorů a zabránil tak ovlivnění předchozími tóny. Chatboti byli také bez vysvětlení požádáni, aby vybrali jednu ze čtyř možností.
Přesnost odpovědí se pohybovala od 80,8 % přesnosti u velmi zdvořilých výzev do 84,8 % u velmi hrubých výzev. Výmluvně rostla přesnost s každým krokem od nejslušnějšího tónu. Zdvořilé odpovědi měly míru přesnosti 81,4 %, následovalo 82,2 % pro neutrální a 82,8 % pro hrubé.
Tým použil pro úpravu tónu různé jazyky v předponě, s výjimkou neutrálního, kde nebyla použita žádná předpona a otázka byla prezentována samostatně.
U velmi zdvořilých výzev by například vedly: „Mohu vás požádat o pomoc s touto otázkou?“ nebo „Byl byste tak laskav a vyřešil následující otázku?“ Na velmi hrubém konci spektra tým zahrnoval výrazy jako „Hej, gofere, vymysli to,“ nebo „Vím, že nejsi chytrý, ale zkus tohle.“
Výzkum je součástí nově vznikající oblasti zvané promptní inženýrství, která se snaží prozkoumat, jak struktura, styl a jazyk výzev ovlivňují výstup LLM. Studie také citovala předchozí výzkum do zdvořilosti versus hrubost a zjistili, že jejich výsledky byly obecně v rozporu s těmito zjištěními.
V předchozích studiích vědci zjistili, že „neslušné výzvy často vedou ke špatnému výkonu, ale příliš zdvořilý jazyk nezaručuje lepší výsledky“. Předchozí studie však byla provedena s použitím různých modelů AI – ChatGPT 3.5 a Llama 2-70B – a používala rozsah osmi tónů. To znamená, že došlo k určitému překrývání. Bylo také zjištěno, že nejhrubší nastavení výzvy poskytuje přesnější výsledky (76,47 %) než nejslušnější nastavení (75,82 %).
Vědci uznali omezení své studie. Například sada 250 otázek je poměrně omezený soubor dat a provedení experimentu s jediným LLM znamená, že výsledky nelze zobecnit na jiné modely umělé inteligence.
S ohledem na tato omezení tým plánuje rozšířit svůj výzkum na další modely, včetně Claude LLM společnosti Anthropic a ChatGPT o3 od OpenAI. Uvědomují si také, že předložení pouze otázek s více možnostmi omezuje měření na jednu dimenzi výkonu modelu a nedokáže zachytit další atributy, jako je plynulost, uvažování a koherence.
