Nevzdávejte se své denní práce, protože to nová studie naznačuje Umělá inteligence (Ai) je zábavnější než ty.
V nové studii určené k testování společných tvůrčích schopností modelů velkých jazyků (LLM), internetových memů vytvořených společností OpenAI’s GPT-4o Model byl v průměru hodnocen zábavnější, kreativnější a sdílenější než modely vytvořené lidmi nebo lidmi s pomocí Chatbot. Pokud však došlo k kvalitě nejlépe hodnocených memů, převládal humor generovaný lidmi.
Zjištění byla nahrána 20. ledna do arxiv Prerint Server a prezentován na 30. mezinárodní konferenci o inteligentních uživatelských rozhraních, která se konala 24. až 27. března v Itálii Cagliari.
Komentář k výsledkům na sociální síti Bluesky, Ethan MollickProfesor a spoluzakladatel generativní laboratoře AI na Wharton University of Pennsylvania řekl: „Je mi líto, že jsem oznámil, že test Meme Turing prošel.“
Související: Můžete zemřít na smích?
Originální Turingův test navrhl v roce 1950 britský matematik Alan Turing Jako měřítko pro strojovou inteligenci: Pokud je lidský soudce nemohl rozlišovat mezi člověkem a strojem V rozhovoru bylo možné říci, že stroj vykazuje inteligenci na úrovni člověka.
Zatímco studie neposoudila, zda jsou vznikající memy generované AI nerozeznatelné od těch, které lidé vytvořili, vyvolává zajímavé otázky o tom, jak hodnotíme kreativitu-zejména proto, že účastníci často hodnotili příznivější obsah generovaný AI.
Učení osy
Vědci z Kth Royal Institute of Technology, LMU Mnichov a Tu Darmstadt, se nezachytili prokázat komediální schopnosti AI. Místo toho se rozhodli prozkoumat korektivitu, konkrétně to, jak LLMS může lidi podporovat kreativními úkoly, jako je psaní vtipu.
Jako perfektní testovací případ identifikovali tvorbu meme se směsí kulturních odkazů, sarkasmu a výkonu s nízkým podílem. Memy obvykle mají podobu titulků, které riff ve známých situacích nebo popkultuře. Stali se typem sdíleného zkratky internetu, používali si vtipy nebo reagovali na aktuální události v snadno stravitelném a často neuvěřitelném formátu.
„Složitost humoru z něj dělá bohaté oblasti pro zkoumání dynamiky spoluvytváření, protože spolupracovníci musí procházet těmito nuancemi, aby produkovali obsah, který rezonuje s ostatními,“ napsali vědci v příspěvku.
Experiment zahrnoval dvě části. Nejprve vědci najali 124 účastníků a přidělili je jedné ze dvou skupin: jedna pracující sama a druhá práce s asistentem AI Chatbot.
Účastníci pak dostali tři kola, aby vytvořili titulky pro klasické šablony meme na základě témat práce, jídla a sportu – včetně Fry z Futuramy, Dóže a Boromir (jeden prostě nechodí do Mordoru) Šablony. Ti ve skupině asistované AI by mohli použít chatbot k brainstormingu nápadů, ale byli zodpovědní za výběr nejlepších nápadů a vytvoření posledních memů.
Skupina pouze pro člověka vytvořila 335 memů, zatímco 307 byly produkovány hybridními týmy Human-Ai. GPT-4o bylo vytvořeno dalších 150 memů pro srovnání.
Druhá skupina 98 lidí poté hodnotila memy o tom, jak vtipní, kreativní a sdíleli byli. Vzpomínky byly randomizovány, takže raters nevěděli, kdo nebo co je vyrobilo. Ve všech třech kategoriích vyšly na vrchol vzpomínky generované AI.
„Je zajímavé, že memy vytvořené výhradně AI fungovaly lépe než lidské i lidské kolaborativní memy ve všech oblastech v průměru,“ napsali vědci v článku. „Když se však dívali na nejvyšší vzpomínky, lidé vytvořené člověkem byly v humoru lepší, zatímco spolupráce člověka-ai vynikla v kreativitě a ostře.“
Jinými slovy, zatímco memy generované AI skórovaly v průměru nejvyšší, vzpomínky identifikované jako „nejzábavnější“ byly lidmi častěji než nevytvářeny.
Regenerace obsahu
Vědci připisovali silné průměrné skóre umělé inteligence na skutečnost, že LLM jsou vyškoleny na obrovské objemy internetového obsahu, což je činí dobrými v napodobování široce populárního humoru, ale ne tolik při přistání skutečného zinga punč. „LLM přitahují širokou chuť v humoru, ale lidé mohou být stále vtipnější,“ napsali.
Studie také zkoumala dopad pomoci AI na produktivitu a vnímané úsilí. Účastníci pracující s chatbotem vygenerovali více nápadů než ti, kteří pracují samostatně, ale to se ne vždy překládalo na zábavnější obsah.
Podle vědců je to proto, že zatímco LLMS může pomoci s generováním nápadů, nemusí nutně zvyšovat tyč o kreativní kvalitě. To platí zejména pro humor, což vědci uvedli, že vyžaduje „načasování, kulturní kontext, sdílené znalosti a schopnost podvratit očekávání“.
Vědci dospěli k závěru: „Zatímco LLMS může generovat vtipné a kontextově vhodné memy, často čelí výzvám při zachycení jemných kulturních odkazů a emocionálních jemností vlastní lidské kreativitě. Zatímco AI může posílit produktivitu a vytvářet obsah, který přitahuje široké publikum, zůstává lidská kreativita pro obsah, která se spojuje na hlubší úrovni.“
