V analýza Porovnáním esejů přijímání na vysoké škole generované umělou inteligencí s 30 000 lidmi napsanými eseji z předtím, než byl vydán chatgpt, zjistili, že eseje AI jsou vysoce obecné a snadno odlišitelné od lidského psaní.
Velké jazykové modely se snažily vytvořit jedinečné příběhy, i když jim vědci poskytli specifické vlastnosti spisovatele eseje. Ve skutečnosti, poskytnutí těchto specifických charakteristik často způsobovalo, že eseje zněly ještě robotičtější, protože AI by do eseje vynutila klíčová slova o identitě autora, zjistili vědci.
„Esej přijímací řízení je pro uchazeče příležitost k tomu, aby nahlédli, kdo jsou, nad rámec všech strukturovaných informací o formuláři žádosti,“ uvedla jeden z autorů Rene KizilCec, docentka informační vědy v Cornell. „Nástroje jako Chatgpt mohou poskytnout solidní zpětnou vazbu k psaní a jsou pravděpodobně dobrým nápadem pro slabé spisovatele. Ale žádost o celý návrh přinese obecnou esej, která prostě nezní jako žádný skutečný žadatel.“
Vědci také vyškolili nástroj AI k rozlišení mezi eseji napsanými A- a člověkem, které pracovaly s téměř dokonalou přesností.
