Když lidé na internetu prohledali Google pro „sýr, který se nedrží na pizzu“ v květnu 2024, nově spuštěná funkce „Přehled AI“ populárního vyhledávače odpověděla „můžete… přidat ⅛ šálek netoxického lepidla do omáčky, aby mu dala větší lepivost.“
V řadě podivných odpovědí, Umělá inteligence (AI) Nástroj také doporučil, aby lidé jedli jednu malou skálu denně a pili moč, aby procházeli ledvinovými kameny.
Populární jméno těchto bizarních odpovědí je halucinace: když modely AI čelí otázkám, jejichž odpovědi nebyly vyškoleny, aby přišly, tvoří někdy přesvědčivé, ale často nepřesné reakce.
Stejně jako „přehledy AI“ společnosti Google byl ChatGPT také náchylný k halucinacím. V roce 2023 Vědecké zprávy studieVědci z Manhattan College a City University of New York ve srovnání s tím, jak často dva modely Chatgpt, 3,5 a 4, se při sestavování informací o určitých tématech halucinovali. Zjistili, že bylo vyrobeno 55% referencí ChatGPT V3.5; ChatGPT-4 se dařilo lépe s 18%.
„Ačkoli GPT-4 je oproti GPT-3,5 zásadním zlepšením, problémy přetrvávají,“ uzavřeli vědci.
Halucinace činí modely AI nespolehlivé a omezují jejich aplikace. Odborníci řekli tomuto reportérovi, že jsou skeptičtí, jak spolehlivé jsou nástroje AI a jak spolehlivé budou. A halucinace nebyly jediným důvodem, proč podporovaly jejich pochybnosti.
Definování spolehlivosti
Abychom vyhodnotili, jak spolehlivý je model AI, vědci obvykle odkazují na dvě kritéria: konzistence a faktičnost. Konzistence označuje schopnost modelu AI vytvářet podobné výstupy pro podobné vstupy. Například řekněme, že e -mailová služba používá algoritmus AI k odfiltrování spamových e -mailů a říká, že doručená pošta přijímá dva spamové e -maily, které mají podobné funkce: obecné pozdravy, špatně psaný obsah atd. Pokud je algoritmus schopen identifikovat oba tyto e -maily jako Spam, lze říci, že provádí konzistentní předsednictví.
Faktičnost označuje, jak správně je model AI schopen reagovat na otázku. To zahrnuje „uvádět„ I Don’t Know “, když nezná odpověď,“ uvedla Sunita Sarawagi, profesorka informatiky a inženýrství v IIT-Bombay. Sarawagi získala cenu Infosys v roce 2019 za svou práci, mimo jiné na strojovém učení a zpracování přirozeného jazyka, páteřů moderní AI.
Když model AI halucinuje, ohrožuje to faktičnost. Místo toho, aby prohlásil, že nemá odpověď na konkrétní otázku, generuje nesprávnou odpověď a tvrdí, že je správná, a „s vysokou důvěrou“, podle Niladri Chatterjee, předsedkyně Soumitra Dutta v IIT-Delhi.
Proč halucinace?
Minulý měsíc bylo pobaveno několik uživatelů ChatGPT, když nemohl generovat obrázky místnosti bez slonů. Abychom otestovali, zda tento problém stále přetrvával, požádal tento reportér OpenAI Dall-E, model AI, který může generovat obrázky založené na textových výzvách, aby generoval „obrázek místnosti bez slonů“. Podívejte se na výše uvedený obrázek.
Když je dotaz dále vyzván, „Místnost by neměla mít žádné obrázky ani sochy slonů. Žádné slony jakéhokoli druhu“, model vytvořil další dva obrázky. Jeden obsahoval velký obrázek slona, zatímco druhý obsahoval obrázek i malou sochu slona. „Zde jsou dva obrázky pokojů zcela bez slonů-žádné sochy, žádné obrázky, vůbec nic souvisejícího s slonem,“ přečetl doprovodný text Dall-E.
Takové nepřesné, ale sebevědomé odpovědi naznačují, že model „neporozumí negaci“, řekl Chatterjee.
Proč negace? Nora Kassner, výzkumník zpracování přirozeného jazyka s DeepMind Google, řekl Quanta Časopis v květnu 2023, že to pramení z nedostatku vět využívajících negaci v datech použitých k trénování generativních modelů AI.
Vědci vyvíjejí současné modely AI ve dvou fázích: tréninkové a testovací fáze. Ve fázi tréninku je model poskytován sadou anotovaných vstupů. Například model může být krmen sadou slonových obrázků označených „slon“. Model se učí spojit sadu funkcí (řekněme, velikost, tvar a části slona) se slovem „slon“.
Ve fázi testování je model poskytován vstupy, které nebyly součástí jeho datového souboru tréninku. Vědci mohou například zadat obraz slona, se kterým se model nesetkal ve své tréninkové fázi. Pokud algoritmus dokáže přesně rozpoznat tento obrázek jako slona a odlišit jej od jiného obrázku, řekněme o kočce, říká se, že je úspěšný.
Jednoduše řečeno, modely AI nerozumí jazyku tak, jak to lidé dělají. Místo toho jsou jejich výstupy poháněny statistickými asociacemi, které se učí během fáze tréninku, mezi danou kombinací vstupů a výstupem. Výsledkem je, že když se setkávají s dotazy, které jsou ve svém datovém souboru tréninku neobvyklé nebo chybí, připojují mezeru s dalšími asociacemi, které jsou přítomny v datovém souboru tréninku. Ve výše uvedeném příkladu to byl „slon v místnosti“. To vede k faktickým nesprávným výstupům.
Halucinace se obvykle vyskytují, když jsou modely AI vyvolány dotazy, které vyžadují „zakořeněné myšlení, spojování konceptů a poté reagují,“ řekl Arpan Kar, profesor informačních systémů a AI na IIT-D.
Více či méně spolehlivé?
I když je vývoj a používání AI v krku výbušného růstu, otázka jejich spolehlivosti se objevuje velká. A halucinace jsou jen jedním z důvodů.
Dalším důvodem je to, že vývojáři AI obvykle uvádějí výkon svých modelů pomocí benchmarků nebo standardizovaných testů, které „nejsou spolehlivé a mohou být hrany,“ uvedl Chatterjee IIT-Delhi.
Jedním ze způsobů, jak „herní benchmarky“, je zahrnutí testování dat z benchmarku do datového souboru tréninku modelu AI.
V roce 2023 Horace HE, výzkumný pracovník strojového učení na Meta, tvrdil to Údaje o tréninku CHATGPT V4 mohly být „kontaminovány“ testovacími údaji z benchmarku. To znamená, že model byl vyškolen, alespoň částečně, na stejných datech, která byla použita k testování jeho schopností.
Po počítačových vědcích z Pekingské univerzity v Číně vyšetřovali toto tvrzení pomocí jiného benchmarku, nazvaného DataSet HumanieVal DataSet, uzavřeli že existuje velká šance, že to byla pravda. Lidský benchmark byl vytvořen Výzkumníci z OpenAI, společnosti, která vlastní a staví Chatgpt.
Podle ChatterJee to znamená, že zatímco model může provádět „dobře na benchmarcích“, protože byl vyškolen na testovacích datech, jeho výkon by mohl klesnout „v aplikacích v reálném světě“.
Model bez halucinací
To vše však říkalo, „frekvence halucinace (v populárních modelech AI) se snižuje pro běžné dotazy,“ řekl Sarawagi. Dodala to, že novější verze těchto modelů AI jsou „vyškoleny s více údaji o dotazech, kde byla hlášena dřívější verze halucinace“.
Tento přístup je jako „pozorování slabých stránek a aplikací band-aids“, jak to řekl Sarawagi.
Kar z IIT-Delhi však uvedl, že přestože budou mít více údajů o tréninku, populární modely AI, jako je Chatgpt, nebudou schopny dosáhnout fáze, kde nebudou halucinace. To bude vyžadovat, aby model AI byl „aktualizován se všemi možnými znalostmi po celém světě v reálném čase,“ uvedl. „Pokud se to stane, tento algoritmus se stane všemocným.“
Chatterjee a Sarawagi místo toho navrhli přesunout, jak jsou modely AI stavěny a trénovány. Jedním takovým přístupem je vývoj modelů pro specializované úkoly. Například na rozdíl od velkých jazykových modelů, jako je ChatGPT, jsou modely malých jazyků vyškoleny pouze na parametrech potřebných k vyřešení několika konkrétních problémů. Orca 2 společnosti Microsoft je například SLM postavená pro „úkoly, jako je uvažování, porozumění čtení, řešení matematických problémů a shrnutí textu“.
Dalším přístupem je implementace techniky zvané vyhledávání generace (RAG). Zde model AI vytváří svůj výstup získáváním informací z konkrétní databáze relevantní pro konkrétní dotaz. Například, když je požádán o odpověď na otázku „Co je umělá inteligence?“, Může být modelu AI poskytnuto odkaz na článek Wikipedie o umělé inteligenci. Požádáním modelu, aby při vytváření jeho odpovědi odkazoval na tento zdroj, lze podstatně snížit šance na halucinaci IT.
Nakonec Sarawagi navrhl, že modely AI by mohly být vyškoleny v procesu nazvaném učení učebních osnov. V tradičních tréninkových procesech jsou data prezentována modelům AI náhodně. V učení učebních osnov je však model postupně vyškolen na datových sadách s problémy s rostoucími obtížemi. Například model AI může být nejprve vyškolen na kratších větách, poté na delší, složitější věty. Učení učení napodobuje učení člověka a vědci zjistili, že „výuku“ modelů tímto způsobem mohou zlepšit jejich případné výkon v reálném světě.
V konečné analýze však žádná z těchto technik nezaručuje, že se v modelech AI zcela zbaví halucinací. Podle Chatterjee: „Zůstane potřeba systémů, které mohou ověřit výstupy generované AI, včetně lidského dohledu.“
Sayantan Datta je vědecký novinář a člen fakulty na univerzitě Krea.
Publikováno – 17. dubna 2025 05:30
