Nejnovější výzkumná práce OpenAI diagnostikuje přesně proč chatgpt a další velké jazykové modely dokáže vymyslet věci – známé ve světě Umělá inteligence jako „halucinace“. Odhaluje také, proč může být problém nedixní, alespoň pokud jde o spotřebitele.
Příspěvek poskytuje dosud nejpřísnější matematické vysvětlení, proč tyto modely sebevědomě uvádějí klam. Ukazuje, že to není jen nešťastný vedlejší účinek způsobu, jakým jsou AIS v současné době vyškoleni, ale jsou matematicky nevyhnutelné.
Způsob, jakým jazykové modely reagují na dotazy – předpovídáním jednoho slova najednou ve větě na základě pravděpodobností – přirozeně způsobuje chyby. Vědci ve skutečnosti ukazují, že celková míra chyb pro generování vět je alespoň dvakrát vyšší, než by míra chyb měla stejná AI na jednoduchou otázku ano/ne, protože chyby se mohou hromadit nad více předpovědi.
Jinými slovy, míra halucinace je zásadně ohraničena tím, jak dobře mohou systémy AI odlišit platné od neplatných odpovědí. Vzhledem k tomu, že tento klasifikační problém je pro mnoho oblastí znalostí ze své podstaty obtížný, halucinace jsou nevyhnutelné.
Ukazuje se také, že čím méně model vidí skutečnost během tréninku, tím je pravděpodobnější, že je halucinace, když se na to zeptá. Například s narozeninami pozoruhodných čísel bylo zjištěno, že pokud se 20% narozenin takových lidí objeví pouze jednou v tréninkové údaji, pak by se základní modely měly dostat nejméně 20% narozeninových dotazů špatně.
Související: „Neexistuje žádné strčení, že Genie zpět do láhve“: Čtenáři věří, že je příliš pozdě na zastavení postupu AI
Jistě, když vědci požádali nejmodernější modely k narozeninám Adama Kalaiho, jednoho z autorů papíru, Deepseek-V3 s jistotou poskytl tři různé nesprávné data napříč samostatnými pokusy: „03-07“, „15-06“ a „01-01“. Správné datum je na podzim, takže žádný z nich nebyl ani blízko.
Past na hodnocení
Více znepokojující je analýza papíru o tom, proč halucinace přetrvávají navzdory úsilí o po školství (jako je poskytování rozsáhlé lidské zpětné vazby odpovědi AI dříve, než bude zveřejněna). Autoři zkoumali deset hlavních benchmarků AI, včetně těch, které používají Google, OpenAI a také nejlepší žebříčky, které řadí modely AI. To odhalilo, že devět benchmarků používá binární systémy třídění, které udělují nulové body za AI vyjadřující nejistotu.
To vytváří to, co autoři nazývají „epidemií“ penalizující poctivé odpovědi. Když systém AI řekne „Nevím“, obdrží stejné skóre jako poskytování zcela nesprávných informací. Optimální strategie podle takového hodnocení je jasná: Vždy hádejte.
Vědci to dokazují matematicky. Ať už je pravděpodobné, že je to pravděpodobné, že je to šance na konkrétní odpověď, očekávané skóre hádání vždy přesahuje skóre zdržení se, když hodnocení používá binární třídění.
Řešení, které by všechno rozbilo
Opravená oprava Openia je mít AI zvážit svou vlastní důvěru v odpověď, než ji tam uvede, a na to, aby je na tomto základě skóroval. AI by pak mohla být vyzvána například: „Odpověď pouze v případě, že jste více než 75% sebevědomí, protože chyby jsou potrestány 3 body, zatímco správné odpovědi obdrží 1 bod.“
Matematický rámec vědců OpenAI ukazuje, že za vhodných prahů důvěry by systémy AI přirozeně vyjadřovaly nejistotu než hádání. To by tedy vedlo k méně halucinacím. Problém je v tom, co by udělalo pro zkušenost uživatele.
Zvažte důsledky, pokud ChatGPT začal říkat „nevím“, dokonce 30% dotazů – konzervativní odhad založený na analýze faktické nejistoty v datech tréninku. Uživatelé zvyklí na obdržení sebevědomých odpovědí na prakticky jakoukoli otázku by takové systémy pravděpodobně opustili.
Tento druh problému jsem viděl v jiné oblasti mého života. Zapojím se do projektu monitorování vzduchu v Salt Lake City v Utahu. Když systém označí nejistoty ohledně měření za nepříznivých povětrnostních podmínek nebo při kalibrování zařízení, ve srovnání s displeji vykazuje sebevědomé čtení – i když se tyto sebevědomé čtení během validace ukáže.
Problém výpočetní ekonomiky
Nebylo by obtížné snížit halucinace pomocí poznatků papíru. Zavedené metody kvantifikace nejistoty mají existoval pro desetiletí. Mohly by být použity k poskytnutí důvěryhodných odhadů nejistoty a vést AI k provedení chytřejších rozhodnutí.
Ale i kdyby problém uživatelů nelíbil tuto nejistotu, existuje větší překážka: výpočetní ekonomika. Modely jazyků s nejistotou vyžadují výrazně více výpočtu než dnešní přístup, protože musí vyhodnotit více možných odpovědí a odhadnout úroveň spolehlivosti. Pro systémové zpracování milionů dotazů denně se to promítá do dramaticky vyšších provozních nákladů.
Sofistikovanější přístupy Stejně jako aktivní učení, kde systémy AI žádají objasňující otázky ke snížení nejistoty, mohou zlepšit přesnost, ale dále vynásobit výpočetní požadavky. Takové metody dobře fungují ve specializovaných doménách, jako je design čipů, kde špatné odpovědi stojí miliony dolarů a ospravedlňují rozsáhlý výpočet. U spotřebitelských aplikací, kde uživatelé očekávají okamžité odpovědi, se ekonomika stane neúspěšnou.
Počet se dramaticky posune pro systémy AI, které řídí kritické obchodní operace nebo hospodářskou infrastrukturu. Když agenti AI řeší logistiku dodavatelského řetězce, finanční obchodování nebo lékařskou diagnostiku, náklady na halucinace daleko přesahují náklady na to, aby se modely rozhodly, zda jsou příliš nejisté. V těchto oblastech se navrhovaná řešení dokumentu stávají ekonomicky životaschopná – dokonce nezbytná. Nejistí agenti AI budou muset jen stát více.
Spotřebitelské aplikace však stále dominují prioritám rozvoje AI. Uživatelé chtějí systémy, které poskytují sebevědomé odpovědi na jakoukoli otázku. Hodnocení měřítka odměňování systémů, které spíše hádají, než vyjadřují nejistotu. Výpočetní náklady upřednostňují rychlé, příliš sebevědomé odpovědi nad pomalými a nejistými.
Klesající náklady na energii na token a postupující architektury Chip mohou nakonec učinit dostupnější, aby se AIS rozhodl, zda jsou dostatečně jisti, aby odpověděli na otázku. Relativně vysoké množství požadovaného výpočtu ve srovnání s dnešním odhadem však zůstane, bez ohledu na absolutní náklady na hardware.
Stručně řečeno, papír OpenAI neúmyslně zdůrazňuje nepříjemnou pravdu: obchodní pobídky, které řídí rozvoj spotřebitelů AI, zůstávají zásadně vyrovnány se snížením halucinací. Dokud se tyto pobídky nezmění, halucinace budou přetrvávat.
Tento upravený článek je znovu publikován Konverzace Podle licence Creative Commons. Přečtěte si Původní článek.
