Spojování neurověd a LLM pro efektivní a interpretovatelné systémy umělé inteligence

NSLLM spojuje LLM a neurovědu

Velké jazykové modely (LLM) se staly klíčovými nástroji při hledání umělé obecné inteligence (AGI). Jak se však uživatelská základna rozšiřuje a frekvence používání se zvyšuje, nasazení těchto modelů vyžaduje značné výpočetní a paměťové náklady, což omezuje jejich potenciál sloužit jako základní infrastruktura pro lidskou společnost. Současné LLM navíc obecně postrádají interpretovatelnost: jejich neprůhledné rozhodovací a optimalizační procesy ztěžují zajištění spolehlivosti a spravedlnosti ve vysoce rizikových oblastech, jako je zdravotnictví a finance. Naproti tomu lidský mozek vykonává složité úkoly s výkonem méně než 20 wattů, přičemž ve svých kognitivních procesech vykazuje pozoruhodnou transparentnost. Tento ostrý kontrast podtrhuje propast mezi LLM a lidským poznáním a představuje dvojí výzvu: na jedné straně je zlepšení výpočetní účinnosti LLM zásadní pro zvýšení energetické účinnosti a šetření zdrojů; na druhé straně je zlepšení jejich interpretovatelnosti klíčové pro lepší pochopení interakcí a funkcí komponent ve velkých systémech.
K překonání interdisciplinárního úzkého místa tato studie navrhuje jednotný rámec, který transformuje konvenční LLM na NSLLM prováděním celočíselného počítání špiček a binární konverze špiček, přičemž zahrnuje lineární mechanismus pozornosti založený na špičkách. Tento rámec spojuje neurovědu a velké jazykové modely a nabízí platformu pro aplikaci nástrojů neurovědy v LLM. Zavedením celočíselného tréninku s binární inferencí jsou výstupy standardních LLM převedeny na vrcholové reprezentace, což umožňuje nástrojům neurovědy analyzovat zpracování informací.

Ultra-nízkoenergetický software-hardware společně navržený MatMul-free LLM

Pro ověření energetické účinnosti tohoto přístupu studie implementuje vlastní výpočetní architekturu bez MatMul pro model v měřítku miliardy parametrů na platformě FPGA. Konkrétně se strategie kvantování po vrstvách a hierarchické metriky citlivosti používají k posouzení dopadu každé vrstvy na kvantizační ztrátu, což umožňuje konfiguraci optimálního modelu špiček se smíšeným časovým krokem, který dosahuje konkurenceschopného výkonu při nízkobitové kvantizaci. Kromě toho je zavedena strategie rozdělování pomocí kvantizace, která přetváří distribuci membránového potenciálu a posouvá pravděpodobnost kvantizačního mapování směrem k nižším celočíselným hodnotám, což výrazně snižuje rychlost vypalování špiček a dále zlepšuje efektivitu modelu. Na VCK190 FPGA je navrženo hardwarové jádro bez MatMul, které zcela eliminuje operace násobení matic v NSLLM, snižuje dynamickou spotřebu energie na 13,849 W a zvýší propustnost na 161,8 tokenů/s. Ve srovnání s GPU A800 tento přístup dosahuje 19,8× vyšší energetické účinnosti, 21,3× úspory paměti a 2,2× vyšší inferenční propustnosti.

Vylepšená interpretovatelnost prostřednictvím nárůstu nervových populací

Transformací chování LLM do neurálních dynamických reprezentací – jako jsou spike trains – prostřednictvím rámce NSLLM, můžeme analyzovat jak dynamické vlastnosti jejich neuronů (např. náhodnost kvantifikovanou kolmogorovskou-Sinai entropií), tak jejich charakteristiky zpracování informací (např. Shannonova entropie a vzájemné informace). To umožňuje jasnější interpretaci výpočetních rolí, které hrají NSLLM. Experimentální výsledky ukazují, že model kóduje informace efektivněji při zpracování jednoznačného textu, což mu umožňuje rozlišovat mezi nejednoznačnými a jednoznačnými vstupy (např. střední vrstvy vykazují vyšší normalizovanou vzájemnou informaci pro nejednoznačné věty; vrstva AS vykazuje odlišné dynamické podpisy, které odrážejí její roli v řídkém zpracování informací; a vrstva FS má vyšší vzájemnou entropii Shannon a Srelnon, což naznačuje silnější přenosovou kapacitu pozitivní informace mezi Shannonem. naznačuje, že vrstvy s vyšší informační kapacitou lépe zachovávají klíčové vstupní vlastnosti). Integrací neurální dynamiky s informačně-teoretickými opatřeními poskytuje tento rámec biologicky inspirovanou interpretovatelnost pro mechanismy LLM a zároveň významně snižuje požadavky na data.

Neurovědecký výzkum ukázal, že lidský mozek dosahuje energeticky efektivního zpracování informací prostřednictvím řídkých a událostmi řízených výpočtů, čímž se zvyšuje jak efektivita komunikace, tak interpretovatelnost systému. Na základě tohoto principu tým vyvinul interdisciplinární jednotný rámec, který zavádí neuromorfní alternativu k tradičním LLM a zároveň poskytuje výkon srovnatelný s mainstreamovými modely podobného rozsahu napříč zdravým rozumem a řadou složitějších rozsáhlých modelových úloh, včetně čtení s porozuměním, odpovědí na otázky o znalostech světa a matematiky. Tento rámec nejen posouvá hranice energeticky účinné umělé inteligence, ale nabízí také nové pohledy na interpretovatelnost velkých jazykových modelů a poskytuje cenné poznatky pro návrh budoucích neuromorfních čipů.