„Jsme stále na začátku cesty AI“

Zájem o neuronové sítě se na počátku roku 2000 obnovil, poháněné pokrokem v hardwaru a přístupem k masivním datovým souborům (souboru) | Foto kredit: Reuters

Umělá inteligence (AI) dosáhla v posledních letech pozoruhodné kroky, ale podle odborníka na strojové učení Shreyas Subramanian je stále co odhalit.

Pochopit evoluci AI a kam směřuje, Spojil jsem se s Subramanianem, hlavním vědcem údajů v AWS, ON Rozhraní PodcastShromáždit své poznatky o vývoji hlubokých neuronových sítí, vzestupu transformátorů a širší trajektorie AI.

Subramanian, který sledoval kořeny neuronových sítí k časným konceptualizaci umělých neuronů, vysvětlil práci Franka Rosenblatta v padesátých letech s modelem Perceptronu.

„Tyto perceptrony jsou jednoduché jednotky pro rozpoznávání vzorů,“ vysvětlil. „Překvapivě se stále používají dodnes v hustých vrstvách a adaptérech, aby byly velké jazykové modely efektivnější.“

Tato základní technologie položila základy pro neuronové sítě, jejichž cílem bylo stát se univerzální funkcí aproximátory, které by mohly mapovat jakýkoli vstup k jakémukoli výstupu.

Vzestup neuronových sítí

Zájem o neuronové sítě se na začátku roku 2000 obnovil, poháněný pokrokem v hardwaru a přístupem k masivním datovým souborům. Subramanian zdůraznil klíčovou roli Alexnetu, který popularizoval hluboké konvoluční neuronové sítě (CNN) tím, že vyhrál soutěž Imagenet. „Alexnet stanovil základní linii stohováním perceptronů, zavedením nervových sítí s hlubokým konvolucí a využitím pokroku GPU,“ poznamenal.

CNNS transformoval rozpoznávání obrazu pomocí konvolučních operací, podobný posunutí barevného plastového filtru přes obrázek, aby se zvýraznil specifické funkce, dramaticky zlepšil klasifikační úkoly a připravoval cestu pro moderní aplikace AI.

Zatímco CNN revolucionizovaly zpracování obrazu, postrádaly paměťové schopnosti, které se zabývaly opakujícími se neuronovými sítěmi (RNN). „Chybějící složkou z rané literatury CNN byla schopnost vytvářet paměť,“ řekl Subramanian. RNNS zavedla mechanismy, které si v průběhu času uchovávají informace, ačkoli bojovaly s problémy, jako je problém s mizejícím gradientem.

K překonání těchto omezení umožnily architektury, jako jsou sítě dlouhé krátkodobé paměti (LSTM) a brány opakující se jednotky (GRUS) (GRUS), specializované paměťové moduly, což umožňuje AI efektivněji zvládnout složité časové závislosti.

Inspirován lidským mozkem

Vývoj AI často čerpal inspiraci neurovědy, ačkoli Subramanian uznal mezeru mezi umělou a biologickou inteligencí. „Stále nechápeme dostatečně o mozku, abychom replikovali jeho účinnost,“ připustil. Schopnost lidského mozku zpracovávat smyslové vstupy paralelně, přizpůsobovat se neuroplasticitou a provádět energeticky účinné výpočty, zůstává bezkonkurenční.

Navzdory modelům AI se může pochlubit miliardami parametrů, stále nedosahují schopností mozku. „Dnešní modely velkých jazyků přesahují počet neuronů v lidském mozku, přesto jsou omezené ve srovnání s účinností a flexibilitou mozku,“ poznamenal Subramanian.

Jedním z milníků na cestě AI byl vývoj Alphago DeepMind, který prokázal sílu posilovacího učení a hlubokých neuronových sítí. „Překonal lidský výkon ve hře Go, spoléhal se na hluboké strategie učení a posílení, aby zvládl složité rozhodování,“ odrážel Subramanian. Úspěch AlphaGo zdůraznil potenciál AI ve strategickém uvažování a dlouhodobém plánování, což ovlivnilo pokroky mimo hraní.

Revoluce transformátoru

V roce 2017 se AI vydala vpřed se zavedením architektury transformátoru, zejména při zpracování přirozeného jazyka. Seminární papír „Pozornost je vše, co potřebujete“, zavedla mechanismy sebevědomí, které překonali předchozí modely založené na RNN. „Transformátory eliminovaly sekvenční úzká místa a efektivně se zacházela s dlouhými sekvencemi,“ vysvětlil Subramanian.

Tato architektura vedla k modelům jako Bert a GPT, které podporovaly vzestup velkých jazykových modelů a generativní AI. Adaptabilita transformátorů z nich učinila základní pro různé aplikace, od generování textu po zobrazení obrázků a zvuku.

Průmysl AI a konkurenční prostředí

Diskutoval o konkurenční krajině a Subramanian poznamenal, jak strategické zaměření OpenAI na škálování jazykových modelů dalo výhodu nad technologickými giganty, jako je Google. „OpenAI investoval značné množství do výpočetních zdrojů a kurací dat v době, kdy ostatní váhali,“ řekl. Tento časný závazek se vyplatil s úspěchem GPT-2 a GPT-3, což vedlo k rozsáhlému adopci a obchodnímu úspěchu.

Mezitím společnosti jako Google a Amazon sledovaly různé strategie a vyvažovaly výzkum s obchodními priority. „Společnost Google se zaměřila spíše na Moonshot Projects, Zatímco Amazon zdůraznil poskytování rozmanitých řešení AI pro zákazníky“Poznamenal Subramanian.

Cesta se stále rozvíjí

Evoluce AI z jednoduchých perceptronů na modely transformativních jazyků odráží desetiletí inovací, interdisciplinárního výzkumu a technologického pokroku. Přesto, jak Subramanian zdůraznil, „jsme stále na začátku této cesty. Čím více se dozvíme o AI a neurovědě, tím více si uvědomíme, kolik toho ještě musí odhalit. “

Budoucnost AI slibuje vzrušující vývoj, poháněný pokračujícím zkoumáním umělé i biologické inteligence. Jak pole postupuje, pochopení historie AI a základních principů bude zásadní při formování jeho potenciálu a řešení problémů před námi.

(Poslechněte si úplnou diskusi s Shreyas Subramanian na podcastu rozhraní nebo Podívejte se na video na YouTube pro další poznatky.)