OpenAI zavádí benchmark IndQA pro hodnocení systémů AI na indické kultuře a jazycích

OpenAI oznámila spuštění nového benchmarku IndQA pro hodnocení systémů umělé inteligence, které se zaměřují na indické jazyky, komunikační vzorce v zemi a tamní populární disciplíny.

Tvůrce ChatGPT poznamenal, že spolupracoval s více než 250 indickými odborníky napříč jazyky a doménami, aby vyvinul svůj nový benchmark IndQA zahrnující 2 278 otázek ve 12 jazycích a 10 kulturních doménách.

„Zatímco naším cílem je vytvořit podobná měřítka pro jiné jazyky a regiony, Indie je zřejmým výchozím bodem. Indie má asi miliardu lidí, kteří nepoužívají angličtinu jako svůj primární jazyk, 22 úředních jazyků (včetně alespoň sedmi s více než 50 miliony mluvčích) a je druhým největším trhem ChatGPT,“ uvedl OpenAI na blogu.

Témata, na která se IndQA zaměřuje, jsou Architektura a design, Umění a kultura, Každodenní život, Jídlo a kuchyně, Historie, Právo a etika, Literatura a lingvistika, Média a zábava, Náboženství a spiritualita a Sport a rekreace.

Pokryté jazyky zahrnují bengálština, angličtina, hindština, kannadština, maráthština, odia, telugština, gudžarátština, malajálamština, pandžábština, tamilština a dokonce i hinglish.

„Používáme IndQA k vyhodnocení výkonu nejnovějších hraničních modelů a zmapování pokroku za posledních několik let. S IndQA můžeme vidět, že modely OpenAI se v průběhu času výrazně zlepšily v indických jazycích (s výhradami⁠), ale stále mají značný prostor pro zlepšení. Těšíme se na zlepšení výkonu a sdílení výsledků u budoucích modelů,“ poznamenal OpenAI ve svém příspěvku na blogu.

Společnost se snaží rozšířit svou přítomnost v Indii, protože zakládá svou první indickou pobočku v Dillí a snaží se najmout talenty v zemi a také inzerovat své produkty indickým zákazníkům.

Minulý měsíc OpenAI oznámila, že uživatelé v Indii mohou získat její nízkonákladovou nabídku ChatGPT Go na rok zdarma.