Fotografie souboru: Skupina AI MLCommons představila dva nové benchmarky, které mohou pomoci určit, jak rychle může špičkový hardware a software s aplikací AI spouštět. | Foto kredit: Reuters
Skupina umělé inteligence MLCommons představila dva nové benchmarky, které uvedla, že může pomoci určit, jak rychle může špičkový hardware a software spustit aplikace AI.
Od spuštění ChatGPT OpenAI před více než dvěma lety se společnosti Chip začaly zaměřit na výrobu hardwaru, který může efektivně spustit kód, který umožňuje milionům lidí používat nástroje AI. Vzhledem k tomu, že základní modely musí reagovat na mnoho dalších dotazů na napájení aplikací AI, jako jsou chatboty a vyhledávače, MLCommons vyvinul dvě nové verze svých MLPERF benchmarků, aby měřila rychlost.
Jeden z nových benchmarků je založen na tzv. Llama 3.1 405 miliardovém modelu AI AI Meta a testovací zaměření se zaměřuje na obecnou otázku odpovědí na matematiku a generování matematiky a kódu. Nový formát testuje schopnost systému zpracovávat velké dotazy a syntetizovat data z více zdrojů.
NVIDIA předložila několik svých čipů pro benchmark, stejně jako stavitelé systémů, jako jsou Dell Technologies. Podle údajů poskytnutých společností MlCommons nebyly žádné pokročilé podání mikropodniků pro velký referenční hodnota 405 miliard parametrů.
Pro nový test byla nejnovější generace serverů umělé inteligence NVIDIA – nazvaná Grace Blackwell, které mají uvnitř 72 jednotek grafiky NVIDIA Graphics (GPU) – 2,8 až 3,4krát rychlejší než předchozí generace, i když pouze používání osmi GPU v Newer Server vytvořily přímé srovnání s starším modelem, která byla uvedena v úterý.
NVIDIA pracuje na urychlení připojení čipů uvnitř jejích serverů, což je důležité v práci AI, kde chatbot běží na více čipů najednou.
Druhý benchmark je také založen na modelu AI s otevřeným zdrojovým kódem vytvořeným Meta a testovacím cílem je těsněji simulovat očekávání výkonu stanovených spotřebitelskými aplikacemi AI, jako je CHATGPT.
Cílem je zpřísnit dobu odezvy pro benchmark a přiblížit se k okamžité reakci.
Publikováno – 3. dubna 2025 09:49 IS
