Potenciální zneužívání nástrojů spotřebitelů AI zvyšuje obavy, přičemž začínající kybernetičtí zločinci zjevně dokázali přimět chatboty, aby jim dali nohu při výrobě škodlivých programů.
Takzvané „hackování vibrací“, zvratu na pozitivnější „vibrace kódování“, které generativní nástroje AI Podle americké společnosti Antropic umožňuje údajně umožnit těm, kteří nemají rozsáhlé odborné znalosti dosáhnout, označuje „týkající se vývoje v kybernetické kriminalitě“.
Laboratoř, jejíž produkt Claude soutěží s největším názvem Chatbot, Chatgpt from OpenAI, zdůraznila ve zprávě zveřejněné ve středu případ „kybernetického zločince (WHO) použil Claude Code pro provádění zmenšené operace vydírání dat napříč několika mezinárodními cíli v krátkém časovém rámci“.
Antropic uvedl, že programovací chatbot byl využíván, aby pomohl provádět útoky, které „potenciálně“ zasáhly „nejméně 17 odlišných organizací v posledním měsíci napříč vládou, zdravotnictvím, pohotovostními službami a náboženskými institucemi“.
Útočník byl od té doby zakázán antropickým.
Předtím byli schopni použít kód Claude k vytváření nástrojů, které shromažďují osobní údaje, lékařské záznamy a přihlašovací údaje, a pomohli vyslat výkupné požadavky tak tuhé jako 500 000 USD.
Antropická „sofistikovaná bezpečnostní a bezpečnostní opatření“ nebyla schopna zabránit zneužití, uznala.
Takové identifikované případy potvrzují obavy, které trápily odvětví kybernetické bezpečnosti od vzniku rozšířených generativních nástrojů AI a zdaleka nejsou omezeny na antropické.
„Dnes se počítačoví zločinci na palubě zavedli stejně jako širší tělo uživatelů,“ řekl Rodrigue Le Bayon, který vede tým počítačové nouzové reakce (CERT) v Orange Cyberdefense.
Stejně jako antropic, OpenAI v červnu odhalil případ, že by chatoval pomoc uživateli při vývoji škodlivého softwaru, často označovaného jako malware.
Modely pohánějící AI chatboty obsahují záruky, která mají zabránit uživatelům v tom, aby je vložili do nelegálních činností.
Existují však strategie, které umožňují „aktérům hrozeb nulových znalostí“ extrahovat to, co potřebují k útoku na systémy z nástrojů, uvedla Vitaly Simonovič z izraelské firmy pro kybernetickou bezpečnost Cato Networks.
V březnu oznámil, že našel techniku, jak přimět chatboty, aby vytvořili kód, který by normálně porušil jejich vestavěné limity.
Přístup zahrnoval přesvědčování generativní AI, že se účastní „podrobného smyšleného světa“, ve kterém je vytváření malwaru považováno za uměleckou formu, a žádá chatbota, aby hrál roli jedné z postav a vytvořil nástroje, které jsou schopny ukrást hesla lidí.
„Mám 10 let zkušeností v oblasti kybernetické bezpečnosti, ale nejsem vývojář malwaru. Byl to můj způsob, jak vyzkoušet hranice současných LLM,“ řekl Simonovich.
Jeho pokusy byly odmítnuty Google Gemini a Antropic’s Claude, ale obešel záruky zabudované do chatgpt, čínský chatbot Deepseek a Microsoft’s Copilot.
V budoucnu takové řešení znamenají dokonce i nekodery „představí pro organizace větší hrozbu, protože nyní mohou … bez dovedností, rozvíjet malware,“ řekl Simonovich.
Orange’s Le Bayon předpověděl, že nástroje pravděpodobně „zvýší počet obětí“ počítačové kriminality tím, že útočníkům pomohou dosáhnout více, spíše než vytvořit zcela novou populaci hackerů.
„Nevidíme velmi sofistikovaný kód vytvořený přímo chatboty,“ řekl.
Le Bayon dodal, že jak se generativní nástroje AI používají stále více a více, „jejich tvůrci pracují na analýze dat využití“, což jim v budoucnu umožňuje „lépe detekovat škodlivé použití“ chatbotů.
Publikováno – 2. září 2025 2:11
