Vědci v oblasti bezpečnosti varují, že s tím, jak se modely AI stávají silnějšími, riziko zneužití poroste, pokud společnosti a vlády nebudou jednat rychle (spis) | Fotografický kredit: Hind
Antropic ve středu uvedl, že to zjistilo a zablokovalo hackery, kteří se pokoušejí zneužití svého systému Claude AI Chcete -li napsat phishingové e -maily, vytvořte škodlivé kód a obklíkněte bezpečnostní filtry.
Zjištění společnosti, zveřejněná ve zprávě, zdůrazňují rostoucí obavy, že nástroje AI jsou stále více využívány v počítačové kriminalitě, což zintenzivňuje výzvy pro technologické firmy a regulační orgány, aby posílily záruky, jak se technologie šíří.
Antropická zpráva uvedla, že její vnitřní systémy zastavily útoky a sdílela případové studie, což ukazuje, jak se útočníci pokusili použít Claude k produkci škodlivého obsahu, aby pomohli ostatním pochopit rizika.
Zpráva citovala pokusy použít Claude k návrhu phishingových e -mailů na míru, psát nebo opravit úryvky škodlivého kódu a záruky na boje prostřednictvím opakované výzvy.
Popsala také úsilí o skriptování ovlivněných kampaní generováním přesvědčivých příspěvků v měřítku a pomoci hackerům s nízkou kvalifikací s pokyny krok za krokem.
Společnost, podporovaná společností Amazon.com a Alphabet, nezveřejnila technické ukazatele, jako jsou IPS nebo výzvy, ale uvedla, že zakázala zapojené účty a po detekci aktivity zpřísnila své filtry.
Odborníci tvrdí, že zločinci se stále více obrací k AI, aby podvody byli přesvědčivější a urychlili pokusy o hackerství. Tyto nástroje mohou pomoci napsat realistické phishingové zprávy, automatizovat části vývoje malwaru a dokonce potenciálně pomáhat při plánování útoků.
Vědci v oblasti bezpečnosti varují, že s tím, jak se modely AI stávají silnějšími, riziko zneužití poroste, pokud společnosti a vlády nebudou jednat rychle.
Antropic uvedl, že následuje přísné bezpečnostní postupy, včetně pravidelného testování a externích recenzí, a plánuje vezměnky na zveřejňování zpráv, když najde hlavní hrozby.
Microsoft a SoftBank-Backed OpenAI a Google čelili podobnému kontrole nad obavami, které by jejich modely AI mohly být využito pro hackování nebo podvody, což vyžadovalo výzvy k silnějším zárukám.
Vlády se také stěhují, aby tuto technologii regulovaly, přičemž Evropská unie postupovala vpřed se svým zákonem o umělé inteligenci a Spojené státy prosazovaly dobrovolné bezpečnostní závazky od hlavních vývojářů.
Publikováno – 28. srpna 2025 09:38
