Několik bohatých italských podnikatelů dostalo začátkem tohoto roku překvapivý telefonní hovor. Řečník, který zněl stejně jako ministr obrany Guido Crosetto, měl zvláštní žádost: Pošlete prosím peníze, aby nám pomohli bezplatným uneseným italským novinářům na Středním východě.
Ale na konci řádku to nebylo Crosetto. O hovorech se dozvěděl pouze tehdy, když ho o nich několik cílených podnikatelů kontaktovalo. Nakonec se ukázalo, že podvodníci použili umělou inteligenci (AI) k falešnému Crosettovu hlasu.
Doporučené příběhy
Seznam 4 položekkonec seznamu
Pokroky v technologii AI znamenají, že je nyní možné generovat ultrarealistické hlasové převahy a zvukové bajty. Nový výzkum skutečně zjistil, že hlasy generované AI jsou nyní nerozeznatelné od skutečných lidských hlasů. V tomto vysvětlovateli rozbalíme, jaké by to mohly být důsledky.
Co se stalo v případě Crosetto?
Několik italských podnikatelů a podnikatelů přijalo hovory na začátku února, měsíc poté, co premiér Giorgia Meloni zajistil propuštění italského novináře Cecilia Salakteří byli uvězněni v Íránu.
Ve hovorech, „Deepfake“ Voice of Crosetto požádal podnikatele, aby na zámořský bankovní účet připojili asi jeden milion EUR (1,17 milionu USD), jehož podrobnosti byly poskytnuty během hovoru nebo v jiných hovorech, které údajně byly od členů zaměstnanců Crosetto.
6. února Crosetto zveřejnil na X a řekl, že 4. února dostal hovor od „Přítel, významného podnikatele“. Ten přítel se zeptal Crosetta, zda jeho kancelář volala, aby požádala o své mobilní číslo. Crosetto řekl, že to tak není. „Říkám mu, že to bylo absurdní, jak jsem to už měl, a že to nebylo možné,“ napsal ve svém příspěvku X.
Crosetto dodal, že byl později kontaktován dalším podnikatelem, který po výzvě od „generála“, který poskytl informace o bankovním účtu, provedl velký bankovní převod.
„Zavolá mi a říká mi, že mě kontaktoval mě a poté generálem a že provedl velmi velký bankovní převod na účet poskytnutý„ generálem “. Říkám mu, že je to podvod a informuje Carabinieri (italská policie), který chodí do jeho domu a posouvá jeho stížnost.“
Podobná volání falešných úředníků ministerstva obrany byla také uskutečněna jiným podnikatelům a žádala o osobní údaje a peníze.
Zatímco to vše nahlásil policii, Crosetto dodal: „Raději zveřejňuji fakta, aby nikdo nepřevolil riziku upadnutí do pasti.“
Některé z nejvýznamnějších italských obchodních postav, jako je módní návrhář Giorgio Armani a spoluzakladatel Prady Patrizio Bertelli, byly na podvod zaměřeny. Podle úřadů však pouze Massimo Moratti, bývalý majitel Inter Milánského fotbalového klubu, skutečně poslal požadované peníze. Policie dokázala vystopovat a zmrazit peníze z převodu drátu, který provedl.
Moratti od té doby podala právní stížnost na státní zastupitelství města. Italským médiím řekl: „Samozřejmě jsem podal stížnost, ale raději bych o tom nemluvil a viděl, jak vyšetřování jde. Všechno to vypadalo skutečné. Byli dobří. Mohlo by se to stát komukoli. “
Jak funguje generování hlasu AI?
Voicové generátory AI obvykle používají algoritmy „hlubokého učení“, prostřednictvím kterých program AI studuje velké soubory dat skutečných lidských hlasů a „učí“ hřiště, výpověď, intonaci a další prvky hlasu.
Program AI je vyškolen pomocí několika zvukových klipů stejné osoby a je „učen“ napodobovat hlas, přízvuk a styl mluvení této konkrétní osoby. Generovaný hlas nebo zvuk se také nazývá hlasový klon generovaný AI.
Pomocí programů zpracování přirozeného jazyka (NLP), které mu dávají pokyn k porozumění, interpretaci a generování lidského jazyka, se AI může dokonce naučit porozumět tonálním rysům hlasu, jako je sarkasmus nebo zvědavost.
Tyto programy mohou převést text na fonetické komponenty a poté generovat syntetický hlasový klip, který zní jako skutečný člověk. Tento proces je známý jako „Deepfake“Termín, který byl vytvořen v roce 2014 Ian Goodfellow, ředitel Machine Learning ve skupině Apple Special Projects Group. Kombinuje „hluboké učení“ a „falešné“ a odkazuje na vysoce realistické obrázky AI, videa nebo zvuk, všechny generované hlubokým učením.
Jak dobří jsou při vydávání někoho?
Výzkum provedený týmem na Londýně Queen Mary University a publikoval Science Journal PLOS One 24. září dospěl k závěru, že hlasy generované AI zní jako skutečné lidské hlasy lidem, kteří je poslouchají.
Za účelem provedení výzkumu generoval tým 40 vzorků hlasů AI – jak pomocí hlasů skutečných lidí, tak vytvoření zcela nových hlasů – pomocí nástroje zvaného Elevenlabs. Vědci také shromažďovali 40 nahrávacích vzorků skutečných hlasů lidí. Všech 80 z těchto klipů bylo upraveno a vyčištěno pro kvalitu.
Výzkumný tým použil ve vzorcích mužských a ženských hlasů s britskými, americkými, australskými a indickými akcenty. Elevenlabs nabízí také „africký“ přízvuk, ale vědci zjistili, že značka přízvuku byla „příliš obecná pro naše účely“.
Tým najal 50 účastníků ve věku 18-65 let ve Velké Británii pro testy. Byli požádáni, aby poslouchali nahrávky, aby se pokusili rozlišovat mezi hlasy AI a skutečnými lidskými hlasy. Byli také dotázáni, které hlasy zněly důvěryhodněji.
Studie zjistila, že zatímco „nové“ hlasy generované výhradně AI byly pro účastníky méně přesvědčivé, hluboké nebo hlasové klony byly hodnoceny stejně realistické jako skutečné lidské hlasy.
Za skutečných lidských hlasů bylo zaměněno čtyřicet jedna procent hlasů generovaných AI a 58 procent hlasových klonů.
Účastníci navíc častěji hodnotili britské akcentované hlasy jako skutečné nebo lidské ve srovnání s těmi s americkými akcenty, což naznačuje, že hlasy AI jsou velmi sofistikované.
Více znepokojující, účastníci měli tendenci hodnotit hlasy generované AI jako důvěryhodnější než skutečné lidské hlasy. To je v rozporu s předchozím výzkumem, který obvykle zjistil, že AI hlasy méně důvěryhodné, signalizace, že AI se stala obzvláště sofistikovanou při vytváření falešných hlasů.
Měli bychom se toho všichni velmi obávat?
Zatímco zvuk generovaný AI, který zní velmi „lidský“, může být užitečný pro průmyslová odvětví, jako je reklama a editace filmů, může být zneužíván v podvodech a pro generování falešných zpráv.
Podvody podobné těm, které se zaměřily na italské obchodníky, jsou již na vzestupu. Ve Spojených státech se objevily zprávy o tom, že lidé přijímají hovory představující hluboké hlasy svých příbuzných, kteří tvrdí, že mají potíže a požadují peníze.
Od ledna do června letošního roku ztratili lidé po celém světě více než 547,2 milionu dolarů na podvody s hlubokými podvody, podle údajů společnosti AI společnosti AI se sídlem v Kalifornii podobají AI. V prvním čtvrtletí, který ukazuje vzestupný trend, se v prvním čtvrtletí zvýšila z něco přes 200 milionů dolarů na 347 milionů dolarů.
Může být video také „hluboko“?
Alarmicky, ano. Programy AI lze použít ke generování videí DeepFake videí skutečných lidí. To, v kombinaci se zvukem generovaným AI, znamená, že videoklipy lidí dělají a říkají věci, které neudělali, mohou být velmi přesvědčivě falešně.
Kromě toho je stále obtížnější rozlišit, která videa na internetu jsou skutečná a která jsou falešná.
Společnost DeepMedia, společnost pracující na nástrojích k detekci syntetických médií, odhaduje, že do konce letošního roku bude do roku 2025 vytvořeno a sdíleno přibližně osm milionů deepfakes.
Jedná se o obrovský nárůst z 500 000, které byly sdíleny online v roce 2023.
Na co jiného se používají Deepfakes?
Kromě podvodů s telefonem a falešné zprávy se AI Deepfakes používají k vytvoření sexuálního obsahu o skutečných lidech. Nejvíce znepokojující, že se podobají zprávě AI, která byla vydána v červenci, zjistila, že pokroky v AI vyústily v industrializovanou produkci materiálu sexuálního zneužívání dětí generovaného AI, který se po celém světě ohromil.
V květnu tohoto roku americký prezident Donald Trump podepsal účet učinit z něj federální zločin zveřejňovat intimní obrazy osoby bez jejich souhlasu. To zahrnuje Deepfakes generované AI. Minulý měsíc australská vláda také oznámila, že zakáže aplikaci používanou k vytvoření hlubokých nahých obrázků.
