Algoritmy „Predikce vraždy“ odrážejí některé ze Stalinových nejstrašnějších politik – vlády šlapují velmi nebezpečnou linií při jejich prohlížení | Akhil Bhardwaj
Popisující hrůzy komunismu pod Stalinem a dalšími, laureát Nobelovy laureát Aleksandr Solzhenitsyn napsal ve svém Magnum Opus, „The GULAG ARCHIPELAGO„To„ linie rozdělující dobro a zlé prořízne srdcem každé lidské bytosti. “Ve skutečnosti, za komunistického režimu, byli občané ze společnosti odstraněni, než mu mohli způsobit újmu. Toto odstranění, které často znamenalo výlet do práce Kemp, ze kterého se mnozí nevrátili, se uskutečnil způsobem, který zbavil obviněného z řádného procesu. V mnoha případech pouhé podezření nebo dokonce naznačuje, že by mohl dojít k činu proti režimu, stačí k tomu, aby si vydělal jednosměrnou lístku s malým až žádným postižením. Základní předpoklad zde, který úředníci věděli, kdy by někdo mohl spáchat přestupek. Jinými slovy, vymáhání práva věděl kde tato linie leží v srdcích lidí.
Vláda Spojeného království se rozhodla pronásledovat tuto chiméru investováním do a naprogramovat To se snaží předběžně identifikovat, kdo by mohl spáchat vraždu. Projekt konkrétně používá vládní a policejní údaje k profilování lidí k „předpovědi“, kteří mají velkou pravděpodobnost spáchat vraždu. V současné době je program ve své výzkumné fázi, přičemž podobné programy se používají pro kontext rozhodování o probaci.
Takový program, který redukuje jednotlivce na datové body, přináší obrovská rizika, která by mohla převážit k jakýmkoli ziskům. Za prvé, výstup takových programů je není bez chybcož znamená, že by to mohlo nesprávně implikovat lidi. Za druhé, nikdy nebudeme vědět, zda předpověď byla nesprávná, protože neexistuje způsob, jak vědět, zda se něco nestane – byla zabráněna vražda, nebo by to nikdy nedošlo, zůstává nezodpovědná? Zatřetí, program může být zneužíván oportunními aktéry, aby ospravedlnili cílení na lidi, zejména menšiny – schopnost tak učinit je do byrokracie.
Zvažte: Základ a byrokratický stav spočívá na jeho schopnosti omezit lidské bytosti na čísla. Přitom nabízí výhody účinnosti a spravedlnosti – nikdo by neměl mít preferenční zacházení. Bez ohledu na status nebo příjmy osoby by DMV (DVLA ve Velké Británii) ošetřovala žádost o řidičský průkaz nebo její obnovení stejným způsobem. Ale dochází k chybám a navigace v labyrintu byrokratických postupů k jejich napravení není snadný úkol.
Ve věku algoritmů a Umělá inteligence (AI), tento problém odpovědnosti a využití v případě chyb se stal mnohem naléhavější.
„Zlomení odpovědnosti“
Matematik Cathy O’Neil má zdokumentováno Případy nesprávného ukončení učitelů škol kvůli špatnému skóre vypočtené algoritmem AI. Algoritmus byl zase podpořen tím, co lze snadno měřit (např. Skóre testu), spíše než účinností výuky (špatný student, který student významně zlepšil nebo kolik učitelů pomohlo studentům netvatifikovatelným způsobem). Algoritmus také leskl, zda došlo k inflaci třídy v předchozích letech. Když učitelé zpochybňovali úřady na přezkumy výkonu, které vedly k jejich propuštění, vysvětlení, které obdržela, bylo ve formě „matematiky nám, abychom to udělali“ – dokonce i poté, co úřady připustily, že základní matematika nebyla 100% přesná.
Pokud je potenciální budoucí vrah preventivně zatčen, styl „Zpráva o menšině“, jak můžeme vědět, zda se osoba možná rozhodla sama o sobě, aby nedopustila vraždu?
Akhil Bhardwaj
Použití algoritmů proto vytváří to, co novinář Dan Davies nazývá “Potopivost„ – Snižuje odpovědnost tím, že to zajistí Nikdo nebo subjekt nemůže být odpovědnýa zabrání tomu, aby osoba zasažená rozhodnutím byla schopna vyřešit chyby.
To vytváří dvojí problém: odhady algoritmu mohou být chybné a algoritmus se neaktualizuje, protože nikdo není považován za odpovědný. Nelze očekávat, že žádný algoritmus bude neustále přesný; Může být kalibrován novými daty. Ale to je idealistický pohled ani ve vědě neplatí;; Vědci mohou odolat Aktualizace teorie nebo schématu, zejména pokud jsou do ní silně investovány. A podobně a nepřekvapivě byrokracie ne snadno aktualizovat jejich přesvědčení.
Použití algoritmu ve snaze předvídat, kdo je v riziku spáchání vraždy, je matoucí a neetický. Nejenže by to mohlo být nepřesné, ale neexistuje způsob, jak zjistit, zda je systém správný. Jinými slovy, pokud je potenciální budoucí vrah preventivně zatčen, „Zpráva o menšině“-styl, jak můžeme vědět, zda se osoba mohla rozhodnout sama o sobě, aby nedopustila vraždu? Vláda Spojeného království ještě musí objasnit, jak má v úmyslu tento program používat kromě toho, že výzkum je prováděn pro účely „prevence a detekce nezákonných činů“
Už vidíme podobné systémy používané ve Spojených státech. V Louisianě, algoritmus s názvem Tiger (zkratka pro „cílené zásahy k většímu posílení opětovného vstupu“))-předpovídá, zda by vězeň mohl spáchat zločin, pokud by byl propuštěn, který pak slouží jako základ pro rozhodování o podmíněném propuštění. Nedávno, 70letému téměř slepému vězně byl odepřen propuštění Protože Tiger předpověděl, že má vysoké riziko opětovného urážky ..
V jiném případě, který se nakonec postavil k Nejvyššímu soudu ve Wisconsinu (Stát vs. Loomis), algoritmus byl použit k vedení odsouzení. Výzvy pro větu – včetně žádosti o přístup k algoritmu k určení, jak dosáhla svého doporučení – byly zamítnuty z důvodu, že tato technologie byla proprietární. Technologická neprůhlednost systému byla v podstatě zkomplikována způsobem, který potenciálně podkopal řádný proces.
Stejně, ne -li více obtížnější, datový soubor základní program ve Velké Británii – původně daboval Projekt predikce vraždy – Skládá se ze stovek tisíc lidí, kteří nikdy neposkytli povolení k jejich údajům, které mají být použity k tréninku systému. Horší, datový soubor – zkompilováno Pomocí údajů z ministerstva, Greater Manchesterské policie spravedlnosti a policejního národního počítače-obsahuje osobní údaje, včetně, ale nejen, informace o závislosti, duševním zdraví, postižení, předchozích případech sebepoškozování a zda se stali oběťmi zločinu. Zahrnuty jsou také ukazatele, jako je pohlaví a rasa.
Tyto proměnné přirozeně zvyšují pravděpodobnost zaujatosti proti etnickým menšinám a jiným marginalizovaným skupinám. Předpovědi algoritmu tedy mohou jednoduše odrážet možnosti policie minulosti – prediktivní algoritmy AI se spoléhají na Statistická indukceTakže promítají minulé (znepokojující) vzorce v datech do budoucnosti.
Údaje navíc zasazují černé pachatele z bohatých oblastí a veškeré etnicity z zanedbaných čtvrtí. Minulé studie ukazují, že algoritmy AI, které vytvářejí předpovědi o chování Černé pachatelé než pro jiné skupiny. Taková zjištění se jen málo zhoršují obavy To, že rasové menšinové skupiny a další zranitelné skupiny budou nespravedlivě zaměřeny.
Solzhenitsyn ve své knize informoval západní svět o hrůzách byrokratického stavu, který sebral své občany ve službě ideálu, s malým ohledem na prožívanou zkušenost lidských bytostí. Stát se téměř vždy mýlil (zejména z morálních důvodů), ale samozřejmě neexistoval žádná Culpa. Ti, kteří byli poškozeni, byli jednoduše zapomenutím kolaterálního poškození.
Nyní, o půl století později, je docela zvláštní, že demokracie jako Spojené království reviduje strašný a neúspěšný projekt z autoritářské komunistické země jako způsob “ochrana veřejnosti„Veřejnost musí být chráněna – nejen před zločinci, ale také před“Technopoly„To nesmírně nadhodnocuje roli technologie při budování a udržování zdravé společnosti.
