Ofsted opět odmítl vydat data ukazující, kolik lidí podpořilo nebo proti jeho plánům inspekcí vysvědčení – řekl, že „velká většina“ z 6 500 odpovědí nebyla ve skutečnosti kategorizována podle „sentimentu“.
Právní experti na veřejné konzultace uvedli, že přijetí znamená, že tvůrci rozhodnutí jsou „rizikem“. Ofsted nebyly „poskytnuty příslušné informace“, aby mohly informovat o svých plánech generálních oprav inspekcí.
Hlídací pes používá AI ke kódování odpovědí také nyní čelí prozkoumání kvůli obviněním, že by mohlo být „nespolehlivé“, s potenciálními širšími důsledky pro použití takové technologie při vládních konzultacích.
Ofsted odmítá propuštění (opět)
V reakci na zjištění Pepe Di’Iasio, generální sekretář svazu lídrů ASCL, řekl, že proces byl „velmi chybný“.
„Je těžké pochopit, jak mohli tvůrci rozhodnutí podrobně porozumět odpovědím na konzultace,“ dodal.
Inspekční konzultace Ofstedu probíhaly od února do dubna. Skládal se ze 102 otevřených otázek k navrhovaným změnám inspekcí, které začaly ve školách tento týden. Tři čtvrtiny respondentů byli odborníci na vzdělávání.
Ofsted zveřejnil pouze popisné shrnutí svých konzultačních zjištění v září, přestože uvedl, že má k dispozici údaje o „sentimentech“ odpovědí.
Školní týden požádal o tyto údaje podle zákona o svobodném přístupu k informacím. Požádali jsme o celkové odpovědi na základě kategorií sentimentu Ofsted – pozitivní, negativní, smíšený a neutrální. Požádali jsme o to, aby byly rozděleny podle jednotlivých otázek.
‚Většina odpovědí není kódována‘
Ofsted ve své odpovědi zaslané v pátek opět odmítl informace zveřejnit. Ke své analýze však poskytla nové podrobnosti.
Ofsted použil „hybridní přístup“, aby se podíval na „obrovské množství kvalitativních dat“. Lidští kodéři analyzovali „malý podíl“ časných odpovědí. Kódovali každou jednotlivou odpověď „podle tématu a podle sentimentu“.
Poté, co byla konzultace uzavřena, byl k „analýze všech odpovědí“ použit model umělé inteligence. Umělá inteligence však místo toho „vytvořila několik témat na otázku“ a poté „popsala každé téma spíše než individuální odpověď sentimentem“.
Ofsted ve své odpovědi FOI uvedl: „Naprostá většina odpovědí nebyla přímo kódována sentimentem na individuální úrovni.“ Dodal, že hybridní přístup „poskytuje celkové pochopení pocitů a názorů“.
Ofsted také odmítl vydat údaje o sentimentu shromážděné lidskými kodéry, protože nebyly „reprezentativní“.
„Zveřejňování údajů o sentimentu prvních respondentů v izolaci by bylo zavádějící a potenciálně by vedlo k nesprávným závěrům, které by veřejnost vyvodila,“ dodala Verena Braehler, zástupkyně ředitele Ofsted pro výzkum.
Generální tajemník National Education Union Daniel Kebede řekl, že reakce „jen přilévá olej do ohně“.
„Přesná analýza všech odpovědí byla to nejmenší, co jsme měli očekávat, a nemůžeme ani zaručit, že tomu tak bylo,“ řekl. „Mnozí učitelé, kteří se zúčastnili, by měli mít alespoň možnost věřit tomu, že jejich odpovědi byly přečteny.“
„Nepočítali jsme zaškrtnutá políčka“
Ofsted však řekl, že metoda námětu je „stejně smysluplná“ jako kódování individuálních odpovědí podle sentimentu.
Konzultace „nebyla kvantitativním cvičením a nepočítali jsme zaškrtnutá políčka – byl to volný text a lidé vyjádřili řadu názorů a pocitů v rámci a napříč svými individuálními odpověďmi, které byly všechny zachyceny v naší analýze a zohledněny v naší odpovědi na konzultaci“.
Když byly zobrazeny podrobnosti o reakci Ofsted na FOI, Sam Hart, spolupracovník advokátní kanceláře Sharpe Pritchard LLP, řekl: „Existuje riziko, že rozhodovací orgány v Ofstedu (nebyly) poskytnuty relevantní informace.“
„Zásady střelby“ jsou judikaturou, která stanoví normy pro to, jak by měly být konzultace vedeny. Čtvrtý říká, že před přijetím rozhodnutí je třeba věnovat odpovědím „svědomitou pozornost“.
Hart řekl, že Ofstedova reakce musí být „dostatečně robustní, aby zajistila, že jednotlivé reakce budou svědomitě zváženy“. Dodal, že existuje „riziko, že umělá inteligence může i za okolností přehlédnout nebo upřednostnit názory menšin“.
Andrea Squires, partnerka právnické firmy Winckworth Sherwood, dodala, že existuje otázka, zda Ofsted „jednal rozumně“ při používání AI.
„Umělou inteligenci používáme eticky“
Používání umělé inteligence se při analýze vládních konzultací stává stále běžnějším. Jeden nástroj používaný ministerstvy – Konzultujte – uvádí, že nedávné hodnocení zjistilo, že přesně určil témata v 60 procentech odpovědí na konzultace.
Školní týden požádal Ofsted o podrobnosti o přesnosti modelu AI, který používal, ale odmítl tyto informace poskytnout.
Mluvčí řekl, že „používají AI zákonně, eticky a zodpovědně. Zajišťujeme smysluplnou lidskou kontrolu a ověřování procesů AI a náležitý lidský dohled nad používáním AI.“
Průzkumy, fokusní skupiny, testovací návštěvy a setkání zúčastněných stran rovněž vedly k jejich inspekčním rozhodnutím.
Odborový svaz lídrů NAHT zvažuje, zda se odvolat proti odmítnutí vrchního soudu zahájit soudní přezkum nových inspekcí Ofstedu.
Generální tajemník Paul Whiteman řekl: „Opakovaně jsme vyzvali Ofsted, aby plně zveřejnil všechny své analýzy konzultačních odpovědí. Skutečnost, že nebudou, mluví za mnohé.“
