Výzkum zdůrazňuje nespolehlivé odpovědi většiny uživatelů Amazon Mturk, s výjimkou „mistrovských“ pracovníků

Nová studie vedená Dr. Vadimem Axelrodem z multidisciplinárního výzkumného střediska mozku Gonda (Goldschmied) na baro-ilanské univerzitě odhalila vážné obavy z kvality údajů shromážděných na Amazon Mechanical Turk (MTurk)-široce používanou pro behaviorální a psychologický výzkum.

Mturk, online crowdsourcingový trh, kde jednotlivci plní malé úkoly pro platbu, sloužil jako klíčový zdroj pro výzkumné pracovníky více než 15 let. Přes předchozí obavy o kvalitu účastníků zůstává platforma v akademické komunitě populární. Tým Dr. Axelroda se rozhodl přísně posoudit současnou kvalitu údajů produkovaných účastníky MTURK.

Studie zahrnující více než 1300 účastníků napříč hlavními a replikačními experimenty použila přímou, ale výkonnou metodu: opakování stejných položek dotazníku k měření konzistence odpovědi. „Pokud je účastník spolehlivý, měly by být jejich odpovědi na opakované otázky konzistentní,“ dodal Dr. Axelrod. Studie navíc zahrnovala různé typy otázek „úlovky“, na které by měl snadno odpovědět jakýkoli pozorný respondent.

Zjištění, právě zveřejněná v Královská společnost otevřená vědaByli to ostré: Většina účastníků z MTurkova obecného pracovního fondu selhala v kontrolách pozornosti a prokázala vysoce nekonzistentní reakce, i když byl vzorek omezen na uživatele s hodnocením 95% nebo vyšší.

„Je těžké věřit údajům někoho, kdo tvrdí, že běžec není po dokončení maratonu za extrémně horkého počasí unavený nebo Diagnóza rakoviny by někoho potěšil, “poznamenal Dr. Axelrod.

„Účastníkům postrádal znalosti, aby odpověděli na takové otázky úchytu pozornosti – prostě nevěnovali dostatečnou pozornost. Důsledkem je, že jejich reakce na hlavní dotazník mohou být stejně náhodné.“

Naproti tomu Amazonské elitní „mistrovské“ pracovníci-vybraní Amazonem založeným na vysokém výkonu v předchozích úkolech-důsledně vytvářeli vysoce kvalitní údaje. Autoři doporučují používat Master Workers pro budoucí výzkum, přičemž s ohledem na to, že tito účastníci jsou mnohem zkušenější a mnohem méně.

„Spolehlivé údaje jsou základem jakékoli empirické vědy,“ řekl Dr. Axelrod. „Vědci musí být plně informováni o spolehlivosti jejich účastníka.