Chcete -li zlepšit recenzi vzájemného prověrky, dejte recenzentům větší výběr (názor)

„Zdravím! Byl jsi přidán do redakčního systému našeho deníku, protože věříme, že byste sloužili jako vynikající recenzent rukopisu (neohrabaného titulu) …“

Pravděpodobně je také dostanete. Vypadá to, že se takové e -maily šíří. Systém pro vzájemné hodnocení může být stále nejlepší, co máme pro zajištění akademické kvality, ale je náchylný k přetížení člověka, preferencí a dokonce i náladě. Výsledkem může být nízká úsilí, pozdní nebo nekonstrukční recenze, ale nejprve musí editoři mít to štěstí, že najdou někoho, kdo je ochoten provést recenzi vůbec. Měl by existovat lepší způsob. Zde je představa o tom, jak přehodnotit proces přidělování recenzenta.

Tlak na vzájemné hodnocení

Jako Počet akademických dokumentů stále rosteStejně tak rozhodující úkoly. Vědci se snaží držet krok s rostoucími požadavky na zveřejnění své vlastní práce a zároveň přijímat nevděčný úkol přezkoumat práci druhých. Po brázdě, nízké úsilí, generované a dokonce i AI Plagiarizované zprávy recenzentů Najděte úrodnou půdu a krmte začarovaný kruh, který tento proces pomalu podkopává. Peer Review – podloží vědecké kontroly kvality – je pod tlakem.

Editoři experimentovali s způsoby, jak přehodnotit proces recenze vzájemného recenze. Nápady zahrnují Placení recenzentů, Distribuce revizních úkolů mezi více recenzenty (v návrzích projektu), Transparentně zveřejňování recenzí (Pro některé již možnost Příroda časopisy) nebo sledování a poskytování virtuálních kreditů za recenze (stejně jako u Publidon). V jednom aspektu však časopisy zjevně příliš experimentovaly: jak přiřadit předložené doklady kvalifikovaným recenzentům.

Standardním přístupem pro výběr recenzenta je porovnávat podepsané rozhodčí s odeslanými papíry pomocí vyhledávání klíčových slov, referenčního seznamu papíru nebo znalostí editorů o pole a komunitě. Recenzenti jsou vyzváni, aby najednou zkontrolovali pouze jeden papír – ale často se hromadně zajistili dostatek recenzí – a pokud odmítnou, může být pozván někdo jiný. Je to neproduktivní proces.

Výběr při přidělování pracovních úkolů může zlepšit výkon

Inspirován našimi Probíhající výzkum Po poskytnutí pracovníků při přidělování pracovních úkolů ve výrobním prostředí mě zasáhlo, že akademičtí rozhodčí mají omezenou volbu, když jsou požádáni o přezkoumání papíru pro deník. Je to v podstatě „ano, vezmu to“ nebo „Ne, nebudu.“ Dostanou pouze na výběr přijetí nebo odmítnutí jednoho papíru z deníku najednou. Zdá se, že to je modus operandi napříč všemi disciplínami, se kterými jsem se setkal.

V naší studii v továrním kontextu se produktivita zvýšila, když si pracovníci mohli vybrat z několika pracovních úkolů. Výrobce, se kterými jsme pracovali, implementoval systém přidělování pracovních úkolů založený na chytrých hodinách: pracovníci nosili smartwatches, které ukazují otevřené pracovní úkoly, které by mohli přijmout nebo odmítnout. V polním experimentu jsme některým pracovníkům poskytli příležitost vybrat si z nabídky otevřených úkolů místo pouze jednoho. Naše výsledky ukázaly, že poskytování výběru zlepšila pracovní výkon.

Nový přístup: volba recenzentů

Podobně jako u výrobního prostředí by akademičtí recenzenti mohli dělat lépe v systému, který je zmocňuje s možnostmi. Jeden způsob, jak zlepšit vzájemné hodnocení, může být stejně jednoduchý jako představení potenciálních rozhodčích s několika tituly zadanými papíry a abstrakty, z nichž si můžete vybrat pro kontrolu.

Výhody volby při alokaci recenzenta jsou realistické: rozhodčí mohou s větší pravděpodobností přijmout přezkum, když požádá o výběr jednoho z několika, a jejich výsledné zprávy o přezkumu by měly být včasnější a vývojovější, pokud jsou skutečně zvědaví na toto téma. Například recenzenti by si mohli vybrat jeden z omezeného souboru titulů a abstraktů, které odpovídají jejich oblasti domény nebo metodologických odborností.

Vydavatelé by to mohli zvážit sdružování podání z několika časopisů v platformě pro předložení křížového journal a peer-review. To by mohlo pomoci, aby se proces přezkumu zaměřil na výzkum, nikoli na to, kde je předložen – vyrovnáno se San Francisco Prohlášení o hodnocení výzkumu. Všiml jsem si, že na takové platformě mohou být výhodnější spíše slepé recenze než slepé Snižte zkreslení na základě přidružení a jmen.

Co se může pokazit

S ohledem na zvýšený tlak na proces publikování je přehodnocení procesu vzájemného hodnocení důležité samo o sobě. Přechod na alternativní systém založený na výběru však přináší několik nových výzev. Zaprvé existuje riziko, že autoři vystavují myšlenky širšímu souboru recenzentů, kteří by se mohli více zajímat o získání nápadů pro svůj další projekt, než se zapojit do konstruktivního procesu přezkumu.

Podobně, pokud je platforma křížovým žurnálem, mohou autoři váhat vystavit svou práci mnoha recenzentům v případě odmítnutí. Za druhé, autoři mohou být v pokušení používat tituly a abstrakty clickbait – i když to může opěrovat autory, když recenzenti nenajdou to, co očekávali v dokumentech. Zatřetí, marginalizovaná nebo nová témata nemusí najít žádné zájemci. Stejně jako v klasickém procesu revize lze takové papíry stále zpracovávat paralelně editory. I když existují překážky, které by měly být zváženy, testování řešení by mělo být nízké riziko.

Volání k akci

Vydavatelé již mají platformy pro předložení multi-journal, což autorům usnadňuje předkládání dokumentů do řady časopisů nebo mezi nimi převádějí rukopisy. Poskytování více možností pro recenzenty by mělo být technicky snadné implementovat. Nejjednodušším způsobem by bylo použít aktuální platformy k přiřazení recenzentům nízký počet článků a požádat je, aby si vybrali. Nevýhodou by mohlo být prodloužené doby obratu, takže sdružování papírů napříč podmnožinou časopisů by mohlo být prospěšné.

Pro úspěch by měli být recenzenti prověřeni a přijmout kodex chování. Redaktoři časopisu musí akceptovat, že jejich časopisy budou přezkoumány na stejné úrovni a se stejnou kontrolou jako ostatní časopisy v bazénu. Možná by mohly existovat pokyny TIT-FOR-TAT, jako například dokončení dvou konstruktivních recenzí nebo více pro každý dokument, který autorský tým předkládá ke kontrole. Taková pravidla by mohla fungovat, když v časopisech, recenzenti a papírech existuje ekonomika rozsahu. Editoři, kdo to zkusí jako první?