5 Minuten
Mokslininkai, pasitelkę dirbtinio intelekto (DI) atrankos įrankį, aptiko daugiau nei 1 000 atvirojo prieigos žurnalų, rodančių galimus abejotinų publikavimo praktikų požymius, nuskenavę maždaug 15 000 pavadinimų. Tyrimas, paskelbtas Science Advances rugpjūčio 27 d., siūlo, kad automatizuota atranka galėtų padėti indeksuotojams, leidėjams ir mokslo institucijoms identifikuoti žurnalus, kurie ima mokesčius, bet neturi tvirtos recenzijos ir redakcinės priežiūros — praktikos, dažnai siejamos su vadinamaisiais predatoriškais arba žemos kokybės žurnalais.
Kaip veikia DI atrankos įrankis
Duomenų šaltiniai ir mokymas
Komanda apmokė savo modelį naudodama du pažymėtus rinkinius iš Atvirojo prieigos žurnalų katalogo (DOAJ): 12 869 žurnalus, laikomus teisėtais, ir 2 536 pavadinimus, kuriuos DOAJ pažymėjo dėl kokybės standartų pažeidimų. Tyrėjai tuomet patikrino modelį prieš 15 191 atvirojo prieigos žurnalą, įtrauktą į Unpaywall viešąją duomenų bazę.
Signalai ir įspėjamieji ženklai
DI analizuoja kelis signalus, gaunamus iš žurnalų svetainių ir skelbiamų straipsnių. Tai apima publikavimo trukmę (labai greitas publikavimas gali rodyti nepakankamą recenzavimo procesą), neįprastai aukštą savicitavimo rodiklį, neaiškumą dėl licencijų ir straipsnių apdorojimo mokesčių bei redakcinės tarybos narių institucinius ryšius. Dalis modelio kriterijų remiasi DOAJ gerosios praktikos gairėmis atvirojo prieigos leidybai.
Atranka nustatė 1 437 žurnalus kaip potencialiai abejotinus. Pažymėta grupė anksčiau nebuvo įtraukta į įprastus stebėjimo sąrašus, o kai kuriuos leidinius netgi valdo didesni, reputacijos turintys leidėjai. Iš viso šie žurnalai paskelbė šimtus tūkstančių straipsnių, kurie jau surinko milijonus citatų, kas kelia susirūpinimą dėl žemos kokybės literatūros matomumo ir įtakos moksliniame registre.
Rezultatai, apribojimai ir pasekmės
Tyrimo rezultatai atskleidžia tiek automatizuotos atrankos pažadus, tiek jos ribotumus. Komanda įvertino maždaug 345 klaidingai teigiamus atvejus tarp pažymėtų žurnalų — pavyzdžiai apima nutrauktus leidinius, knygų serijų įrašus ir mažų mokslo draugijų žurnalus, kurie neatitinka modelio lūkesčių. Priešinga vertė rodo, kad įrankis galėjo praleisti dar apie 1 782 abejotinus žurnalus.
Daniel Acuña, Kompiuterių mokslininkas iš Kolorado universiteto Boulder mieste ir tyrimo bendraautorius, pabrėžė, kad DI nėra skirtas galutiniam sprendimui priimti. Įrankis prieinamas uždaroje beta versijoje organizacijoms, kurios indeksuoja žurnalus arba valdo leidybos portfelius, tačiau, pasak jo, „žmogaus ekspertas turi būti įtrauktas į vertinimo procesą“ prieš imantis bet kokių pataisomųjų veiksmų. Modelis labiau tinkamas kaip triažo mechanizmas, leidžiantis prioritetizuoti žurnalus išsamesnei žmogaus peržiūrai.
Cenyu Shen, DOAJ redakcinės kokybės pavaduotojas, pažymi, kad problematiškų žurnalų skaičius auga ir jų veikla tampa sudėtingesnė: „Matome daugiau atvejų, kai abejotini leidėjai įsigyja teisėtus žurnalus arba kai straipsnių gamyklos perka žurnalus, kad skelbtų žemos kokybės darbus.“ Straipsnių gamyklos yra komercinės operacijos, kurios gamina suklastotus rankraščius ir netikrą autorių sudėtį, dar labiau griaunančios mokslo integralumą.
DOAJ vidiniai patikrinimai išlieka daugiausia rankiniai ir iniciuojami pagal skundus. 2024 m. katalogas ištirtinėjo 473 žurnalus — tai 40 % daugiau nei 2021 m. — ir tyrimams skyrė beveik 837 valandas, apie 30 % daugiau. DI palaikoma atranka galėtų sumažinti šį darbo krūvį, išryškinant didelės rizikos atvejus, kuriems verta skirti išsamesnį žmogaus vertinimą.
Ekspertų įžvalgos
Dr. Elena Morales, Mokslinės komunikacijos centro (fiktyvus) mokslo integralumo pareigūnė, komentuoja: „Automatizuota atranka yra vertingas naujas įrankis mokslinio registro integralumui palaikyti, bet ji negali pakeisti ekspertų sprendimo. DI gali greitai peržvelgti didelius duomenų rinkinius ir atskleisti modelius, kurių žmonės gali nepastebėti, pavyzdžiui, sisteminį savicitavimą ar staigius redakčios pokyčius. Kitas žingsnis — derinti šiuos signalus su leidėjų skaidriu metaduomenų ataskaitų teikimu, kad indeksuotojai galėtų priimti atsakingus sprendimus, grindžiamus tiek duomenimis, tiek srities žiniomis.“
Praktiniai žingsniai suinteresuotosioms šalims apima didesnį skaidrumą apie redakcinį procesą ir mokesčius, metaduomenų pasidalijimą su indeksavimo paslaugomis bei įprastų DI patikrinimų diegimą, kuriuos papildytų nepriklausoma žmogaus peržiūra. Tyrėjams taip pat rekomenduojama patikrinti žurnalo praktiką prieš siunčiant straipsnį ir naudotis DOAJ ar kitais patikimais indeksais.
Išvados
DI atrankos metodas siūlo mastelį ir automatizavimą leidžiančią priemonę, skirtą pažymėti galimai problematiškus atvirojo prieigos žurnalus ir prioritetizuoti juos žmogaus peržiūrai. Nors įrankis aptiko daugiau nei 1 000 abejotinų pavadinimų, kurie nebuvo identifikuoti anksčiau, jo klaidingai teigiamų ir klaidingai neigiamų atvejų skaičius rodo poreikį derinti žmogaus ir DI procesus. Metaduomenų skaidrumo stiprinimas, aptikimo modelių tobulinimas ir bendradarbiavimas tarp indeksavimo paslaugų, leidėjų bei mokslo institucijų bus esminiai siekiant apsaugoti akademinės leidybos integralumą ir citatas, formuojančias mokslinį konsensusą.
Quelle: nature
Kommentare