Česta pitanja

O vrednovanju časopisa uopšte

Vrednujemo samo časopise naučnog karaktera. Odluka o tome da li se neki časopis u ovom sistemu vrednovanja može smatrati naučnim, donosi se na osnovu posebnog postupka ocenjivanja i odabira (skrining).
Zahtev za vrednovanje se ne podnosi. Sve što je potrebno jeste da izdavač redovno, u trajanju od bar dve kalendarske godine, dostavlja u Repozitorijum časopisa sve sveske objavljene u skladu s deklarisanom periodičnošću. Za deklarisanu periodičnost uzima se ona iz baze ISSN online, utvrđena prilikom dodele ISSN ili prilikom izmene podataka posredstvom nacionalnog ISSN centra.
Bibliometrijski izveštaj o časopisima se izrađuje i izdaje jednom godišnje. Objavljuje se 15. aprila na stalnoj adresi http://scindeks-bic.ceon.rs/. Rezultati se odnose na prethodnu kalendarsku godinu. Obuhvaćeni su i rezultati za prethodni period, od 2002. godine nadalje.
Na osnovu učinka časopisa u bibliografskim bazama Web of Science (WoS) i Srpski citatni indeks (SCIndeks). Korpus za analizu čine sve reference/citati iz svih radova objavljenih tokom analiziranog godišta. Pripadnost rada analiziranom godištu utvrđuje se sa stanjem dveju baza na dan 1. aprila naredne godine, što je u vezi sa krajnjim rokom (31. mart), određenim od nadležnog ministarstva za objavljivanje svih svezaka prethodnog godišta i njihovo polaganje u Repozitorijum časopisa.
Bibliometrijski izveštaj o časopisima, objavljen u tekućoj godini, odnosi se na prethodnu kalendarsku godinu. Sveska koju ste dostavili biće analizirana u okviru narednog Bibliometrijskog izveštaja.
To je izvan naše nadležnosti. Bibliometrijski izveštaj se temelji na scijentometriji kao naučnoj disciplini. U scijentometriji se praksa vrednovanja kvaliteta rada na osnovu kvaliteta časopisa smatra opravdanom samo u slučajevima kada se rad ne može vrednovati na bolji, neposredniji način, npr. na osnovu broja ostvarenih citata.
Tačno je da je pristup vrednovanju u okviru našeg Bibliometrijskog izveštaja sličan onom koji se koristi u okviru ISI Journal Citation Report-a. To je zato što su oba zasnovana na tekovinama iste naučne discipline, scijentometrije. Međutim, u razradi tog pristupa postoje znatne razlike, upravo zbog specifičnosti naših časopisa. Mi, naravno, dopuštamo da svaki detalj sistema koji smo razvili može da se ospori. Međutim, mislimo da to treba činiti na isti način kako je taj sistem nastao, dakle istraživačko-razvojnim postupkom. Važno mesto u tom procesu ima naučna kritika. Objavite svoju kritiku na račun naše metodologije u bilo kom časopisu. To bi bilo u opštem interesu, posebno zato što ćemo Vam na kritku sigurno odgovoriti.
Prema scijentometrijskoj doktrini učinak časopisa uopšte, pa tako i domaćih časopisa, može se vrednovati samo s osloncem na citatne indekse koji imaju javni sistem kontrole kvaliteta i definisan korpus, tj. obuhvataju sve sveske i sve radove indeksiranih časopisa ("od korica do korica"). Uprkos nedostacima, ISI citani indeksi su jedini proizvodi globalne namene koji zadovoljavaju te uslove. Njihovu nepotpunost sa stanovišta upotrebe u našim uslovima nadoknađuje SCIndeks - Srpski citatni i indeks, koji te uslove takođe zadovoljava u potpunosti.
Kategorizacija časopisa u ERIH-u je arbitrarna i zato nelegitimna. Tvorci ERIH-a izričito obeshrabruju upotrebu te kategorizacije za evaluaciju individualnih entiteta. (ERIH 'Initial' lists), a kategorizacija časopisa u Srbiji upravo tome i služi. Pošto, uprkos upozorenjima izdavača i scijentometrijskinh načela, neki to ipak čine, izdavači masovno povlače svoje časopise sa ERIH lista za pojedine discipline. Po pravilu je reč o časopisima koji su u ERIH-u rangovani kao najbolji (Journals under Threat: A Joint Response from History of Science, Technology and Medicine Editors).

O odabiru časopisa (skriningu)

Skrining je postupak ocenjivanja i odabira časopisa za indeksiranje u SCIndeksu i vrednovanje u okviru Bibliometrijskog izveštaja o časopisima. Skrining se obavlja jednom godišnje u periodu od 1. do 15. aprila, na osnovu Opštih merila za odabir Centra za evaluaciju u obrazovanju i nauci (CEON). Merila su zasnovana na "Aktu o uređivanju naučnih časopisa" MNTR i projektu "Srpski citatni indeks", odobrenog od MNTR, na osnovu mišljenja pribavljenog od matičnih naučnih odbora (tada ekspertskih komisija).
O časopisima koji se ocenjuju vodi se evidencija u formi baze podataka povezane s Repozitorijumom časopisa. Administrator baze, ujedno analitičar, ocenjuje u kojoj meri su zadovoljeni pojedini uslovi utvrđeni propisima ministarstva nadležnog za nauku i pratećim radnim dokumentima CEON-a. Ocene se razmatraju komisijski i po potrebi proveravaju na osnovu uvida u sveske časopisa objavljene u toku poslednjih godinu dana, odnosno dve godine kada se časopis prvi put ocenjuje. Postupak je detaljno opisan u zasebnom radnom dokumentu.
Ne. Na skriningu se odlučuje da li je časopis po svojoj formi uopšte naučnog karaktera, a u procesu vrednovanja koji učinak ostvaruje. U prvom slučaju težište je na formalnim uslovima, a u drugom na njihovom realnom učinku koji se prvenstvno ogleda u uticajnosti (impaktu).
Za razliku od naše, vaša ocena je pristrasna. Komisija nema nikakvog razloga da favorizuje neke časopise. Jedini motiv u radu komisije je težnja da se zaštiti kvalitet SCIndeksa, kao baze koja globalno propagira domaće naučne rezultate i istovremeno služi kao osnova za vrednovanje. Broj merila koja to treba da obezbede je velik, a njihov značaj nejednak. Relevantnost pojedinih merila zavisi delom i od disciplinarne pripadnosti časopisa. Molimo vas da pažljivo proučite Akt o uređivanju naučnih časopisa, ali i zahteve koji se postavljaju u Opštim merilima.
To je mogućno. Kriterijumi za indeksiranje časopisa su sve strožiji, što je posledica ubrzanog razvoja naučnog izdavaštva u svetu, pa i u Srbiji. Ako neki časopisi koji se vrednuju i indeksiraju duže vreme u SCIndeksu ne zadovoljavaju sve zahteve u punoj meri, to je zato što su već ostvarili određenu uticajnost i status. Imajte na umu da se takvi časopisi ipak upozoravaju na propuste, a u slučajevima grube povrede publicističkih standarda isključuju iz baze i sistema vrednovanja.
Ne. Skrining se obavlja jedanput godišnje. Vaš časopis će biti ponovo ocenjen naredne godine. Ocena će se utvrditi na osnovu svezaka poslednjeg godišta, uzimajući u obzir i prethodnu ocenu.
Uz najbolju volju, ništa od toga ne činimo. S obzirom na broj časopisa koje opslužujemo kao i obim finansijske podrške za program vrednovanja časopisa, nemamo uslova da svakom uredništvu dostavljamo detaljan izveštaj o utvrđenim propustima. Još manje mogućnosti imamo za individualnu tehničku podršku, odnosno konsalting te vrste. Svoje obrazloženje za časopise koji nisu prihvaćeni na indeksiranje i vrednovanje dostavljamo svake godine nadležnom ministarstvu za nauku u Vladi RS, kao naručiocu. U izveštaju se ukazuje samo na vrstu nedostataka. Taj izveštaj nije javnog karaktera, što je u interesu ocenjivanih časopisa. Izuzetno, na obrazloženi zahtev odgovornog lica izdavača, odnosno uredništava, može se dobiti izvod iz tog izveštaja. Zahtev se dostavlja isključivo elektronskom poštom, na adresu kategorizacija@ceon.rs. Odgovor na zahtev dostavlja se u roku od deset dana.

O računanju pokazatelja

Prema Pravilniku o postupku i načinu vrednovanja i kvantitativnom iskazivanju naučnoistraživačkih rezultata istraživača ocenjuju se uticajnost i bibliometrijski kvalitet časopisa. Detalji o tome dostupni su u Bibliometrijskom izveštaju o časopisima pod Pomoć.
Broj citata u kolonama u Scindeksu i u ISI predstavlja ukupan broj citata u domaćim i/ili ISI časopisima nezavisno od godine izdanja citiranog rada, a Impakt Faktori Dva i Pet se izračunavaju na osnovu broja citata primljenih samo za radove objavljene u prethodne dve, odnosno pet godina.
Razlozi su dvojaki i međusobno povezani:
  1. to bi bitno uvećalo troškove vrednovanja; i
  2. teško je odrediti šta su naučne monografije.
Inače, u nekim naučnim disciplinama to bi imalo punog opravdanja.
IF5 obuhvata citate za radove objavljene u prethodnih pet godina. To je dovoljno dug period da bi se obezbedilo stabilno vrednovanje u okviru SCIndeksa, tj. u uslovima niske citatne razmene. IF2 se u našem izveštaju ipak računa i to zato:
  1. što je on osnovni pokazatelj u sistemu vrednovanja ISI Thomson-Reuters, odnosno Journal Citation Report;
  2. što je tako svojevremeno bilo i u našem postupku utvrđivanja preliminarne kategorije, pa je umesno da se nastavi računanje oba pokazatelja, kako bi se obezbedio uvid u varijacije u ukupnom periodu praćenja časopisa; i
  3. što je i taj pokazatelj opravdan u disciplinama u kojima literatura brže zastareva.

O preliminarnoj kategoriji

Časopis mora biti vrednovan u okviru Bibliometrijskog izveštaja. Prethodno mora da se pokaže da je on naučnog karakera, tj. da zadovolji zahteve skrininga. Postupak odlučivanja u okrivu skrininga detaljno je opisan u zasebnom dokumentu.
Na osnovu više uslova, saglasno "Pravilniku o vrednovanju". Osnovni i dopunski uslovi za utvrđivanje svake od kategorija dati su u tabeli na stranici Pomoć Bibliometrijskog izveštaja.
Odgovor na sva ta pitanja je potvrdan. Ako novopokrenuti časopis nije u Bibliometrijskom izveštaju, to znači da nije zadovljio na skriningu. Postupak se odvija na način da časopis ne može biti tehničkom omaškom izostavljen iz sistema vrednovanja, ako se redovno polaže u Repozitorijum časopisa. Prema "Pravilniku o vrednovanju" vaš časopis ne bi smeo da bude službeno kategorizovan, izuzev na protivpropisan način. To ne znači da on ne može biti sufinansiran po drugom osnovu, npr. kao časopis za popularizaciju nauke, o čemu odlučuje nadležno ministarstvo Vlade RS.
Preliminarna kategorija se koristi kao osnova za kategorizaciju i rangiranje naučnih časopisa i, na osnovu toga, selektivno bodovanje radova objavljenih u tim časopisima. Pored toga koristi se kao osnova za odluke o sufinansiranju časopisa, dopunsku podršku uključivanju u sistem CrossRef (DOI) i međunarodnu promociju časopisa u vidu preporuka međunarodnim bazama i servisima.
Prema zakonu o naučnoistraživačkoj delatnosti, akt o kategorizaciji i rangiranju naučnih časopisa donosi ministar. Za svoju odluku ministar pribavlja prethodno mišljenje matičnih naučnih odbora (MNO). Ovlašćenja MNO propisana su "Pravilnikom o vrednovanju". Pravilnikom je utvrđeno da se mišljenje donosi na osnovu "rezultata bibliometrijske analize i preliminarne kategorizacije" (tj. Bibliometrijskom izveštaju o časopisima). Pravilnikom su, takođe, utvrđeni nazivi i definicije pojedinih kategorija. Za razvrstavanje u jednu od tih kategorija (M24) MNO imaju određena diskreciona prava. Za razvrstavanje u preostale kategorije MNO se pridržavaju definicija, odnosno rezultata koje časopis ostvari. Prema Pravilniku, za kategorije M21 do M23 MNO utvrđuju svoj predlog po automatizmu, u zavisnosti od toga koji rang prema impakt faktoru je časopis ostvario na tzv. ISI listama. Na isti način, kategorije M51 do M53 definisane su s obzirom na rang prema impakt faktoru ostvarenom (kao najvećem ili natpolovičnom) u okviru svoje discipline, s tim da se taj impakt računa objedinjavanjem citata ostvarenih u ISI i nacionalnom citatnom indeksu.
Ne. Svoje preporuke za indeksiranje časopisa u istaknutim međunarodnim bazama ne dajemo u vidu preporuke, već u vidu zbirnog predloga za veći broj časopisa.
"Pravilnikom o vrednovanju" matični nauči odbori mogu na osnovu svog diskrecionog prava da predlože samo višu, a nikako nižu kategoriju od one utvrđene u bibliometrijskoj analizi i preliminarnoj kategorizaciji. Kategorije M51 i M52 definisane su na osnovu jednog jedinog kriterijuma (najveći, odnosno natpolovičan impakt u grupi), pa se svako snižavanje ranga takvim časopisima direktno kosi s Pravilnikom. U vezi s tim moguća je samo jedna vrsta izuzetka, za novopokrenute časopise. Eventualno razvrstavanje nekog novopokrentog časopisa u neku od te dve kategorije, ne znači da se drugim časopisima može oduzeti taj status, utvrđen objektivno i u skladu s definicijom iz Pravilnika.
To nije direktno protivno "Pravilniku o vrednovanju", pošto se razvrstavanje u kategoriju "časopis međunarodnog značaja" (M24) vrši na osnovu mišljenja matičnih naučnih odabora (MNO). Prema našem razumevanju Pravilnika nadležni MNO je ipak trebalo da usvoji preliminarnu kategoriju kakvu smo predložili za vaš časopis, pošto se naš predlog oslanja na postupak koji je naučno zasnovan (na doktrini primenjene scijentometrije) i na podacima koji su proverljivi. To ih nije sprečavalo da kategoriju M24 dodele pored vašeg i nekom drugom časopisu.
Zato što se ne može znati da li je časopis ugašen ili je samo privremeno izgubio kontinuitet, odnosno promenio periodicitet. Uslovi za utvrđivanje preliminarne kategorije i dalje postoje kada časopis prestane da izlazi, pošto on u drugim časopisima i dalje može da prima citate. Ne mogu mu se samo računati pokazatelji kvaliteta, pa zato takav časopis ne može da dobije neku od kategorija koja se dodeljuje i na osnovu tih pokazatelja. Po isteku pete godine od objavljivanja poslednjeg broja časopis prestaje da se vrednuje u novim izdanjima Bibliometrijskog izveštaja.
Vaš časopis nije zadovoljio uslove odabira (skrining) ove, kao ni prošle godine. Nepoznato nam je kako je i zašto kategorizovan. Naš postupak odabira i utvrđivanja preliminarne kategorije je nezavisan. Zasniva se na odgovarajućim propisima, a ne pojedinačnim odlukama.

O prijavi i otklanjanju grešaka

Primedbe na Bibliometrijski izveštaj uključujući i prijavu grešaka dostavljaju se isključivo elektronskom poštom, na adresu kategorizacija@ceon.rs. Odgovori se primaju istim putem, u najkraćem roku. Ako provera greške zahteva analitički rad ili obuhvata izvore koji nam nisu neposredno dostupni, rok za odgovor je deset dana. Nema uslova, niti potrebe da se to čini telefonskim putem.
Mogućnost otklanjanja grešaka nastalih u WoS zavisi od toga gde su nastale i ko ih je počinio. Do sada je prepoznato pet vrsta grešaka:
  1. Greške koje čine autori citirajući određeni časopis netačno, obično pod nelegitimnim, slobodno prevedenim nazivom. Takve greške se ne ispravljaju. Citati naših časopisa u WoS prebrojavaju se pretraživanjem svih oblika naziva časopisa, kako punih, tako i skraćenih, ali samo onih navedenih u bazi ISSN online.
  2. Greške koje čine operateri WoS, obično tako da u citiranoj referenci ne prepoznaju naziv našeg časopisa, mada je on u radu tačno naveden. Takve greške se takođe ne ispravljaju, pa ni u slučaju kada se one na zahev časopisa otklone u WoS, pošto bi bilo nelegitimno da se to učini samo u slučaju nekih časopisa, tj. onih koji su uložili progovor.
  3. Greške koje potiču od kašnjenja u unosu u WoS svezaka tekućeg godišta. Korpus za prebrojavanje citata srpskim časopisima tokom određene godine čine sve reference iz svih radova unetih u WoS, tokom analizirane i prvog tromesečja naredne godine. Neke sveske unose se u Wos i po isteku tog perioda. Citate koje naši časopisi ostvare u tim sveskama tehnički nije moguće identifikovati. Nije ih moguće ni naknadno pridružiti prethodno ostvarenim citatima, pošto se bibliometrijska analiza obavlja samo jednom godišnje. Najzad, oni se ne mogu pridružiti ni citatima koje časpis ostvari naredne godine, pošto tada već pripadaju prethodnom godištu. Prema tome, ni ove greške se ne ispravljaju.
  4. Greške koje načini naš operater u postupku pretraživanja WoS radi prebrojavanja citata dodeljenih domaćim časopisima. Takve greške se ispravljaju u Bibliometrijskom izveštaju. Napominjemo da su one toliko malobrojne da ni u jednom slučaju do sada nisu imale praktičnih posledica na status, tj. preliminarnu kategoriju časopisa.
  5. Greške koje načini naš operater propuštajući da u SCIndeks unese referencu u kojoj je citiran neki od domaćih vrednovanih časopisa. Takve greške treba da se isprave u samom SCIndeksu, gde su vidljive svim zainteresovanima (autorima, urednicima oštećenih časopisa) neposredno po unosu. Napominjemo da su i ovakve greške izuzetano retke i da do sada nisu izazivale praktične posledice. U samom Bibliometrijskom izveštaju takvih grešaka nije bilo.
Ne mora da znači, pošto se neke od grešaka te vrste koriguju u postupku normiranja referenci. Pošto je to neizvesno, savetujemo Vam da svakako prijavite ispravku. Za to je predviđena usluga na stranici Moj SCIndeks, pod Moja ispravka. Način korišćenja te usluge opisan je u Pomoći SCIndeksa, pod Moja ispravka. Da biste prijavli grešku, morate se prethodno registrovati. Ako je greška evidentna biće otklonjena u najkraćem roku. Ako se ispravka izvrši pre početka naše bibliometrijske analize, greška se neće iskazati u Bibliometrijskom izveštaju.
Prijavite ispravku. Ako je greška nastala u WoS, postoji mogućnost da će biti ispravljena. Detalji o podnošenju zahteva za promenu podataka u WoS dati su u Naši u WoS - korekcija podataka. Ako se ispravka izvrši pre početka naše bibliometrijske analize, greška se neće iskazati u Bibliometrijskom izveštaju.
Pozdravljamo vašu potrebu za takvom analizom, ali nismo u stanju da vam obezbedimo takve podakte. Citati dodeljeni našim časopisima utvrđujemo pretraživanjem WoS posebnim postupkom. Postupak obuhvata klasifikaciju citirajućih autora s obzirom na njihovu afilijativnu pripadnost, koja je vidljiva u Bibliometrijskom izveštaju, ali ne i čuvanje podataka o citirajućim časopisima i autorima poimenično.