Научные публикации

В основе всего классического наукометрического инструментария лежит одна основная идея: «измерение через цитирование», предложенная Юджином Гарфилдом (Eugene Garfield) в статье Citation Indexes for Science, опубликованной в 1955 году в журнале Science. Там, между прочим, и появился широко известный сейчас термин «импакт-фактор». Эта идея была практически реализована в основанном Гарфилдом в 1960 году Институте научной информации (Institute for Science Information, ISI). Нынешний портал Web of Science –преемник ISI.
К настоящему времени наукометрический инструментарий включает более десятка одних только достаточно популярных показателей. Лишь о них и пойдёт речь дальше. Уже из упомянутого числа видно, что среди показателей нет безусловно наилучшего – каждый из них отражает те или иные условные критерии оценки. Но для того, чтобы любой показатель, всегда определяемый в конкретной библиографической базе (базе цитирования), мог претендовать на объективность, эта база должна удовлетворять следующим основным требованиям:

  • представительность (мультидисциплинарная, международная, индексирующая существенную часть всех выходящих в мире научных журналов),
  • полнота (наличие достаточно глубокого архива всех индексированных в базе журналов и сохранение данных о каждой публикации по всем библиографическим признакам),
  • качество контента (база должна содержать как «входной фильтр», обеспечивающий отбор расписываемых в ней журналов по формальным и по содержательным признакам, так и механизм «отсева» журналов, утративших научное качество).

Наиболее известные в настоящее время мультидисциплинарные базы цитирования удовлетворяют этим требованиям в разной степени:


База цитирования

Представительность

Глубина полного архива (год)

Качество контента

Международная

Ансамбль индексации (журналов)

Входной фильтр

Отсев журналов (2014-2018)

Web of Science Core Collection

Да

19000

1970

Жёсткий

202

SCOPUS

23000

1996

Формальный

513

Google Scolar

Не определён

Не определён

Нет

Нет

РИНЦ

Российские журналы. Сведения из Scopus о цитировании российских авторов

6000

2005

Нет

Нет

Как следует из основной идеи наукометрии, число цитирований является первичным универсальным показателем (пришедшим на смену распространённому ранее числу научных публикаций). Этот показатель может быть определён для любого заранее определённого объекта цитирования – группы статей (группа может быть сформирована по тематическому признаку или относиться к автору, журналу, организации, стране). Исходя из него, формируются вторичные наукометрические показатели.
По сложившейся практике выделяется класс специфически журнальных вторичных показателей – это частное от деления учётного числа цитирований в цитирующем ансамбле на число статей объекта (упрощённо – среднее цитирование статей данного журнала). Общим для них является то, что это показатели ежегодные: цитирующий ансамбль выбирается за учётный год публикации, а сами эти показатели различаются следующими основными параметрами:

  • окно цитирования (период, за который выбираются статьи объекта цитирования);
  • база цитирования (перечень изданий, из которых ведётся подсчёт цитирований в данном календарном году);
  • цитирующий ансамбль – множество номеров журналов, из которых подсчитываются цитирования (это могут быть полные годовые комплекты или индексированные на момент запроса номера учётного года; в последнем случае показатель последнего года становится переменным в зависимости от даты запроса);
  • алгоритм учёта цитирований (прямой, взвешенный, контент-ориентированный).

Наиболее известные примеры специфически журнальных показателей, формируемых в международных базах, приведены в таблице:


Показатель

Окно цитирования (лет)

База цитирования

Цитирующий ансамбль

Алгоритм учёта цитирований

Отображающая база

Impact Factor

2 года, предшествующие учётному

Web of Science Core Collection*

Годовой комплект

Простой

Journal Citation Reports

5 year Impact Factor

5 лет, предшествующих учётному

Immediacy Index

Только учётный год

CiteScore

3 года, предшествующие учётному

SCOPUS

Индекси-рованные номера

SCOPUS

SJR

Взвешенный (по квартилям и категориям)

SNIP

Контент-ориентированный

*При этом импакт-факторы вычисляются только для журналов, индексируемых в подбазах:

  • Science Citation Index Expanded (SCI-EXPANDED)
  • Social Sciences Citation Index (SSCI)

 

В базе РИНЦ в силу её специфичности формируется гораздо больше показателей, чем в любой из международных. Например, импакт-фактор рассчитывается там в трёх ипостасях: 1) по базе индексированных журналов, 2) с привлечением ссылок на неиндексированные в базе журналы из списков цитированной литературы, 3) по ядру РИНЦ.
Класс вторичных универсальных показателей характеризуется тем, что эти показатели широко применяются на практике к разным по типу объектам (теме, автору, журналу, организации, стране).


Показатель

Определение

Базы цитирования

h-index (Индекс Хирша)

Количество статей, цитирование КАЖДОЙ из которых не меньше h

Web of Science Core Collection,
SCOPUS,
Google Scolar,
РИНЦ*

g-index

Количество статей, СУММАРНОЕ цитирование которых не меньше g2

SCOPUS,
Google Scolar

i10-index

Количество статей, имеющих не менее 10 цитирований

Google Scolar

* С указанными выше различиями в вариантах подсчёта цитирований для РИНЦ

Класс сравнительных показателей – это результат сравнения показателей цитирования объекта (статьи, журнала или организации), со средними показателями внутри определённого множества, включающего этот объект. Таким множеством может быть как предметная категория (для статьи, журнала или организации), так и конкретный журнал (для статьи или организации). Предметная категория – это сформированная в конкретной базе индексации группа журналов, условно сходных по научной направленности. В Web of Science Core Collection таких категорий 254, в SCOPUS – 313. При этом один и тот же журнал может входить в несколько предметных категорий – тогда сравнительный показатель определяется в каждой из них.


Показатель

Объект

Определение

База цитирования

Отображающая база

CNCI (Category Normalized Citation Index)

Статья, журнал, организация

Цитирование объекта, отнесённое к среднему по предметной категории базы

Web of Science Core Collection

InCites

FWCI (Field Weigheted Citation Impact)

SCOPUS

SciVal

JNCI (Journal Normalized Citation Index)

Статья, организация

Цитирование объекта, отнесённое к среднему по данному журналу

Web of Science Core Collection

InCites

Квартиль

Журнал

25 % списка по убывающему импакт-фактору в данной предметной категории

Journal Citation Reports

25 % списка по убывающему показателю SJR в данной предметной категории

SCOPUS

SCOPUS

Проценциль

1 % списка по убывающему показателю SJR в данной предметной категории

Важно отметить, что при одном и том же названии такого показателя как квартиль, его значения, определяемые для конкретного журнала из баз Web of Science Core Collection и SCOPUS существенно различны по двум причинам: 1) различно разбиение журналов по предметным категориям, 2) импакт-факторы в Web of Science Core Collection имеют не все, а только примерно 13500 журналов, тогда как в SCOPUS показатель SJR присваивается всем индексированным журналам (около 23000). При этом база Journal Citation Reports доступна только по подписке, тогда как вычисляемый компанией SCImago Journal Rank (на контенте SCOPUS) квартильный показатель открыт в Интернет. Поэтому привыкший к мощным поисковикам современный пользователь на бездумный запрос «квартиля журнала» получит именно и только его значение по SCOPUS.

Квартильная оценка, выравнивающая возможности сравнения журналов из существенно разных научных областей (при большом разбросе характерной для этих областей средней частоты цитирования) и простая по структуре разбиения (четыре квартиля), приобрела в последние годы большую популярность. Однако её численное представление не вполне удобно: шкала сравнения качества – обратна номеру квартиля, оценка одного журнала содержит несколько квартильных значений, оценка относится только к одному журналу.

Этих недостатков лишена более удобная для численного сравнения и универсальная по  объектам применения оценка, которая носит название квартильного индекса или Q-индекса (Qi). Численное значение этого индекса монотонно растёт с ростом числа цитирований объекта (прямая шкала сравнения качества), индекс определяется на основе квартилей журналов, где опубликованы статьи любого объекта цитирования (тема, журнал, автор, организация) и выражается числом от 0 до 4, представляющим оценку востребованности этого объекта научным сообществом.
Простейший вариант такой оценки очевиден: номер квартиля должен вычитаться из постоянного числа с применением усреднения в группе статей объекта. Соответствующий формальный алгоритм имеет вид:
Qi = 5-‹‹Q›in ,
где Q – номер квартиля (или 5, если журнал не имеет квартильной оценки), ‹Q›i означает усреднение по номерам квартилей (если их несколько), в которые входит журнал, а ‹…›n есть операция усреднения по статьям, входящим в объект цитирования.
Так, например, для 11 000 статей, опубликованных (индексированных в Web of Science Core Collection) в 2017 году одним из мировых лидеров – Массачузетским технологическим институтом (MIT), Qi ≈ 3,2, тогда как для 850 статей, опубликованных в том же году Университетом Лобачевского (ННГУ), Qi ≈ 1,9.
Соответствие между импакт-фактором, квартилем и Q-индексом может быть проиллюстрировано следующей схемой:

QWwy 48rUXA

Таким образом, на языке Q-индекса можно, пусть несколько образно, сказать, что в 2017 году:
Massachusetts Institute of Technology was low blue
Lobachevsky University was high yellow

Данные становятся информацией, если есть основания считать их достоверными. Абсолютное большинство открытых материалов Интернет (как и многие книги) не проходят независимой экспертизы. Оценка достоверности содержащихся в них данных – проблема пользователя.

Применительно к научным публикациям оценка достоверности (независимая экспертиза) осуществляется в форме рецензирования (single blind или double blind) на стадии приёмки статьи. Её уровень (симулятивный, формальный, содержательный, профессиональный, жёсткий), главным образом, и определяет научный авторитет журнала. Формализованным измерителем авторитета журнала является цитирование опубликованных в нём статей. Корректный учёт цитирований статьи (научного документа) предполагает наличие представительной по отношению ко всему множеству научных документов базы, которая содержит, как минимум, библиографические данные этих документов (индексирует их).

Наукометрия – это, в сущности, система показателей, построенная на сопоставлении библиографических данных: количества публикаций и их цитирований. Такие формализованные показатели, разумеется, не являются исчерпывающими, но в современной массовой и коммерциализованной науке их важность общепризнана.

 

 Индексация научных документов, БАЗЫ, наукометрия

 Научные библиографические базы индексируют некоторое множество источников (оно может быть замкнутым, как в Web of Science Core Collection и Scopus, или открытым, как Google Scolar и РИНЦ). Авторитет таких баз определяется и поддерживается качеством индексируемых ими документов (контента базы). Библиографичеcкие базы не включают полных текстов документов (поэтому не связаны проблемами copyright), а содержат лишь их метаданные (библиографическую запись). Для научной статьи метаданные – это журнал, авторы, название, аннотация, ключевые слова, список цитированных источников. Библиографичеcкие базы сообщают о цитированиях документа или избранной группы документов в ЭТОЙ базе и вычисляют различные наукометрические показатели (статей, авторов, журналов, организаций), связанные с цитированием. Эти показатели могут отличаться как алгоритмически, например, 2-летний и 5-летний импакт-факторы (в Journal Citation Reports – сервисе на портале Web of Science), CiteScore, SJR и SNIP (в Scopus), g-индекс (в Google Scolar), индекс Хирша и т.д., так и численно для одного и того же алгоритма в силу различия контента, на котором этот алгоритм реализуется (например, импакт-факторы в Journal Citation Reports и в РИНЦ могут отличаться в разы). Поэтому любой наукометрический показатель имеет смысл лишь при указании базы, на которой он вычислен. База может быть общедоступна (например, Google Scolar и РИНЦ) или доступна по подписке (например, Web of Science Core Collection, Scopus).

 Вопрос о значимости того или иного показателя (и, соответственно, той или иной базы) при решении конкретных вопросов относится к сфере административной, а не наукометрической.

Поскольку любая система, будучи формализована алгоритмически (с открытым кодом), в естественных условиях замусоривается и допускает манипуляции (термин predator journals прочно вошёл в мировую практику), необходимы дополнительные меры по отбору источников и их фильтрации (экспертные или алгоритмы с закрытым кодом) для поддержания качества контента. Такие меры применяются в авторитетных библиографических базах при индексации источников (журналов и книг).

 РИНЦ (общедоступна) – российская библиографическая база, созданная с целью максимально ПОЛНО отразить все публикации РОССИЙСКИХ УЧЁНЫХ. Поэтому (при соблюдении чисто формальных требований при загрузке) входной отбор источников и их фильтрация не проводится. Индексируются более 2600 текущих российских журналов, книги, сборники, труды конференций любого уровня. Данные по публикациям российских учёных в зарубежных журналах экспортируются из Scopus. Наукометрический инструментарий базы по разнообразию выводимых показателей является, пожалуй, беспрецедентным, поскольку строится параллельно на трёх подмножествах контента Научной электронной библиотеки (eLibrary), при этом вычисляется значительное число алгоритмически различных показателей. Показатели периодически пересчитываются, на пополняемом (загруженном) контенте. Поскольку требования полноты отражения и качества контента противоречивы, в современных условиях стремительного замусоривания базы (в том числе, с целью «накрутки» показателей) предпринята попытка «приподнять» авторитет базы, выделив при подсчёте показателей упомянутые выше три подмножества контента (три уровня):

1) весь контент eLibrary,

2) контент РИНЦ (где сохранены все издания, претендующие на научность),

3) ядро РИНЦ.

Ядро РИНЦ – на данный момент более 700 российских журналов, первоначально отобранных в 2015 году в результате вполне разумной, хотя и небесспорной (смешанной формализованно-экспертной) процедуры. Причём сделано это с возможностью исключения/дополнения журналов по результатам мониторинга. Все наукометрические показатели вычисляются отдельно по ядру РИНЦ. Авторитет базы (по определению – только внутри страны) и рассчитываемых по ней показателей может выявить лишь время и российская административная практика. В качестве иллюстрации можно привести примеры, когда авторский индекс Хирша по РИНЦ равен 31, а по ядру РИНЦ – единице, импакт-фактор журнала по РИНЦ равен 0,879, а по ядру РИНЦ - 0,050. Отметим, что бедность статистики цитирований по сравнительно небольшой (даже качественной по контенту базе) – одна из угроз для представительности (востребованности) этой базы.

Косвенно авторитет базы повышает то, что на её основе формируется отражаемая на портале Web of Science база RSCI (см. ниже).

  Авторитетные библиографические базы призваны ответить на три группы вопросов:

  1. Биографические. Кто, где и когда опубликовал заслуживающий доверия результат?
  2. Библиографические. Где можно найти заслуживающую доверия информацию на заданную тему?
  3. Библиометрические (наукометрические). Как востребованы наукой те или иные результаты? Каковы формализованные показатели научной деятельности учёных и организаций?

В силу международного характера науки для корректного ответа на эти вопросы авторитетная база должна быть полидисциплинарной по содержанию и мировой по охвату. Современная авторитетная база (а это коммерческое предприятие) формируется на основе компромиссного разрешения противоречия между качественным отбором источников и объёмом контента базы. Пренебрежение первым ведёт к потере авторитета, сужение контента ведёт к уменьшению востребованности.

Авторитетность базы не гарантирует отсутствия в ней мусора, шума (или ложной информации). Последнее возможно на уровне отдельных статей (например, отзыв статей, в том числе, из весьма престижных журналов происходит как по инициативе издателей, так и авторов). Но именно в виде исключений, так как качество журналов является в такой базе предметом мониторинга (формализованного и экспертного).

  Web of Science Core Collection (доступна в ННГУ), отображаемая на портале Web of Science  – исторически первая (идущая от «отца» наукометрии Ю. Гарфилда) авторитетная мировая библиографическая база, обладающая наиболее глубоким архивом и изначально проводившая НАИБОЛЕЕ ЖЁСТКИЙ качественный отбор источников (разумеется, не бесспорный). Она индексирует научные журналы, выходящие во всех странах мира и по всем областям знания. Журналы, не имеющие англоязычных версий (в частности, российские гуманитарные), представлены слабо. База разбита на 7 множеств (3 подбазы журналов, 2 подбазы трудов конференций и 2 подбазы книг по областям знания), поиск по которым можно вести отдельно. С 2015 года в базу было включено восьмое множество - ESCI (Emerging Sources Citation Index) из примерно 5000 журналов (из них – около 100 российских). После этого по числу индексируемых журналов (в том, числе, российских) база приблизилась к Scopus. База идёт по пути расширения контента: в 2018 году в ESCI индексировалось уже около 7000 журналов.

При оценке глубины архива базы следует различать собственный и доступный конкретному пользователю архивы. Глубина собственного архива по указанным выше журнальным подбазам – 1970 г. и 1975 г., по конференциям – 1990 г., по книгам – 2005 г. Глубина же доступного архива определяется условиями подписки. Ясно, что вычисленные на основе собственного и доступного архивов интегральные наукометрические показатели, например, индекса Хирша, могут существенно различаться. В настоящее время в ННГУ (в рамках национальной подписки) доступны архивы с 1970 года.

Наукометрический инструментарий, относящийся к журналам, выделен на портале Web of Science в отдельный сервис – Journal Citation Reports (недоступен в ННГУ), из которого в базу Web of Science Core Collection по результатам запроса конкретной статьи подгружаются лишь двух- и пятилетние импакт-факторы и квартиль журнала с данной статьёй. Journal Citation Reports – единственная мировая база импакт-факторов научных журналов (исчисляемых, разумеется, на контенте Web of Science Core Collection). Редакции Journal Citation Reports обновляются ежегодно 1 июля и отражают результаты цитирования в статьях предыдущего года издания. Так, редакция Journal Citation Reports-2017 (действующая до 1 июля 2018 года) отражает результаты цитирования в 2016 году. Такая неизменность показателей данного года повышает их авторитет. Контент, для которого в Journal Citation Reports рассчитываются наукометрические показатели, также расширяется: число журналов, имеющих импакт-факторы, увеличилось в 2017-2018 гг. с 11300 до 13500.

При этом из входящих в Web of Science Core Collection 7 подбаз:

  • Science Citation Index Expanded (SCI-EXPANDED)
  • Social Sciences Citation Index (SSCI)
  • Arts & Humanities Citation Index (A&HCI)
  • Conference Proceedings Citation Index- Science (CPCI-S)
  • Conference Proceedings Citation Index- Social Science & Humanities
  • Book Citation Index– Science
  • Book Citation Index– Social Sciences & Humanities
  • Emerging Sources Citation Index (ESCI)

— импакт-факторы вычисляются только для журналов, индексируемых в первых двух подбазах (соответственно, только у этих журналов в JCR есть определённый квартиль).

 Поисковый инструментарий в базе Web of Science Core Collection – более мощный, чем для других интегрированных на портале Web of Science региональных и национальных баз, среди которых:

  • Chinese Science Citation Database (CSCD) – см. ниже,
  • KCI-Korean Journal Database (с 1980 года) – 2300 корейских журналов,
  • SciELO Citation Index (с 2002 года) – 1100 журналов из Латинской Америки, Испании, Португалии и Южной Африки,
  • Russian Science Citation Index (RSCI) – см. ниже.

Импакт-факторы для входящих в эти базы журналов в Journal Citation Reports не вычисляются, как и для 5 из 7 подбаз в Core Collection.

 SCOPUS (доступна в ННГУ) – более молодая авторитетная мировая библиографическая база, индексирующая НАИБОЛЬШЕЕ ЧИСЛО источников. Здесь индексируются научные журналы, выходящие во всех странах мира и по всем областям знания, книги, труды международных конференций. Неплохо представлены журналы, не имеющие англоязычных версий (в частности, российские). В отличие от Web of Science Core Collection собственный архив при наличии подписки доступен целиком и не делится на подбазы, но его глубина меньше и он довольно «неровный» – сейчас с почти полным охватом по индексируемым журналам это примерно 1980 г. (по значительному числу источников – 1960 г., по единичным – середина XIX в.). Тем не менее имеются отдельные журналы, для которых глубина архива – лишь 1996 г. Вследствие автоматизированной процедуры загрузки данных в базу архивные записи для «старых» статей далеко не всегда полные: в некоторых присутствуют лишь название журнала и статьи с фамилиями авторов. Поэтому поисковый запрос будет выводить на эти статьи лишь по указанным атрибутам. В процессе формирования контента в базу попало некоторое количество мусорных источников (predator journals), которые в последние годы фильтруются (индексация их в Scopus прекращается). Наукометрический инструментарий применительно к журналам представлен показателем прямого цитирования (CiteScore), по алгоритму близкого к импакт-фактору, взвешенного цитирования (SJR) и контент-обусловленного цитирования (SNIP), а также процентилем журнала (по данным SJR). Эти показатели вычисляются для ВСЕХ журналов, включённых в базу, и ежемесячно пересчитываются на меняющемся (загруженном) контенте. Из-за естественного запаздывания загрузки, показатели последних двух лет сравнивать некорректно (особенно в начале года): например, для журнала Chemical Reviews отражаемый базой в феврале 2018 года CiteScore 2016 равен 42,79, тогда как CiteScore 2017 того же журнала показывается равным лишь 15,38 (заметим, что в Journal Citation Reports все выводимые наукометрические показатели разных лет сопоставимы, так как рассчитываются один раз в год).

  Scimago Journal & Country Rank (общедоступна) – рейтинговая база журналов (и стран), в которой сходный с импакт-фактором показатель (SJR) рассчитывается на контенте SCOPUS по алгоритму взвешенного цитирования. В соответствии с величиной SJR и предметной областью определяется квартиль журнала. Естественно, квартили многих журналов отличаются от определяемых Journal Citation Reports (иной контент, иное разбиение на предметные области, иной алгоритм учёта цитирований). Показатель SJR экспортируется и отображается в базе SCOPUS.

 MEDLINE (доступна в ННГУ) – библиографическая база Национальной медицинской библиотеки США. Отражается на портале Web of Science. Индексирует около 5000 научных журналов из всех стран мира (а также книги) по медицине, живым системам, биофизике и биохимии.

Chinese Science Citation Database (CSCD) (недоступна в ННГУ) – первая не англоязычная база, интегрированная на портале Web of Science. Формируется Академией наук КНР и индексирует более 1200 национальных научных журналов по всем отраслям знания с 1989 года.

 

«Мы должны следить за чистотой рядов в RSCI, чтобы он не превратился в перечень ВАК».

Геннадий Еременко. Генеральный директор НЭБ (eLIBRARY.RU)

 

Russian Science Citation Index (RSCI) (доступна в ННГУ) – близкая по контенту к ядру РИНЦ национальная библиографическая база, интегрированная на портале Web of Science с 2015 года (RSCI-2015) и индексирующая входящие в неё журналы с 2005 года.. Библиографические записи даются в двуязычном виде. Поисковые запросы, вводимые прямым набором, могут делаться как в англоязычном, так и в русскоязычном виде. По версии RSCI-2015 в базу входило 653 журнала, отобранных в результате упомянутой выше процедуры для ядра РИНЦ. Обновлённая (после исключения/добавления журналов) версия RSCI-2018 включает 743 журнала (с англоязычными названиями). Русскоязычный список журналов RSCI можно посмотреть здесь. Предполагается включение в базу журналов из Украины, Беларуси, Молдовы, Казахстана и Армении, в результате чего база из национальной превратится в региональную.