Наука и технологии России

Вход Регистрация
14.05.13 | Организация научной деятельности: Академическая наука Вузовская наука Куракова Наталия Глебовна, д.б.н., директор Центра научно-технологической экспертизы РАНХиГС при Президенте РФ

Наукометрия в оценке диссоветов

С целью совершенствования системы подготовки и аттестации научных и научно-педагогических работников в России начата паспортизация диссертационных советов, по результатам которой будет проведена оптимизация их сети. В конце марта 2013 года председатель Правительства России Дмитрий Медведев дал поручения Минобрнауки России обеспечить внесение в правовые акты изменений, предусматривающих установление требований к результативности научной деятельности членов экспертных советов Высшей аттестационной комиссии (ВАК) и диссертационных советов, а также организаций, на базе которых создаются советы по защите диссертаций на соискание учёных степеней, и ведущих (оппонирующих) организаций. Общественное обсуждение новых критериев членов экспертных и диссертационных советов будет проходить до 15 октября 2013 года.


Куракова Наталия

На сегодняшний день в России действует 3300 диссертационных советов по различным направлениям научной деятельности. Планируется, что в самое ближайшее время ВАК сократит это количество примерно в два раза, что должно привести к уменьшению как минимум в полтора раза ежегодного числа защищаемых диссертаций, которое в настоящее время составляет 23 тысячи кандидатских и около 3 тысяч докторских. Также запланировано полное обновление составов диссертационных советов, с последующим ежегодным их пересмотром на 25% и полным пересмотром каждые четыре года. Реализация этих планов начнётся осенью с паспортизации всех диссертационных советов по новым критериям.

Необходимость реструктуризации диссертационных советов очевидна для большей части научного b профессионального сообществ России. С нашей точки зрения, одним из главных аргументов, поддерживающих такое организационное решение, является тот факт, что долевое соотношение советов разных специальностей формирует дисциплинарную структуру национальной науки, разительно отличающуюся от предметной структуры глобальной науки. Так, например, количество советов по специальности 08.00.05 (экономика и управление народным хозяйством) составляет 320, что практически равно общему количеству всех советов по медицинским наукам (355). Между тем по состоянию на 15 февраля 2013 года система мониторинга глобальной науки Essential science indicators, являющаяся аналитической надстройкой над Web of Science, выделяет в мировой науке 7434 фронта исследования, из которых 1789 приходятся на медицину, 1309 – на химию, 711 – на инженерные науки, 684 – на физику, 256 – на математику и всего лишь 160 – на экономику и бизнес (под исследовательским фронтом понимается группа высокоцитируемых публикаций, которые обозначаются как «ядерные статьи» (Core Papers), объединённые общей тематической направленностью).

Однако столь же очевидно, что при формировании новых критериев оценки научного уровня потенциальных членов экспертных и диссертационных советов и организаций, на базе которых создаются диссертационные советы, докторантуры и аспирантуры, крайне важна методология определения этих критериев. Уже известно, что Минобрнауки России предлагает большую их часть связать с оценкой публикационной активности учёных, причём учитываться будут лишь публикации, которые проиндексированы в международных библиометрических базах данных, т.е. те, которые попали в интернационализированный сегмент национального публикационного потока.

Целью исследования было выполнение наукометрического анализа национального публикационного потока, проиндексированного в базах данных Web of Science (WoS) и Scopus, для оценки применимости библиометрических показателей российских учёных в этих базах данных в качестве критериев научного уровня потенциальных членов экспертных и диссертационных советов по различным научным специальностям.

Известно, что предложено для оценки научного уровня потенциальных членов экспертных советов Высшей аттестационной комиссии в числе прочих использовать следующие критерии: индекс Хирша учёного (обсуждается абсолютное значение показателя); цитируемость учёного за последние семь лет (обсуждается абсолютное значение показателя); суммарный импакт-фактор журналов, в которых опубликованы работы учёного за последние семь лет (обсуждается абсолютное значение показателя).

К членам диссертационных советов предполагается предъявить в качестве основного требования наличие определённого количества публикаций в журналах, индексируемых в WoS и Scopus (обсуждается абсолютное значение показателя).

Организации, на базе которых создаются диссертационные советы, должны соответствовать следующим критериям: за последние семь лет в организации должно быть подготовлено не менее X научных статей в журналах, индексируемых в WoS и Scopus; суммарный импакт-фактор журналов, в которых опубликованы эти статьи, должен быть выше Y; за последние семь лет суммарная цитируемость статей, подготовленных в организации, должна быть не менее Z (обсуждаются абсолютные значения X, Y, Z).

Организациями, на базе которых открываются аспирантуры и докторантуры, за последние семь лет должны быть подготовлены не менее X научных статей в журналах, индексируемых в WoS и Scopus. Суммарный импакт-фактор журналов, в которых опубликованы эти статьи, должен быть выше Y, а суммарная цитируемость статей за последние семь лет, подготовленных в организации, должна быть не менее Z (обсуждаются абсолютные значения X, Y, Z).

Методология определения абсолютных величин указанных в критериях показателей состояла в анализе вариабельности наукометрических индикаторов национальных публикационных потоков, отражённых в БД WoS и Scopus, по отдельным специальностям из номенклатуры научных работников (в редакции Приказа Минобрнауки России от 11.08.2009 г. № 294).

В качестве «окна цитирования» был взят заданный в критериях период: «за последние семь лет», понятый нами как период с 2005 по 2011 год, поскольку обработка публикационного потока в WoS за 2012 год производится до середины лета 2013 года.

В качестве анализируемых предметных областей были выбраны «медицинские науки» как самая публикационно активная предметная область глобальной науки, на которую приходится более 25% мирового публикационного потока и для которой характерна самая высокая скорость цитирования, а также «социально-экономические науки», на долю которых приходится максимальное количество диссертационных советов и защищённых диссертаций.

Критерий «члены диссертационных советов за последние семь лет должны иметь Х публикаций в журналах, индексируемых в WoS и Scopus»

Для определения оптимального значения этого показателя для членов диссертационных советов по медицинским специальностям мы оценили общее число публикаций, проиндексированных в WoS за 2005–2011 годы, имеющих аффиляцию с российскими исследовательскими центрами по различным областям клинической медицины (таблица 1).

Таблица 1. Количество публикаций, проиндексированных в WoS за последние семь лет (2005–2011 гг.) по отдельным областям клинической медицины (по данным InCites на 10.04.2013 г.)


Как следует из данных таблицы, разница в количестве публикаций по отдельным областям медицины составляет 2–3 порядка. Если кардиологи за семь лет написали более двух тысяч статей, то ортопеды всего лишь 13, а геронтологи и вовсе 9.

Диссертации по специальности «сердечно-сосудистая хирургия» (14.01.26) принимают в 14 советах. Таким образом, для членов таких советов можно устанавливать показатель «не менее 100 статей, проиндексированных в WoS за последние семь лет», и он теоретически может быть достигнут. Для советов по специальности онкология (14.01.12), которых в РФ всего 11, выполнимым будет уже вдвое меньший показатель «50 публикаций в WoS за семь лет».

Однако такие довольно высокие абсолютные значения индикатора («50–100 публикаций в журналах, индексируемых WoS») ни при каких обстоятельствах не могут быть установлены для советов, рассматривающих диссертации по таким специальностям, как «травматология и ортопедия» (всего 13 российских публикаций в WoS за семь лет!), «болезни уха, горла и носа» (32 публикации за семь лет), «стоматология» (21 публикация за семь лет)!

Таким образом, если устанавливать единые для всех специальностей значения показателя, то это должны быть очень низкие значения (например, не менее 5 публикаций, проиндексированных в WoS), достаточные для того, чтобы хотя бы 1–2 диссертационных совета по таким специальностям, как ортопедия и отоларингология, им соответствовали. В противном случае должны быть рассчитаны дифференцированные показатели в зависимости от параметров публикационного потока субдисциплинарной предметной области.

Оценка абсолютной величины объёма национального публикационного потока, отражённого в Scopus, по различным предметным областям представлена в таблице 2. Очевидно, что количество российских публикаций, проиндексированных в этой базе данных, заметно больше, чем в WoS, поскольку в Scopus индексируется существенно большее количество российских журналов. Однако анализ этих данных также обнаруживает высокую вариабельность показателя от 90883 для статей по физике и астрономии до 34 статей по стоматологии.

Таблица 2. Количество публикаций с аффиляцией «Russian Federation» по различным областям знаний в БД Scopus за 2005–2011 гг.


Критерий «потенциальные члены экспертных советов Высшей аттестационной комиссии при Минобрнауки России должны иметь цитируемость учёного в WoS за последние семь лет не ниже Y»

Ещё большую проблему унификации создаёт показатель цитируемости статей в WоS по различным специальностям клинической медицины, который составляет от 19068 цитат, собранных публикациями по онкологии за последние семь лет, до 31 цитаты, собранной статьями по ортопедии (таблица 1).

Особого внимания заслуживает и механизм достижения показателей цитируемости статей медицинской тематики. Все без исключения статьи, получившие наибольшую цитируемость, написаны крупными международными авторскими коллективами – от 10 до 200 соавторов, среди которых число россиян крайне ограничено 1–2 (таблица 3).

Таблица 3. Топ-10 наиболее цитируемых публикаций 2011 года, проиндексированных в WоS и имеющих аффиляцию с РАМН (по данным InCites: Research Performance Profiles – Russian Academy of Medical Sciences на 29.11.2012 г.)


Иными словами, мы оцениваем не столько цитируемость российского автора, сколько цитируемость коллаборации. Например, согласно данным таблицы 4, цитируемость всего одной статьи В.Е. Голимбет составляет 69 ссылок уже в год её опубликования (2011). Однако обращает на себя внимание тот факт, что авторский коллектив статьи состоит из 198 соавторов. В то же время мононациональные авторские коллективы такие показатели цитируемости не получают, но их публикационная активность заслуживает не менее высокой оценки, поскольку они являются не номинальными, а фактическими авторами статьи.

Наилучшие показатели цитируемости в интерационализированном секторе медицинских публикаций имеют статьи учёных РАМН, однако анализ даже этого массива публикаций, проиндексированных в WоS за 30 лет, показывает, что в категорию высокоцитируемых попадает не более 12% статей, и все они написаны мультинациональными авторскими коллективами (таблица 4).

Таблица 4. Уровень цитирования публикаций РАМН, проиндексированных в WоS с 1987 по 2011 год (по данным InCites на 29.11.2012 г.)


Таким образом, показатель «цитируемость учёного за последние семь лет» следует признать ограниченно пригодным для оценки научного уровня потенциальных членов экспертных советов по медицинской науке Высшей аттестационной комиссии при Минобрнауки России.

Критерий «потенциальные члены экспертных советов Высшей аттестационной комиссии при Минобрнауки России должны иметь индекс Хирша не ниже Y»

Комментируя этот критерий, следует отметить, что для его определения, так же как и для других метрик в WоS, можно установить «окно цитирования» в семь лет. По состоянию на 09.04.2013 г. индекс Хирша (ИХ), отличный от нуля, имеют 2735 российских учёных, статьи которых проиндексированы в WоS за 2006–2012 годы в предметной области «клиническая медицина». Большая их часть (80%) имеют ИХ = 1, и менее 1% ИХ больше пяти (таблица 5).

Таблица 5. Значение индекса Хирша российских учёных, статьи которых проиндексированы в WоS за 2005–2011 годы в предметной области «клиническая медицина» (по данным InCites на 29.11.2012 г.)


Если же при определении ИХ увеличить «окно цитирования» в WоS до 1995–2012 годов, значения этого показателя закономерно возрастают: максимальное составляет ИХ = 21 (1 учёный), ИХ = 17 имеют 2 учёных, ИХ = 16 у 3 учёных, по одному учёному имеют ИХ = 14 и 15, восемь имеют ИХ = 12, пятеро – ИХ = 11, 19 учёных имеют ИХ = 10 и т.д. Общее число учёных, имеющих индекс Хирша более 1, возрастает до 512 авторов. Ещё более существенного увеличения этого показателя можно добиться, если ИХ рассчитывается по «Скопусу» за период с 1995 по 2012 год.

Например, один и тот же исследователь, обладатель максимальных ИХ для российских учёных-клиницистов, онколог Д.Г. Заридзе имеет следующие индексы Хирша: в WоS (2006–2012 гг.) – 15, в WоS (1995–2012 гг.) – 21, в Scopus (1995–2012 гг.) – 35. Поэтому очень важно определить, по какому именно ИХ будет оцениваться цитируемость публикаций членов экспертных советов Высшей аттестационной комиссии при Минобрнауки России. Представляется разумным рассматривать возможность использования сразу двух показателей: ИХ в WоS (1995–2012 гг.) и ИХ в Scopus (1995–2012 гг.).

Критерий «суммарный импакт-фактор журналов, в которых опубликованы работы учёного или организации за последние семь лет»

Как и для критерия «цитируемость учёного за последние семь лет», существует опасность, что при расчёте совокупного импакт-фактора публикаций в WоS будет оцениваться импакт-фактор журнала, в котором опубликовала статью международная коллаборация, в состав которой российский учёный вошёл. Возвращаясь к данным таблицы 3, можно отметить, что отечественный ревматолог Е.Л. Насонов имеет в 2011 году публикацию в «Ланцет», «ядерном журнале» с импакт-фактором 38,28 и процентом отказа в публикациях, составляющим 90% (!). Не умаляя заслуг этого выдающегося учёного и отдавая должное его интеграции в международное профессиональное сообщество, тем не менее нельзя не отметить, что высокий совокупный импакт-фактор этого учёного будет в первую очередь связан с участием в крупной коллаборации, созданной для клинических испытаний нового препарата, а не с международным признанием результатов конкурентоспособного российского прорывного исследования.

Поэтому нам представляется целесообразным при оценке суммарного импакт-фактора журналов, в которых опубликованы работы учёного за последние семь лет, вводить поправочные коэффициенты на международную коллаборацию.

РЕЙТИНГ

4.40
голосов: 15

Обсуждение