В.С. Либенсон, Е.А. Склярова, Т.М. Короткова

К методике автоматизированной оценки деятельности медицинских научных учреждений

В результате проведенного информационного поиска и анализа специфических особенностей деятельности медицинских НИУ предложен комплекс показателей для такой оценки. При этом руководствовались следующими принципиальными соображениями:

• Регулярная ежегодная оценка работы более чем семидесяти НИУ может быть реализована только на основе автоматизированной процедуры.
• Оценка должна производиться с использованием ограниченного числа показателей, характеризующих важнейшие стороны деятельности НИУ и прежде всего - его выход (полное множество показателей бесконечно, показатели процесса малоинформативны для выработки оптимизирующих воздействий на системы).
• Для того чтобы иметь возможность сравнивать между собой различные по мощности НИУ, результаты их деятельности должны соотноситься с входными показателями. Поскольку в науке в отличие от сферы производства решающим фактором производительности являются кадровые, а не финансовые или материальные ресурсы, то в большинстве случаев учитываемые результаты нормируются по числу работников НИУ.
• Используемые показатели должны быть универсальными, т.е. пригодными для оценки всех без исключения НИУ Минздрава РСФСР. Специфические для одного или группы НИУ показатели (например, показатели работы клиники или предприятия) могут учитываться на внутриинститутском уровне.
• Важным условием автоматизации оценки является использовние количественных данных. Качественные показатели следует учитывать при проведении полного анализа тех или иных сторон деятельности НИУ в режиме выборочных обследований.
• Предпочтение должно быть отдано тем показателям, которые в принципе проверяемы с минимальными затратами времени. Желательно, чтобы учитываемые данные содержались в общепринятых формах отчетности (отчетности о выполнения плана НИР, о внедрении научных достижений в практику, о выполнении комплексного плана улучшения условий труда, о пострадавших при несчастных случаях и др.).

Все используемые для оценки показатели, а их насчитывается более 40, разделены на 3 группы:

• показатели научно-исследовательского выхода;
• показатели уровня организационно-методической работы;
• показатели, характеризующие социальную обстановку в НИУ. Приводим некоторые из показателей.

Показатели научно исследовательской деятельности

Процент выполнения годового плана.

Удельный вес завершённых научных тем, по которым даны предложения в план внедрения Минздрава.

Число выполненных в НИУ и утверждённых ВАК кандидатских диссертаций.

Число выполненных в НИУ и утверждённых ВАК докторских диссертаций.

Число диссертаций, выполненных под руководством сотрудников НИУ в других учреждениях и утвержденных ВАК.

Число опубликованных монографий, руководств, учебников.

Число опубликованных научных статей в журналах.

Число научных статей, опубликованных в сборниках и в других изданиях (за исключением журналов).

Число опубликованных статей, оцениваемых в 3000 и более баллов по информационному критерию.

Число нормативных и методических документов, утвержденных министерством здравоохранения.

Число полученных положительных решений о выдаче авторских свидетельств на изобретения.

Число полученных положительных решений о выдаче дипломов на открытия.

Число полученных зарубежных патентов, проданных лицензий и ноу-хау.

Показатели организационно-методической работы

Число лиц, завершивших курс обучения в аспирантуре и клинической ординатуре НИУ.

Число организованных силами НИУ межинститутских научных конференций, симпозиумов.

Число проведенных семинарских занятий, прочитанных лекций и докладов для работников практического здравоохранения.

Число работников практического здравоохранения, непосредственно охваченных различными формами обучения и повышения квалификации.

Число человеко-дней пребывания в командировках для оказания оргметодпомощи работникам практического здравоохранения.

Число опубликованных сотрудниками НИУ научно-популярных и санитарно-просветительных изданий.

Число лекций, прочитанных по линии общества «Знание».

Социальные показатели

Процент выполнения плана мероприятий по улучшению условий и охране труда (по стоимости).

Число пострадавших при несчастных случаях, связанных с производством.

Число пострадавших при несчастных случаях, связанных с производством, со смертельным исходом.

Число человеко-дней нетрудоспособности у пострадавших при несчастных случаях, связанных с производством.

Число случаев профессиональной заболеваемости сотрудников.

Число дней временной нетрудоспособности.

Число лиц, уволившихся из НИУ по собственному желанию.

Процент научных сотрудников от общего числа лиц, уволившихся по собственному желанию.

Число человеко-дней, отработанных сотрудниками на общественных началах на стройках, овощных базах и подобных объектах.

Число жалоб трудящихся на работу НИУ, зарегистрированных в Министерстве здравоохранения и в других ведомствах.

Число жалоб от сотрудников НИУ на действия администрации, поступивших в Министерство здравоохранения и в другие ведомства.

Число проведенных культурно-массовых и спортивно-оздоровительных мероприятий.

Очевидно, что представленные показатели не равнозначны. Поскольку проведение оценки направлено на повышение эффективности управления научными коллективами, распределение весов показателей должно отражать политику органа принимающего решения. Поэтому в нашей системе оценки веса определены руководящими работниками Главного управления научно-исследовательских институтов и координации научных исследований Минздрава РСФСР.

Процедура присвоения весов состоит из трёх этапов. Так как общее число показателей и даже число их в каждой из групп превышает психологический оптимум (до 5 – 7) для установления их относительной важности, присвоение весов производилось по обычной десятибалльной шкале, в соответствии с которой максимально значимые для оценки по данному критерию (т.е. внутри своей группы) показатели оценивались в 10 или 9 баллов, а показатели самой низкой значимости - в 2 или 1 балл. На втором этапе эксперты независимо друг от друга отмечали в процентах относительную важность каждого из трёх критериев (каждой из трёх групп показателей в целом) для итоговой оценки работы НИУ. На заключительном этапе были обсуждены выставленные оценки и принят приемлемый для всех вариант.

Алгоритм ранжирования НИУ в соответствии с итогами их работы за год функционирует следующим образом :

• В соответствии с отчетными данными определяются места, занятые каждым НИУ по каждому из показателей в отдельности. При этом порядок присвоения ранга таков: чем выше достижение, тем больше номер места. В результате НИУ, добившееся, к примеру, наивысшего результата по числу опубликованных статей на 100 научных сотрудников, получит последний порядковый номер в списке всех учреждений. И этот же ранг будет присвоен НИУ с наименьшей заболеваемостью сотрудников. Если несколько НИУ покажут одинаковый результат, то им присваивается одинаковый ранг, исчисляемый как среднее арифметическое из соответствующих номеров мест.
• Значения рангов НИУ по каждому из показателей умножаются на балльные характеристики последних.
• Рассчитывается среднее число баллов, набранное каждым НИУ по каждой из трёх групп показателей. Для этого сумма всех набранных по каждой из групп показателей баллов делится на число показателей в группе. Тем самым устраняется влияние на итоговую оценку фактора численности показателей в группе.
• Среднее число баллов по каждой группе показателей умножается на её относительную важность.
• Суммируются все баллы, набранные каждым из НИУ.

Описанная процедура сводится к формуле:

где Il - интегральная оценка деятельности в баллах l –того НИУ;

? – число НИУ, участвующих в соцсоревновании;

R I j - значение ранга для j-того показателя в i-той группе

K j – коэффициент значимости j-того показателя в баллах;

K I - коэффициент важности i-той группы показателей (%);

m –число групп показателей;

n j – число показателей в i-той группе.

6. Окончательная ранжировка всех НИУ проводится в соответствии с суммарной оценкой их деятельности по полному комплексу показателей.

Получаемая с помощью описанной методики интегральная оценка деятельности НИУ должна явиться информационной базой для принятия на уровне Министерства регулярных решений об итогах социалистического соревнования между ними, о материальном и моральном поощрении победителей, об углублённой комплексной проверке учреждений, занявших последние места, с целью выявления причин отставания и принятия необходимых организационных мер.

Опубликовано в сб.: «Совершенствование планирования, внедрения и стимулирования результатов деятельности НИИ и ПКО», М., МДНТП, 1982, с.141-145.