В.С. Либенсон

Оценка деятельности НИУ непроизводственной сферы

В Минздраве РСФСР разработана и введена в действие автоматизированная система оценки деятельности НИУ (АСО НИУ). Основные её элементы с успехом могут быть использованы в других отраслях непроизводственной сферы.

Разработчики руководствовались следующими принципами выбора показателей для оценки НИУ.

Принцип необходимости и достаточности. Поскольку полное множество индикаторов работы НИУ бесконечно (в публикациях встречаются списки, насчитывающие до полутора сотен показателей), необходимо и достаточно использовать некую разумно ограниченную совокупность их, характеризующую главные функции НИУ по существенным параметрам.

Принцип сочетания количественных и качественных показателей.

Автоматизированному учёту и обобщению поддаются показатели, имеющие количественные характеристики. Важнейшие качественные (описательные) показатели при выработке решений могут выступать в качестве ограничений. Кроме того, качественные показатели в необходимом объёме анализируются комиссиями, обследующими НИУ.

Принцип универсальности. Целесообразно, чтобы используемый в АСО НИУ набор показателей был пригоден для оценки всей без исключения совокупности оцениваемых учреждений. Наличие показателей, специфичных для одного или группы НИУ, затрудняет или даже делает невозможным сравнение их между собой. Важно, чтобы набор показателей в полном объёме учитывал всё многообразие видов научно-исследовательской продукции в отрасли.

Принцип сравнимости. Для того, чтобы иметь возможность сравнивать между собой различные по мощности НИУ, каждый итог их деятельности должен быть соотнесён с соответствующим ресурсным показателем. Поскольку в науке решающим фактором производительности являются люди, то приведение следует осуществлять по числу работников НИУ. Это тем более оправдано, что существует тесная корреляция между числом сотрудников в НИУ и сметой расходов на НИР. Такой подход позволяет дифференцированно соотносить различные виды достижений с численностью их возможных авторов, например, число защищенных докторских диссертаций с числом кандидатов наук, а число кандидатских – с числом аспирантов и научных сотрудников без ученой степени.

Принцип целевого подхода. Обоснованный выбор показателей невозможен без представления научного учреждения в виде целеустремлённой системы, обладающей иерархией целей, входом, выходом и процессом. Главные внешние цели этой системы – производство научных знаний и внедрение научных достижений в практику. Главная внутренняя цель – оптимальное использование и развитие собственного потенциала, важнейшим компонентом которого являются люди, сотрудники НИУ. В соответствии с этим для суждения о работе НИУ необходимо, как минимум, наличие групп индикаторов, характеризующих собственно научную деятельность и социальную обстановку в НИУ.

Важно также оказывать предпочтение показателям выхода системы перед показателями процесса, поскольку последние менее информативны для выработки оптимизирующих воздействий на систему в целом. Однако в тех случаях, когда конечный результат деятельности системы отличается неопределённостью, недостаточно структуризован и не может быть целиком выражен в количественной форме, приходится судить о нем косвенно, по показателям процесса его достижения. Например, для оценки усилий медицинских НИУ в сфере внедрения целесообразно учитывать наряду с ,другими показатели организационно-методической работы. Представление о научно-исследовательской деятельности НИУ, формируемое на основе учета количества различных выходных документов – носителей научного знания, может быть дополнено оценкой качества планирования НИР.

Показатели входа не имеют самостоятельного значения для оценки деятельности системы (они характеризуют её потенциал). Использование их в качестве индикаторов эффекта объективно ориентирует систему на увеличение расходования ресурсов безотносительно к отдаче. К сожалению, именно так поступают авторы методик, в которых финансовые и трудовые затраты на выполнение НИР (или на другие мероприятия, например, на НОТ) выступают в качестве показателей их значимости.

В качестве примера приведем некоторые из показателей, учитываемых в АСО НИУ.

Показатели планирования НИР. Процент выполнения тем основного плана. Процент тем, разработка которых осуществлялась совместно с другими учреждениями-соавторами, среди завершенных. Процент тем, входящих в целевые программы НИР союзного значения, среди завершенных. Процент тем, входящих в целевые программы НИР республиканского значения, среди завершенных. Число запланированных к представлению к защите докторских диссертаций на 100 кандидатов наук.

Число запланированных к представлению к защите кандидатских диссертаций на 100 научных сотрудников (НС) без ученой степени, очных и заочных аспирантов.

Показатели научного выхода. Число утверждённых ВАК кандидатских диссертаций на 100 НС без ученой степени, очных и заочных аспирантов. Число утверждённых ВАК докторских диссертаций на 100 кандидатов наук. Число опубликованных монографий, руководств, учебников на 100 НС. Число научных статей, опубликованных в журналах, на 100 НС, очных и заочных аспирантов. Число научных статей, опубликованных в сборниках и в других изданиях, за исключением журналов, на 100 НС, очных и заочных аспирантов. Число опубликованных статей типа В 4- Д 5по шкале информационной ценности на 100 НС, очных и заочных аспирантов. Число нормативных методических документов, утверждённых на союзном или республиканском уровне на 100 НС. Число полученных положительных решений о выдаче диплома на открытие на 100 НС. Число полученных положительных решений о выдаче авторского свидетельства на изобретение на 100 НС. Число полученных зарубежных патентов, проданных лицензий и ноу-хау на 100 НС.

Показатели научно- организационной работы. Число лекций и докладов, прочитанных для работников практического здравоохранения на 100 НС. Число человеко-дней , проведенных в НИУ работниками здравоохранения на курсах обучения (повышения квалификации), на рабочих местах, семинарах, лекциях на 100 НС.

Социальные показатели. Процент выполнения плана мероприятий по улучшению условий и охране труда (по стоимости). Сумма, фактически израсходованная на улучшение условий и охрану труда, на 100 сотрудников. Общее число пострадавших при несчастных случаях в связи с производством на 100 сотрудников НИУ. Число случаев профессиональной заболеваемости на 100 сотрудников. Число лиц, уволившихся из НИУ по собственному желанию, на 100 сотрудников.

С помощью экспертов установлена значимость отдельных показателей и их групп. Вначале эксперты оценивали относительную важность каждой из четырёх групп показателей для характеристики деятельности НИУ. Затем по 10-балльной шкале определялась внутригрупповая важность каждого показателя. В качестве примера укажем, что при подведении итогов деятельности НИУ за 1982 г. удельный вес первой группы показателей оценивался в 0,15, второй – в 0,45, третьей - в 0,20, четвертой - в 0, 20; в 10 баллов оценивалась важность показателей, характеризующих число открытий, число случаев профзаболеваний (с отрицательным знаком) и т. д.

Можно представить себе три основных подхода к формированию оценки НИУ:

1. сравнивать итоги работы НИУ с неким эталоном, идеальной моделью или планом;
2. сравнивать итоги работы НИУ за некоторый период времени с итогами работы этого же НИУ за предыдущий период времени;
3. сравнивать работу различных НИУ между собой. Науковедением пока не выработана идеальная модель НИУ, говорить о каком-либо нормировании эффективности их работы не приходится. Большинство показателей, характеризующих деятельность НИУ, на уровне министерства или ведомства не планируются. В сфере научной деятельности с её неопределённостью планируемых результатов показатели выполнения планов НИР вообще имеют меньшее значение, чем, например, в сфере производства. Сравнение работы каждого НИУ в разное время небесполезно, однако имеет существенное ограничение – возможны ситуации, при которых НИУ, показавший наибольший прирост продуктивности работы за оцениваемый период, работал хуже другого, показатели которого не изменились или снизились. Оценка НИУ через сравнение с другими наиболее обоснована и эффективна, так как при этом в качестве эталона выступают самые высокие достижения, а не усреднённые нормативные показатели или планы, составляемые самими оцениваемыми. Такая система открыта для неограниченного роста производительности труда. Основной вопрос, на который она должна давать ответ, - место, занятое каждым НИУ. Это место должно определяться по совокупности показателей деятельности НИУ, которые сводятся в один интегральный показатель при помощи алгоритма оценки. Для детального анализа работы НИУ важно получить оценку не только по интегральному показателю, но и по основным группам и даже по отдельным показателям. Такого рода информация позволит руководству каждого НИУ совершенствовать работу прежде всего в тех направлениях, где выявлено отставание.

Положенный в основу АСО НИУ алгоритм работает следующим образом (версия 1983 г.):

1. В память ЭВМ вводят исходные отчетные данные о деятельности НИУ и характеристики важности показателей и их групп.
2. По отчетным данным вычисляются приведенные (удельные) показатели.
3. По каждому отдельному показателю производиться сортировка НИУ, т.е. определяются занятые НИУ места. Если несколько НИУ имеют одинаковые значения какого-либо показателя, то им присваивается среднеарифметический номер места.
4. Вычисляются нормированные удельные показатели по формуле

где НП ij - нормированный i -й показатель j -го НИУ;

УП i j – удельный i -й показатель j -го НИУ;

УП max i – удельный i -й показатель лучшего НИУ;

УП min i - удельный i -й показатель худшего НИУ.

5. Для каждого НИУ вычисляются средние взвешенные групповые показатели

где ГП j К – групповой показатель j -го НИУ в К-й группе.

БХ i - балльная весовая характеристика i – го показателя;

LК - количество показателей в К-й группе.

6. По каждой группе проводится сортировка НИУ.

7. Вычисляются нормированные групповые показатели:

где Н ГП j К – k-й нормированный групповой показатель j -го НИУ;

ГПmax k – k-й групповой показатель лучшего НИУ;

ГПmin k – k-й групповой показатель худшего НИУ.

8. Для каждого НИУ вычисляется интегральный показатель:

где ИП j - - интегральный показатель j-го НИУ.

ГБХ k – балльная характеристика k-й группы.

М – количество групп.

9. Проводится сортировка НИУ по интегральному показателю и вычисляются нормированные интегральные показатели для каждого НИУ.

10. Все выходные данные печатаются в таблицах трех типов. В таблице первого типа печатаются названия НИУ в порядке занятых ими мест по интегральному показателю, а также величины интегрального и нормированного интегрального показателей для каждого НИУ. В таблицах второго типа печатаются аналогичные данные по групповым показателям . Кроме того для каждого НИУ печатается таблица, в которой собраны все его результаты, в том числе по каждому показателю в отдельности.

Опубликовано в сб.: «Совершенствование оценки деятельности НИИ и КБ», М., МДНТП, 1984, с.96-101.