В.С. Либенсон, Б.Т. Величковский,

С.В. Козырьков, А.Н. Рубачева, 0.А. Алейникова

Автоматизированная система оценки деятельности научных учреждений

Регулярный анализ и оценка работы научных коллективов — важнейший элемент, без которого невозможно осуществление эффективного управления и стимулирования их деятельности. В соответствии с постановлением ЦК КПСС и Совета Министров СССР «0 мероприятиях по повышению эффективности работы научных организаций и ускорению использования в народном хозяйстве достижений науки и техники» вышестоящие органы управления обязаны не реже 1 раза в 3 года производить оценку деятельности подведомственных научно-исследовательских учреждений (НИУ). Постановление ЦК КПСС, Совета Министров СССР, ВЦСПС и ЦК ВЛКСМ от 26/III 1981г. «О Всесоюзном социалистическом соревновании за успешное выполнение и перевыполнение заданий одиннадцатой пятилетки» предписывает подводить итоги работы трудовых коллективов ежегодно и по пятилетке в целом.

Как известно, деятельность медицинских НИУ весьма многоаспектна и характеризуется большим числом показателей. Главным источником информации для анализа и оценки работы НИУ служат плановые и отчетные документы, регулярно представляемые в вышестоящие органы управления, а также заключения проверочных комиссий. Для суждения о потенциале НИУ (основные направления деятельности, кадры, организационная структура, материальные и финансовые ресурсы) может быть использован паспорт НИУ. Большой объем разноплановой информации, поступающей в органы управления, крайне затрудняет проведение регулярной оценки всех НИУ, особенно когда это касается многих десятков, а то и сотен учреждений. Единственный путь снижения трудоемкости и одновременно повышения обоснованности оценок — автоматизация процесса оценивания.

В Минздраве РСФСР разработана и введена в действие автоматизированная система оценки (АСО) деятельности НИУ (АСО НИУ). В данной статье освещаются основные методологические и методические аспекты ее создания и функционирования.

Методологические подходы к выбору показателей

Установление набора показателей — ответственный этап в разработке системы оценки. От того, какие показатели учитываются и какое значение придается каждому из них, во многом будут зависеть окончательные суждения о работе НИУ.

Мы придерживались следующих принципов выбора показателей.

Принцип необходимости и достаточности. Поскольку полное множество показателей работы НИУ практически бесконечно (в публикациях встречаются списки, насчитывающие до полутора сотен показателей), достаточно использовать некую разумно ограниченную их совокупность. Необходимое условие — комплекс учитываемых индикаторов должен характеризоватъ главные функции НИИ и по существенным параметрам.

Принцип сочетания количественных и качественных показателей. Автоматизированному учету и обобщению поддаются количественные показатели, имеющие шкалу предпочтений. Важнейшие качественные (описательные) показатели при выработке решений могут выступать в качестве ограничений. Кроме того, качественные показатели в необходимом объеме анализируются комиссиями.

Принцип универсальности. Целесообразно, чтобы используемый в АСО НИУ набор показателей был пригоден для оценки всей без исключения совокупности оцениваемых учреждений. Наличие показателей, специфичных для одного или группы НИУ, затрудняет или даже делает невозможным сравнение их между собой.

Принцип сравнимости. Чтобы иметь возможность сравнивать между собой различные по мощности НИУ, каждый итог их деятельности должен быть соотнесен с соответствующим ресурсным показателем. Поскольку в науке решающим фактором производительности являются люди, то это приведение следует осуществлять по числу работников НИУ. Это тем более оправдано, что существует тесная корреляция между числом сотрудников в НИУ и сметой расходов на научно-исследовательскую работу. Такой подход позволяет дифференцированно соотносить различные виды достижений с численностью их возможных авторов, например число защищенных докторских диссертаций с числом кандидатов наук, а число кандидатских — с числом аспирантов и научных сотрудников без ученой степени.

Принцип целевого подхода. Обоснованный выбор показателей невозможен без представления научного учреждения в виде целеустремлённой системы, обладающей иерархией целей, входом, выходом и процессом. Главные внешние цели этой системы — производство научных знаний и внедрение научных достижений в практику. Главная внутренняя цель — оптимальное использование и развитие собственного потенциала, важнейшим компонентом которого являются люди, сотрудники НИУ. В соответствии с этим для суждения о работе НИУ необходимо как минимум наличие групп индикаторов, характеризующих собственно научную деятельность, внедренческую деятельность и социальную обстановку в учреждении.

Важно также оказывать предпочтение показателям выхода системы перед показателями процесса, поскольку последние менее информативны для выработки оптимизирующих воздействий на систему в целом. Однако в тех случаях, когда конечный результат деятельности системы отличается неопределенностью, недостаточно структуризован и не может быть целиком выражен в количественной форме, приходится судить о нем косвенно, по показателям процесса его достижения. Представление о научно-исследовательской деятельности НИУ, формируемое на основе учета различных выходных документов — носителей нового научного знания, может быть дополнено оценкой качества планирования НИР.

Сегодня мы не располагаем методикой, которая позволяла бы давать интегральную оценку в количественной форме всему многообразию конечных социальных, экономических и других эффектов, порождаемых медицинской наукой. Соответствующие данные о достижениях различных НИУ не поддаются автоматизированной обработке, однако могут и должны подвергаться экспертному анализу.

Показатели входа не имеют самостоятельного значения для оценки деятельности системы (они характеризуют ее потенциал). Более того, использование их в качестве индикаторов эффекта объективно ориентирует систему на увеличение расходования ресурсов безотносительно к отдаче. К сожалению, именно так поступают авторы методик, в которых финансовые и трудовые затраты на выполнение НИР (или на другие мероприятия, например, на НОТ) выступают в качестве показателей их значимости.

Показатели, учитываемые в АСО НИУ

Оценка деятельности НИУ формируется с учетом 4 десятков выходных показателей. Назовем некоторые из них.

Группа 1-я — показатели планирования НИР: процент выполнения тематического плана; процент выполнения плана по представлению к защите диссертаций; процент тем, входящих в целевые программы НИР.

Группа 2-я — показатели научного выхода: число утвержденных ВАК. докторских диссертаций на 100 кандидатов наук; число опубликованных монографий на 100 научных сотрудников (НС); число опубликованных статей типа В4-Д5 по шкале научно-информационной ценности на 100 НС и аспирантов ; число утвержденных нормативных и методических документов на 100 НС; число полученных положительных решений о выдаче авторского свидетельства на изобретение на 100 НС.

Группа 3-я — показатели научно-организационной работы: число организованных силами НИУ союзных, республиканских, зональных научных и научно-практических конференций, симпозиумов, съездов на 100 НС; число человеко-дней, проведенных работниками здравоохранения на курсах обучения (повышения квалификации), на рабочих местах, семинарах на 100 НС; число лекций и докладов, прочитанных для работников практического здравоохранения на 100 НС; число опубликованных популярных и санитарно-просветительных изданий на 100 НС.

Группа 4-я — социальные показатели: число случаев возникновения профессиональных заболеваний; число дней временной нетрудоспособности; число лиц, уволившихся из НИУ по собственному желанию (все показатели 4-й группы — на 100 сотрудников).

Очевидно, что избранные показатели неравнозначны. Одни из них более важны для суждения о деятельности научного коллектива, другие — менее. Указанное обстоятельство требует, чтобы каждый из показателей получил соответствующую его значимости весовую характеристику. По нашему убеждению, поскольку АСО НИУ направлена на повышение эффективности управления, распределение весов должно отражать политику органа, принимающего решения. Поэтому используемые в системе веса выработаны совместно с ответственными работниками Главного управления научно-исследовательских институтов и координации научных исследований Минздрава РСФСР и разработчиками системы с учетом мнений руководителей НИУ.

В 1983 г. мы применили следующую методику «взвешивания». Наиболее удобен для экспертов способ установления удельных весов показателей, при котором сумма всех весов (баллов, коэффициентов) приравнивается к 1 (или к 100). Однако известно, что если число сопоставляемых признаков (показателей) превышает 5—7, резко возрастает число экспертных ошибок. В таких случаях предпочтительным оказывается оценивание по шкалам. Мы использовали оба способа. Вначале эксперты оценивали вес каждой из 4 групп показателей для характеристики деятельности НИУ при условии, что сумма весов равна 1. Затем по 10-балльной шкале (самая низкая значимость соответствует 1—2 баллам, самая высокая — 9—10) определялась внутригрупповая важность каждого показателя.

В качестве примера укажем, что при подведении итогов деятельности НИУ за 1982 г. удельный вес 1-й группы показателей оценивался в 0,15,; 2-й — в 0,45,; 3-й — в 0,20,; 4-й — в 0,20; в 10 баллов оценивалась важность показателей, характеризовавших процент выполнения плана НИР, число открытий, число случаев возникновения профессиональных заболеваний (с отрицательным знаком) и т. д.

В 1984 г. применен следующий подход к оценке показателей. Показатели внутри групп ранжировались по критерию вклада в достижение общегрупповой цели. Степень относительной важности показателя, обозначенная номером его места в ряду от наименее значимого до самого важного, принималась в качестве его веса. Указанный подход упрощает проведение экспертизы, позволяет достичь высокой степени совпадения мнений экспертов и обоснованности оценок.

Алгоритм обработки данных

Можно представить себе 3 основных подхода к формированию оценки НИУ: сравнивать итоги работы НИУ с неким эталоном, идеальной моделью или планом; сравнивать итоги работы НИУ за некоторый период с итогом работы этого же НИУ за предыдущий период; сравнивать работу различных НИУ между собой.

Науковедением пока не выработана идеальная модель НИУ, говорить о каком-либо нормировании эффективности их работы не приходится. Большинство показателей, характеризующих деятельность НИУ, на уровне министерства или ведомства не планируется. Более того, в сфере научной деятельности с ее неопределенностью планируемых результатов показатели выполнения планов НИР вообще имеют меньшее значение, чем, например, в сфере производства. Сравнение работы каждого НИУ в разное время небесполезно, однако имеет существенное ограничение: возможны ситуации, при которых НИУ, показавший наибольший прирост продуктивности работы за оцениваемый период, работал хуже другого, показатели которого не изменились или снизились. Оценка НИУ путем сравнения с другими наиболее обоснованна и эффективна, так как при этом в качестве эталона выступают самые высокие достижения, а не усредненные нормативные показатели или планы, составляемые самими оцениваемыми. Такая система открыта для неограниченного роста производительности труда. Основной вопрос, на который она должна давать ответ, — место, занятое каждым НИУ. Это место должно определяться по совокупности показателей деятельности НИУ, которые сводятся в один интегральный показатель при помощи алгоритма оценки.

Для детального анализа работы НИУ важно получить оценку не только по интегральному показателю, но и по основным группам и даже по отдельным показателям. Такого рода информация позволит руководству каждого НИУ совершенствовать работу прежде всего в тех направлениях, где выявлено отставание.

Положенный в основу АСО НИУ алгоритм работает следующим образом.

1. В память ЭВМ вводятся исходные отчетные данные о деятельности НИУ и характеристики важности показателей и групп.

2. По отчетным данным вычисляются выходные показатели.

3. По каждому выходному показателю производится сортировка НИУ, т. е. определяются занятые НИУ места. Если у нескольких НИУ окажутся одинаковые значения какого-либо показателя, то им присваивается среднеарифметический номер места.

4. Вычисляются нормированные выходные показатели по формуле:

где НП ij — нормированный: i - й показатель j-го НИУ; ВП ij — выходной i-й показатель j-го НИУ; ВП maxi — выходной i-й показатель лучшего НИУ; ВПmini — выходной i-й показатель худшего НИУ.

5. Для каждого НИУ вычисляются средние взвешенные групповые показатели:

где ГП ik — групповой показатель j-го НИУ в k-й группе; БХi — балльная весовая характеристика i-го показателя; Lk — количество показателей в k-й группе.

6. По каждой группе показателей проводится сортировка НИУ.

7. Вычисляются нормированные групповые показатели:

гдe НГП ik — k-й нормированный групповой показатель j-го НИУ; ГП max k — k-й групповой показатель лучшего НИУ; ГП min k — k-й групповой показатель худшего НИУ.

8. Для каждого НИУ вычисляется интегральный показатель:

где ИП j — интегральный показатель j-го НИУ; ГБХ k — весовая характеристика k-й группы; М — количество групп.

9. Все НИУ ранжируются в соответствии с интегральным показателем работы каждого.

10. Вычисляются нормированные интегральные показатели каждого НИУ.

11. Все выходные данные печатаются в таблицах 3 типов. В таблице 1-го типа печатаются названия НИУ в порядке занятых ими мест по интегральному показателю, номера занятых мест, а также нормированные величины интегрального показателя. В таблицах 2-го типа печатаются аналогичные данные по групповым показателям. Кроме того, для каждого НИУ печатается таблица, в которой указываются места, занятые им по всем показателям; численные значения его выходных показателей; максимальные, минимальные и среднеарифметические значения этих показателей в отчетном году в РСФСР.

Автоматизация обработки отчетов еще не означает, что окончательные заключения о работе НИУ должны выноситься автоматически. Решения уполномочены принимать ответственные работники органа управления. АСО НИУ регулярно представляет им в сконцентрированном виде объективную информацию о деятельности НИУ по комплексу важнейших количественных показателей. Без обработки на ЭВМ содержащиеся в отчетах данные в полном объеме не могут быть восприняты и осмыслены. Однако, помимо этой информации, лица принимающие решения обязаны учитывать и некоторые наиболее значимые качественные показатели, а также обстоятельства нерегулярного характера. Например, вряд ли правильно будет зачислить в передовые институт, не выполнивший приказ министерства, или институт, в котором ревизия выявила серьезные финансовые нарушения. Приказом министра здравоохранения РСФСР утверждена комиссия по оценке итогов работы НИУ, возглавляемая заместителем министра. Решения комиссии оформляются специальным приказом. В приказах отмечаются 5—10 лучших и 5—10 худших по итогам года НИУ. Руководителям лучших НИУ объявляются благодарности. В будущем предполагается поощрение победителей денежными премиями и переходящим Красным знаменем. Те НИУ, которые на протяжении нескольких лет подряд окажутся на последних местах, будут подвергаться комплексной проверке комиссиями.

Таблицы с оценками работы каждого НИУ доводятся до сведения их руководителей. Последние обязаны организовать их обсуждение на собраниях коллективов. В случаях отставания по тем или иным показателям рекомендуется разработать планы дополнительных мероприятий по устранению недостатков.

В 1984 г. в 72 НИУ Минздрава РСФСР была разослана анкета с вопросами, касающимися отношения руководителей к АСО НИУ, а также её влияния на деятельность научных коллективов. Полученные ответы свидетельствуют о том, что оценки широко обсуждаются на собраниях, директорских совещаниях, заседаниях ученых советов НИУ, по ним принимаются соответствующие решения. Почти все руководители признают полезность регулярного сравнения итогов работы НИУ, считают, что это стимулирует работу коллективов, помогает руководству отчетливее увидеть успехи и недостатки в работе. В НИУ также улучшился учет важнейших аспектов деятельности.

Разумеется, наличие автоматизированной системы оценки не исключает регулярную проверку и анализ работы научных учреждений комиссиями специалистов. Эти два метода должны взаимно дополнять друг друга. Преимущество комиссии состоит в возможности экспертизы на месте чисто качественных сторон деятельности НИУ. Однако трудоемкость метода ограничивает его применение. Оценки, получаемые с помощью ЭВМ, помимо самостоятельного значения для принятия оптимизирующих решений, позволяют усилить целенаправленность при выборе учреждений для комплексной проверки, а также при выборе объектов для углублённого анализа внутри каждого учреждения.

Продолжается работа над совершенствованием АСО НИУ. Изучается целесообразность кумулятивной оценки НИУ (за ряд лет), а также возможность дополнения системы блоком оценки ежегодной динамики показателей каждого НИУ. Ведётся работа по уточнению состава показателей и их весовых характеристик.

Опубликовано: «Советское здравоохранение», 1984, №11, с.27 – 33.