Организация и эффективность использования экспертных оценок Экспертные оценки в той или иной форме использовались во все времена. Однако внимание к ним существенно возрастало по мере усложнения производственных технологий, а следовательно, и процесса разработки решений. Существуют различные определения термина "эксперт". Чаще всего под ним подразумевается высококвалифицированный специалист. В настоящее время известны факты формирования банков данных о специалистах в различных областях, однако систематическая оценка качества их деятельности практически отсутствует. Очевидно, наряду с характеристикой эксперта (его профессиональных знаний и опыта) должна накапливаться информация об эффективности его работы. Формирование экспертной комиссии — ответственное решение, принимаемое руководителем при организации и проведении экспертизы. Однако затраченные усилия, как правило, полностью оправдываются. Формирование состава экспертной комиссии определяется особенностями сложившейся ситуации, требующей решения, возможностями участвовать в работе комиссий организаторов экспертиз, а также самих специалистов. При отсутствии опыта проведения подобных мероприятий рекомендуется обращаться к услугам независимых центров экспертиз. Если потребность в экспертных оценках возникает достаточно часто, имеет смысл создать для этого специальное подразделение. Основными направлениями применения экспертных оценок являются: 1. Определение целей. При принятии важных решений необходимо четко представлять цели, к достижению которых стремится ЛПР. Для сложных ситуаций разработан и используется метод формирования "дерева целей", позволяющий оценить степень ее достижения. Большое значение имеет определение приоритетности целей и механизмов их осуществления. Все эти вопросы могут быть предметом оценки экспертов. 2. Экспертный прогноз. Особую роль при принятии решений играют проблемы, связанные с оценкой развития анализируемых ситуаций, ожидаемых результатов альтернативных вариантов решений. Традиционные методы прогнозирования не всегда могут быть применены. Экспертная информация в подобных ситуациях весьма полезна, так как содержит не только количественные, но и качественные оценки. 3. Сценарии ожидаемого развития ситуации. Они играют важную роль при принятии управленческих решений. Наиболее распространенным для экспертного оценивания альтернативных вариантов сценария является метод "мозговой атаки" в сочетании со специальными методами использования аналитической информации. 4. Генерирование альтернативных вариантов. Подобные процедуры могут предусматривать проведение экспертиз с использованием методов типа "мозговой атаки", а также создание в сложных случаях автоматизированных систем генерирования альтернативных вариантов. 5. Определение рейтингов. В последнее время они весьма популярны, позволяют определить сравнительную надежность банков, страховых компаний, качество различного вида услуг, сравнительную влиятельность политиков и т. д. 6. Оценочные системы. Оценочная система формируется при индивидуальных и коллективных сравнительных оценках объектов экспертизы для определения степени достижения цели. Большое внимание при этом уделяется оценке сравнительной важности критериев. 7. Принятие коллективных решений. Это одна из наиболее важных процедур процесса управления. Она предполагает не только расчет коллективной экспертизы, но и использование специальных методов открытого обсуждения альтернативных вариантов решения, дополнительного обмена информацией между лицами, принимающими непосредственное участие в процессе принятия решений, согласования, поиска компромисса. Повышение надежности экспертных оценок при разработке важных стратегических и тактических решений — одна из проблем эффективного управления предприятием. Важное место в экспертных технологиях занимают коллективные экспертизы. Особенности коллективной экспертизы состоят в следующем: 1. Более полное представление о ситуации. Опыт проведения экспертиз показывает, что отдельные эксперты нередко представляют достаточно детально различные аспекты анализируемой ситуации. Объединение и сопоставление экспертных заключений позволяет получить более полную картину объекта экспертизы. 2. Выявление заведомо неконкурентных вариантов. Сопоставление различных точек зрения способствует выявлению альтернативных вариантов, использование которых нецелесообразно. 3. Выявление верных "еретических" суждений. Правильные решения порой могут предложить высококлассные специалисты, глубоко разбирающиеся в узкой профессиональной области. Мнение таких экспертов может существенно отличаться от мнения большинства, но именно оно может оказаться верным. 4. Получение объективных оценок. Мнения отдельных экспертов содержат оттенок субъективизма. Поэтому обсуждение экспертных заключений (предусматриваемое рядом экспертных процедур) повышает их объективность. Этому же способствуют процедуры выработки коллективных экспертных суждений и оценок на основании индивидуальных суждений и оценок. 5. Получение оценок повышенной надежности. Экспертные заключения, получаемые в результате коллективных экспертиз, во многих случаях оказываются более взвешенными, устойчивыми при поступлении дополнительной информации, обоснованными и надежными. Существуют некоторые свойства коллективных решений, которые необходимо учитывать при обработке экспертной информации и выработке экспертных заключений по определению предпочтительности альтернативных вариантов. В их составе такие, как: • свойство независимости. Результирующая коллективная экспертная оценка не зависит от добавления новых или исключения части старых рассматриваемых вариантов; • свойство непредвзятости. В результирующей коллективной оценке принципиально могут быть реализованы все возможные сочетания сравнительной предпочтительности вариантов решений; • свойство монотонности. Если какой-либо из экспертов изменил мнение в сторону коллективного, то результирующая коллективная оценка не изменится; • свойство ненавязанности. Всегда можно подобрать такие оценки сравнительной предпочтительности альтернативных вариантов, что в одном случае один альтернативный вариант будет лучше другого, а в другом случае — наоборот; • свойство отсутствия диктата. Не должно существовать сравнительной оценки альтернативных вариантов, данной одним из экспертов, которая принималась бы в качестве результирующей, независимо от сравнительных оценок, данных другими экспертами. В литературе эти свойства, сформулированные строго математически, называются условиями Эрроу. Практика показывает, что одновременное их выполнение для результирующей коллективной оценки невозможно (так называемый парадокс Эрроу). Большое значение в экспертных оценках имеют методы организации и проведения экспертиз. Рассмотрим некоторые из них. Метод комиссийсостоит в открытой дискуссии по обсуждаемой проблеме для выработки единого мнения экспертов. Коллективное мнение определяется в результате открытого или тайного голосования. В некоторых случаях к голосованию не прибегают, выявляя результирующее мнение в процессе дискуссии. Преимущества метода комиссий: возможен рост информированности экспертов за счет обсуждения обоснования экспертных оценок, и наличие обратной связи — под воздействием полученной информации эксперт может изменить первоначальную точку зрения. Однако метод комиссий обладает и недостатками. В частности, отсутствие анонимности может приводить к проявлению конформизма; дискуссия нередко приобретает характер полемики наиболее авторитетных экспертов; различная активность экспертов, часто не совпадающая с их компетентностью; публичность высказываний сочетается порой с нежеланием некоторых экспертов отступить от ранее высказанного мнения, хотя оно в ходе дискуссии может претерпеть изменения. Экспертиза по методу судахарактеризуется некоторой аналогией с судебным процессом. Состав экспертов делится на две группы. Одна объявляется сторонниками рассматриваемой альтернативы и выступает в качестве защиты, другая — объявляется ее противниками и пытается выявить отрицательные стороны. Существует и третья сторона, которая регулирует ход экспертизы и выносит окончательное решение. Одним из распространенных методов проведения экспертиз является метод "мозговой атаки".Основная его направленность — выявление новых идей. Для этой цели организаторы экспертизы создают атмосферу, наиболее благоприятствующую генерированию идей (благожелательности, поддержки), освобождающую эксперта от излишней скованности. Обсуждаемая проблема должна быть четко сформулирована. Метод "мозговой атаки" характеризуется открытым высказыванием мнений специалистов (на специальном заседании) по решению конкретной задачи. При этом должны соблюдаться два условия: во-первых, запрещается критика чужих суждений; во-вторых, предлагается высказывать любые идеи по решению данного вопроса без учета их сиюминутной ценности или возможности реализации. Все высказанные идеи фиксируются и после обсуждения детально прорабатываются. При этом выявляются рациональные моменты в каждом из высказанных предложений и на основе их обобщения формулируется решение. Достоинством данного метода является возможность принятия решения за сравнительно короткий срок. В рамках использования данного метода может применяться принцип Парето. А именно, после регистрации идей, исходя из соотношения 20:80, каждым из присутствующих отбирается из всей совокупности 20% идей, с их точки зрения наиболее заслуживающих внимания. Данный выбор также фиксируется. Далее в качестве основных идей по решению проблемы отбираются те из них, которые набрали большее количество очков (чаще отбирались присутствующими). Например, по решению проблемы было высказано 40 идей. Согласно принципу Парето из них следует отобрать 8 (20%), принципиально способствующих решению задачи. Каждый специалист делает такой выбор, производя соответствующие отметки. В конечном счете выявляется 8 идей, чаще всех попадавших в выборку. Они и берутся за основу для углубленной проработки и решения проблемы. В методе мозговой атаки существенная роль принадлежит руководителю, проводящему экспертизу. Он знает о конечной цели экспертизы, направляя дискуссию в соответствующее русло. Однако если руководитель стремится выделить лишь перспективные с его точки зрения идеи, результат экспертизы оказывается менее значительным. Метод Дельфы.Разработанный Хелмером и Делфы, он является одним из основных в проведении экспертиз и имеет различные модификации. Сегодня этот метод представляет собой по существу группу методов, объединенных общими требованиями к организации экспертных процедур и форме получения экспертных оценок. В нем предусматривается создание условий, обеспечивающих наиболее продуктивную работу экспертной комиссии, что достигается анонимностью процедуры, с одной стороны, и возможностью пополнить информацию о предмете экспертизы — с другой. Экспертизы по методу Дельфы проводятся в четыре этапа. На первом этапе экспертам сообщается цель экспертизы и формулируются вопросы, ответы на которые составляют основное содержание экспертизы. Во втором этапе им предъявляются усредненная оценка экспертной комиссии и обоснования экспертов, высказавших "крайние" точки зрения. Третий и четвертый этапы не отличаются от второго. Характерной особенностью метода Дельфы является уменьшающийся от этапа к этапу разброс оценок экспертов, их возрастающая согласованность. Однако иногда наблюдается поляризация различных точек зрения, что может объясняться наличием среди экспертов представителей различных научных школ, специалистов различных профилей. Метод прогнозного графа.Качество прогнозов зависит от корректно организованной экспертизы и обработки ее результатов. Известным методом экспертиз сложных систем, используемых при прогнозировании, является метод прогнозного графа. Он включает несколько этапов. Центральное место в нем занимает формирование прогнозного графа. На первом этапе составляется предварительный список промежуточных целей, необходимых для достижения конечной. Эксперты указывают специалистов, способных оценить возможность реализации каждой из указанных ими промежуточных и конечной целей. На втором этапе анализу подвергается уже не конечная, а промежуточные цели, сформированные экспертами в первом этапе. Эксперты второго этапа имеют право корректировать цели, сформулированные в первом этапе. Последующие этапы экспертизы аналогичны второму. Процедура заканчивается по достижении того уровня целей, при котором не требуется проведения дополнительных исследований и разработок. Метод сценариев.Сценарии позволяют с определенным уровнем достоверности выявить возможные тенденции развития событий, взаимосвязи между действующими факторами, сформировать картину состояний, к которым может прийти ситуация под влиянием тех или иных воздействий. Разработка таких сценариев способствует своевременному осознанию потенциальной опасности, с которой сопряжены варианты управленческих воздействий или неблагоприятное развитие событий. Прообразом метода сценариев может служить решение М. И. Кутузова об отступлении из Москвы в Отечественной войне 1812г. Прослушав различные варианты возможных действий, определяющих различные сценарии развития войны с французами, оценив их сильные и слабые стороны, полководец пришел к непопулярному (как оценили бы теперь), но единственно верному решению — оставить Москву. Последующее развитие событий подтвердило его правоту, война была выиграна. Использование специальных программ для ЭВМ, а также датчиков случайных чисел, с последующим исключением невозможных ситуаций, расширяет горизонт анализа, альтернативных вариантов сценариев. Перечень возможных вариантов развития событий позволяет обнаружить критические ситуации для принятия решений, потенциальные последствия предлагаемых альтернатив и выбор на этой основе наиболее эффективной. При высокой степени полезности оценки экспертов не всегда бывают точны. В принципе, оценить точность суждений эксперта возможно при тестовом характере оцениваемого показателя (когда заранее известно его значение). Этим приемом пользуются, например, при подборе состава экспертов для формирования комиссий. Основными причинами, снижающими точность экспертных оценок, являются: 1. Использование некомпетентных экспертов: • из-за недостаточно серьезного отношения к проведению экспертизы; • нечеткого понимания целей, характера объекта экспертизы и неполной информации о нем; • наличия ограниченной информации об экспертах и областях их профессиональных знаний и опыта; • отсутствия организационных механизмов, обеспечивающих возможность привлечения высококвалифицированных специалистов. 2. Недостаточная подготовленность экспертизы. Имеют место некачественная формулировка целей экспертизы, низкий организационный уровень ее подготовки и проведения, отсутствие необходимой квалификации рабочей группы, проводящей экспертизу. 3. Несовершенство используемых технологий. 4. Недостатки используемых методов обработки экспертной информации. При анализе результатов экспертизы следует обращать внимание на степень согласованности экспертных оценок, получаемых при ее проведении. Согласованность мнений комиссии может отражать тот факт, что к проведению экспертизы отнеслись формально, не придавая особого значения ее результатам, либо что эксперты при вынесении заключений и оценок проявили высокую степень конформизма. С другой стороны, несогласованность экспертных суждений может означать разное понимание экспертами цели экспертизы, а также участие в работе комиссии экспертов с противоположными интересами. Анализ согласованности экспертных суждений необходим, так как выявление по результатам оценок коалиций эк-спертов-"единомышленников" позволяет иногда сделать важные выводы, вскрыть причину несогласованности, повысить надежность оценок. В управленческой практике последнего времени среди современных информационных технологий известна система поддержки принятия решений (СППР). Существуют разные точки зрения относительно определения данной системы. Ее характеризуют как: • универсальную экспертную систему; • усовершенствованную автоматизированную систему принятия решений; • интерактивную, реализованную на компьютере систему, допускающую простой доступ к моделям и информации, используемым при разработке решений. Обобщая приведенные характеристики, можно сделать вывод, что СППР предназначена для информационной поддержки менеджеров в процессе разработки управленческих решений. Область применения СППР — это прежде всего слабоструктурированные проблемы, для которых характерно наличие неопределенности, а следовательно, поиск оптимального решения и имеющихся альтернатив. По некоторым данным, СППР широко используются в значительной части коммерческих организаций. Около 50% высших руководителей что-либо знают, либо слышали об СППР в своей области деятельности. Основными принципами эффективного использования данной системы являются: • обеспечение в необходимом объеме информацией о ситуации, требующей решения; • оперативный поиск информации, в частности, сбытовых подразделений, постоянных потребителей; • нахождение системы в постоянном эволюционном развитии, причем последующая ее версия должна качественно сопоставляться с предыдущей; • каждая последующая версия должна наращивать возможности системы за счет дополнительных резервов по генерированию альтернативных вариантов решений, отчетов по принимаемым решениям, интегрированию управленческой информации. СППР представляют собой реализацию управленческих технологий, основанных на широком использовании возможностей современных ЭВМ. Системы должны располагать достаточно мощными базами данных для обеспечения информационной поддержки как при индивидуальном, так и коллективном принятии решений, а также в нестандартных ситуациях. В них предполагается использование опыта и знаний высококвалифицированных специалистов, чтобы обеспечить более высокое качество разрабатываемых решений, т. е. предусмотрена активная роль человека. Исходной посылкой обеспечения эффективности решений является четкое определение их целевой направленности. Контрольные вопросы 1. Каковы основополагающие принципы разработки решений? 2. Назовите методы подготовки управленческих решений. 3. В чем состоят роль и функции руководителя в процедуре разработки решений? 4. Охарактеризуйте особенности различных подходов к организации разработки решений. 5. Опишите единоличные, групповые (коллегиальные) и коллективные решения. Каковы их достоинства и недостатки? 6. Демократические формы принятия управленческих решений: отечественный и зарубежный опыт. 7. Каковы особенности экспертных оценок как метода разработки решений? 8. Назовите методы организации и проведения экспертиз. 9. Что понимается под СППР? 10. В чем состоят особенности системного подхода к разработке решений, его отличия от традиционного? 11. Что такое правильные решения и оптимальные решения? В чем их различие? |