Метод экспертной оценки шпора

Сущность метода экспертных оценок

Сущность метода экспертных оценок заключается в рациональной организации проведения экспертами анализа проблемы с количественной оценкой суждений и обработкой их результатов.

В процессе решения проблем эксперты выполняют роль генератора идей, событий и явлений, решений, определения признаков и показателей для описания свойств объектов и их взаимосвязей и т. п. и измерителя их характеристик (измерения достоверности событий и гипотез, важности целей, значений признаков и показателей, предпочтений решений).

Все множество проблем можно условно подразделить на два больших класса: с достаточным и недостаточным информационным потенциалом. Это означает, что для проблем первого класса имеется необходимый объем знаний и опыта по их решению. Поэтому по отношению к этим проблемам эксперты являются качественными источниками и достаточно точными измерителями информации. На основании этого обобщенное мнение группы экспертов определяется осреднением их индивидуальных суждений и является близким к истинному. В отношении проблем второго класса эксперты уже не могут рассматриваться как достаточно точные измерители.

Подбор экспертов

Взависимости от масштаба решаемой проблемы организацию процедуры проведения экспертного оценивания осуществляет лицо, принимающее решение (ЛПР), или назначаемая им группа управления. Подбор количественного и качественного состава экспертов производится на основе анализа широты проблемы, достоверности оценок, характеристик экспертов и затрат ресурсов.

Выполняя работу по подбору экспертной группы, требуется решать следующие задачи:

• уяснение решаемой проблемы;
• определение перечня областей деятельности, связанных с решаемой проблемой;
• определение долевого состава экспертов по каждой области деятельности;
• определение количества и предварительного состава экспертов в группе;
• анализ квалификации экспертов и уточнение списка экспертов в группе;
• получение согласия экспертов на участие в работе;
• составление окончательного списка состава экспертов.

При подборе экспертов представители группы управления руководствуются следующими основными требованиями, предъявляемыми к эксперту.

Компетентность - степень квалификации эксперта в определенной области знаний, которая оценивается с помощью анкетного опроса, путем интервьюирования, анализам предыдущей деятельности специалиста, уровня и широты знакомства с достижениями мировой науки и техники, пониманием проблем и перспектив развития.

Креативность - это способность решать творческие задачи.

Конформизм - это подверженность влиянию авторитетов.

Конструктивность мышления - это способность формировать решения, обладающие свойством практичности (прагматизм).

Коллективизм - этика поведения человека в коллективе, влияние на создание положительного психологического климата и тем самым на успешное решение проблемы.

Самокритичность эксперта проявляется при самооценке своей компетентности.

Отношение к экспертизе - негативное или пассивное отношение к решению проблемы, большая занятость и другие факторы существенно сказываются на выполнении экспертами своих функций, поэтому участие в экспертизе должно рассматриваться как плановая работа. Перечисленные характеристики эксперта достаточно полно описывают необходимые качества, которые влияют на результаты экспертизы. В настоящее время указанные характеристики в основном оцениваются на качественном уровне.

Опрос экспертов

Главным в организации опроса экспертов является создание таких условий, при которых эксперты были бы обеспечены в максимальной степени всей необходимой информацией и могли бы в полной мере проявить свою творческую активность и самостоятельность. В связи с этим группе управления следует предоставлять экспертам возможность ведения записей, использования технических средств (в том числе и ЭВМ), а также в случае необходимости организовывать предварительную обработку полученной информации и представление ее экспертам в наиболее наглядной форме. На определенных этапах экспертного оценивания общение экспертов является нежелательным, так как это может привести к утрате самостоятельности, независимости в своих суждениях и оценках каждого эксперта, повлиять на его творческую активность. Поэтому организаторы проведения экспертизы в этом случае должны находить разумный компромисс прежде всего путем выбора вида (метода) опроса, формы и степени общения экспертов.

Выбор того или иного метода опроса определяется целями экспертизы, сущностью решаемой проблемы, полнотой и достоверностью исходной информации, располагаемым временем и затратами на проведение опроса.

Рассмотрим содержание и технологию проведения перечисленных выше видов опроса.

Анкетирование представляет собой опрос экспертов с помощью анкет, на вопросы которых они должны дать ответы в письменной форме, либо с использованием технических средств. Вопросы, содержащиеся в анкетах, можно классифицировать по содержанию и по типу.

По содержанию вопросы делятся на три группы:

• объективные данные об эксперте (возраст, образование, должность, специальность, стаж работы и т. п.);
• основные вопросы по сути анализируемой проблемы;
• дополнительные вопросы, позволяющие выяснить источники ин-формации, аргументацию ответов, самооценку компетентности эксперта и т. п.

По типу вопросы делятся на открытые, закрытые и с веером ответов. Открытые вопросы предполагают ответ в произвольной форме. Открытые вопросы целесообразно применять в случае большой неопределенности проблемы. Это позволяет широко охватить рассматриваемую проблему, выявить спектр мнений экспертов. Недостатком открытых вопросов является возможное большое разнообразие и произвольная форма ответов, что существенно затрудняет обработку анкет.

Вопрос с веером ответов дает возможность эксперту выбрать один из предлагаемых ответов. Их целесообразно использовать при наличии нескольких достаточно четко определенных альтернативных вариантов. Эти варианты формируются для ориентации экспертов по возможному кругу направлений в решении проблемы.

Это устный опрос, проводимый в форме беседы-интервью. Интервью с экспертом проводится членом группы управления и является по сути беседой, в которой ответы на заранее разработанные вопросы даются в устной форме. Естественно, качество ответов в этом случае снижается, ибо у эксперта меньше времени на их обдумывание, хотя при такой форме общения может быть получен оригинальный взгляд на решаемую проблему. Интервьюер должен хорошо знать анализируемую проблему, уметь четко формулировать вопросы, создавать непринужденную обстановку и уметь слушать.

Представляет собой многотуровую процедуру анкетирования с обработкой и сообщением результатов каждого тура экспертам, работающим инкогнито по отношению друг к другу. В первом туре опроса дельфийским методом экспертам предлагаются вопросы, на которые они дают ответы без аргументации. Полученные от экспертов данные обрабатываются с целью выделения среднего и крайних значений оценок. Результаты обработки первого тура сообщаются экспертам. Если оценка эксперта сильно отклоняется от среднего значения, то его просят аргументировать свое мнение или изменить оценку.

Результаты опроса во втором туре обрабатываются и сообщаются экспертам. Результаты обработки второго тура содержат новые средние и крайние оценки, если производилась корректировка оценок первого тура. В случае сильного отклонения своих оценок эксперты должны аргументировать или изменить свои суждения с пояснением причин этого. Проведение последующих туров - по аналогичной схеме. Обычно проводятся три-четыре тура, после которых ответы приобретают устойчивый характер и не содержат каких-либо изменений.

При проведении опроса по методу Дельфы сохраняется анонимность ответов экспертов по отношению друг к другу. Это обеспечивает исключение подавления мнений экспертов за счет научного авторитета или должностного положения других экспертов.

Дискуссию целесообразно проводить для решения тех задач, которые не требуют точной количественной оценки объектов, параметров, альтернатив. Для проведения дискуссии формируется группа экспертов не более 20 человек. Группа управления проводит предварительный анализ проблем дискуссии с целью четкой формулировки задач, определения требований к экспертам, их подбора и методики проведения дискуссии.

Дискуссия проводится как открытое коллективное обсуждение рассматриваемой проблемы, основной задачей которого является всесторонний анализ всех факторов, положительных и отрицательных последствий, выявления позиций и интересов участников. В ходе дискуссии разрешается критика. Дискуссия может продолжаться в течение нескольких часов, поэтому необходимо определить регламент работы: время на доклад ведущего и выступления, проведение перерывов. Во время перерывов дискуссия продолжается. Поэтому перерывы следует делать не слишком короткими, так как кулуарные обсуждения дают положительный эффект.

Группа управления производит анализ и обработку результатов дискуссии и всех материалов, связанных с проблемой, и оформляет результаты дискуссии в виде практических рекомендаций по решаемой проблеме.

Представляет собой групповое обсуждение с целью генерации новых идей, вариантов решений проблемы. Характерной особенностью этого вида экспертизы является активный творческий поиск принципиально новых решений в трудных тупиковых ситуациях, когда известные пути и способы решения оказываются непригодными. Для поддержания активности и творческой фантазии экспертов в ходе заседания (сеанса) запрещается какая- либо критика высказываемых идей, которые на первый взгляд кажутся даже нелепыми и возможно нелогичными.

Для проведения сеанса назначается ведущий, основной задачей которого является управление ходом обсуждения для решения поставленной проблемы. В начале сеанса ведущий объясняет содержание и актуальность проблемы, правила ее обсуждения и предлагает для рассмотрения одну-две идеи.

Образуются две разные группы: группа генераторов идей и группа аналитиков. Представители первой группы не обязательно должны быть высококвалифицированными специалистами в рассматриваемой области и хорошо понимать поставленную задачу. Желательно, чтобы состав приглашенных специалистов был достаточно представительным и включал людей с большим опытом, широкой эрудицией и богатой фантазией.

Сеанс продолжается примерно 40-45 минут без перерыва. Для выступления предоставляется 2-3 минуты, которые могут повторяться. В каждом выступлении эксперты должны стремиться выдвинуть как можно больше новых идей и развивать ранее выдвинутые идеи. Идеи и предложения должны быть конструктивные, направлены на решение проблемы. В процессе генерирования идей и их обсуждения прямая критика запрещена, однако она имеет место в неявной форме и выражается в степени поддержки и развития высказываний.

На втором этапе реализации рассматриваемого метода осуществляется анализ и критика высказанных во время сеанса идей, точек зрения, мыслей и отбор наиболее ценных, перспективных и реальных решений. Данный анализ проводится группой специалистов, с привлечением технических средств и осуществлением количественного анализа, что позволяет углубить его, сделать получаемые результаты более объективными и разносторонними.

Обработка экспертных оценок

После проведения опроса группы экспертов осуществляется обработка результатов. Целью обработки является получение обобщенных данных и новой информации, содержащейся в скрытой форме в экспертных оценках. В зависимости от целей экспертного оценивания при обработке результатов опроса возникают следующие основные задачи:

Крулехт М.В., Тельнюк И. В.

Экспертный метод как механизм научно-педагогической экспертизы

Механизмом, позволяющим проводить научно-педагогическую экспертизу, является экспертный метод, или метод экспертных оценок.

Экспертный метод — это комплекс логических и математических процедур, направленных на получение информации, ее анализ и обоб­щение с целью подготовки и принятия компетентного управленчес­кого решения.

Суть метода состоит в проведении экспертами анализа проблемы с качественной и количественной оценкой суждений и формальной обработкой результатов индивидуальных экспертных оценок.

Метод экспертных оценок позволяет анализировать сложные педагогические процессы, явления или ситуации, которые харак­теризуются в основном качественными, неформализуемыми при­знаками (что затрудняет их анализ и оценку). Метод экспертных оценок используется при прогнозировании развития системы об­разования в ее взаимосвязи с социальной средой, для определения и ранжирования по заданному критерию наиболее существенных факторов, влияющих на функционирование и развитие педагоги­ческой системы. Данный метод обеспечивает оценку альтернатив­ных решений и выбор предпочтительных вариантов решения.

Метод экспертных оценок имеет логически взаимосвязанные этапы, которые являются основными этапами педагогической экс­пертизы.

Начальный этап (организация экспертизы) включает:

• определение цели и задач экспертизы, постановку проблемы;

• определение меры ответственности, прав и полномочий рабо­
чей группы экспертов;

• установление сроков проведения экспертизы;

• подбор экспертов, формирование экспертных групп (при не­
обходимости определение их компетентности).

Основной этап экспертизы связан со сбором данных, про­ведением исследовательской работы и экспертной оценкой, ана­лизом имеющегося материала. Технология экспертизы, использо­вание совокупности методов и критериев оценки зависят от ха­рактера экспертизы, области ее применения.

Для педагогической экспертизы чаще всего требуется разработ­ка анкет, опросников, тестов, контрольно-диагностических зада­ний. Экспертная оценка является результатом аналитической дея­тельности, основана на умении видеть и разрешать противоречия, прогнозировать, предвидеть и находить нестандартные способы решения.

Завершающий этап экспертизы — опрос экспертов (ин­дивидуальный или групповой; личный, очный или заочный; устный или письменный), оформление документа (отчет, справка, рецен­зия и пр.), принятие экспертного заключения — основы для компе­тентного управленческого решения, которое принимает менеджер.

Экспертное заключение— это документ, оформленный в соот­ветствии с установленными требованиями и содержащий мотивиро­ванную экспертную оценку, т. е. мнение, суждение эксперта о пред­мете экспертизы.

В зависимости от области применения экспертных методов в педагогике возможны индивидуальные, групповые и коллективные эк­спертные оценки. Для принятия важных экспертных заключений о перспективах и концепциях развития системы образования, госу­дарственных стандартах образования, новых образовательных про­граммах используется метод коллективных экспертных оценок. Чет­ко регламентирован количественный состав членов экспертной группы при проведении аттестации образовательных учреждений.

Смысл коллективных методов работы экспертов состоит в ак­тивизации коллективного поиска решения проблемы путем сбора идей и предложений, возникающих в процессе дискуссии.

Для получения обобщенного суждения экспертов относительно прост и удобен метод ранговых оценок. Он заключается в том, что любую изучаемую информацию располагают в порядке возраста­ния или убывания величины признака. Каждому признаку припи­сывают число, обозначающее его ранг. Полученные результаты лег­ко поддаются математической обработке. Проверку согласованно­сти ранжировок определяют вычислением коэффициента ранго­вой корреляции Спирмена или коэффициента конкордации.

Индивидуальные экспертные оценки могут быть получены путем анкетирования, интервью, свободной беседы.

Для проведения педагогической экспертизы целесообразно ис­пользовать уже разработанные, апробированные, доказавшие свою валидность и объективность методики: они, как правило, являют­ся результатом психолого-педагогических исследований. Если же таких методик нет, их приходится разрабатывать самим экспер­там.

Требует разработки и определение критериев экспертной оцен­ки. Алгоритм разработки:

• определяется номенклатура уровней (высокий, средний, низ­
кий или оптимальный, допустимый, недопустимый и т.д.);

• отрабатывается набор показателей, которые в совокупности
характеризуют уровень развития оцениваемого качества, парамет­
ра, результата.

При разработке показателей исходят из того, что каждый из критериев оценки, например материально-технические и медико-социальные условия пребывания детей в дошкольном образова­тельном учреждении, может быть представлен как совокупность подкритериев более низкого уровня (предметная развивающая сре­да, безопасность ребенка, охрана здоровья), а они, в свою оче­редь, — в виде совокупности подкритериев еще более низкого уровня и т.д. Этот процесс повторяют до тех пор, пока не появля­ется возможность определить для каждого из критериев и подкри­териев один или несколько показателей оценки (наличие обору­дования, игрушек и пособий, показатели заболеваемости и трав­матизма, санитарное состояние помещений и территории детско­го сада, сформированность культурно-гигиенических навыков, уровень самотического, психофизического здоровья детей и т.д.), значение которых определяют с помощью измерительных методик или экспертной оценки.Обзор развития методов экспертных оценок в образовании по­казывает тенденцию к разработке методов, позволяющих конкрет­но обозначить, определить, назвать и измерить результаты педаго­гической деятельности, подвергнуть их программно-техническим средствам обработки.

Достоверность экспертной оценки зависит от компетенции экс­перта. Независимо от уровня экспертизы ее должны давать наибо­лее квалифицированные специалисты. Общие требования, предъяв­ляемые к эксперту:

• креативность, развитые творческие способности, позволяю­
щие анализировать проблемные ситуации и находить пути разре­
шения противоречий;

• отсутствие склонности к конформизму, принятию мнения боль­
шинства;

• аналитичность, широта и конструктивность мышления;

• позитивное отношение к инновациям, отсутствие консерватиз­
ма, т. е. стремления придерживаться однажды избранной позиции.

Для независимой экспертизы весьма важна этика поведения экс­перта, прежде всего его честность, неподкупность, ответственность.

• вопрос-фильтр, позволяющий выявить осведомленность оп­
рашиваемого о проблеме;

• вопрос, направленный на выявление общего отношения оп­
рашиваемого к проблеме (открытый, не предусматривающий ва­
риантов выбора ответа);

• вопрос для получения ответа по конкретному аспекту пробле­
мы (закрытый, предполагающий варианты готовых ответов);

• вопрос, позволяющий выявить причины взглядов, мотивацию
его суждений (полузакрытый);

• вопрос на выявление устойчивости взглядов опрашиваемого
на проблему (в закрытой форме).

Понятие статус эксперта обозначает совокупность прав и обязан­ностей, полномочия и ответственность эксперта. Определяется на основе нормативно-правовых документов и утверждается прези­диумом «кспертного совета.

Системно-комплексный подход в научно-педагогической экспертизе

Осуществляя научно-педагогическую экспертизу, давая эксперт­ную оценку, важно помнить, что и любое дошкольное образова­тельное учреждение, и вся система дошкольного образования — это целостная социально-педагогическая система.

Под системой понимается совокупность определенных элемен­тов, которые взаимодействуют между собой и образуют целост­ность, единство. Единство компонентов и их взаимодействие об­разуют систему в рамках заданного качества, обеспечивают ее фун­кционирование и развитие. Поэтому, осуществляя научно-педаго­гическую экспертизу, эксперт имеет дело с системой в ее целост­ности.

Адекватная экспертная оценка основана на умении расчленять систему на подсистемы, блоки, структурообразующие компонен­ты, учитывать их взаимосвязи, а также осознании того, что целост­ность системы порождает качественно новые свойства, которые отсутствуют у ее компонентов.

Педагогические системы создаются и действуют с определен­ной целью, при этом цель является системообразующим компо­нентом. Необходимость ее достижения связана с комплексом средств и действий по ее реализации.

Реализация цели — функция педагогической системы. Будучи активными в реализации целей, педагогические системы опреде­ляются как целеустремленные, целенаправленные. Отличительным признаком всех целенаправленных систем выступает их полифунк­циональность — способность видоизменять цели и корректировать действия для достижения результатов. Достижение промежуточных '"итогов, т.е. подцелей, вследствие функционирования компонен­тов педагогической системы указывает на другой аспект систем­ности — системно-функциональный.

Особенностью педагогических систем является их теснейшая связь с внешней средой, зависимость от социально-политических, экономи­ческих, бытовых, природно-экологических условий. Эксперт должен помнить, что педагогические системы исторически обусловлены. По мере общественного, социального и научно-технического про­гресса они совершенствуются в содержательном, структурном, функциональном и историческом аспектах.

Функционируя и развиваясь во внешней по отношению к себе среде, педагогическая система как открытая связана со средой множеством информативно-коммуникативных связей. При этом системы более высокого уровня (государственная, политическая, экономическая и др.) ставят перед низшими подсистемами, в том числе и педагогическими, цели и задачи, выделяют ресурсы, ус­танавливают ограничения. Здесь в самом общем виде проявляется информационно-коммуникативный аспект системности.

Исходя из данных положений, научно-педагогическая экспер­тиза, экспертные оценки в образовании требуют системного и все­стороннего комплексного анализа результатов управленческой и педагогической деятельности. Важны также определение специфиче­ских условий и проблем социума, их влияние на дошкольное уч­реждение или систему дошкольного образования в целом.

С учетом открытости, динамичности и целеустремленности пе­дагогических систем их следует относить к числу развивающихся, которым присущи внутренние противоречия. Благодаря управле­нию происходящие в педагогических системах изменения носят не стихийный, а упорядоченный характер.

Структурно-функциональная упорядоченность компонентов, их интеграция и взаимодействие с окружающей средой обеспечива­ются органами внутреннего управления и механизмами управле­ния. В этом плане педагогические системы проявляются как само­управляемые (Т. И. Шамова).

Названные положения являются основополагающими при про­ведении научно-педагогической экспертизы и требуют от экспер­та выявления закономерных связей, определяющих уровень целост­ности системы управления дошкольными образовательными учреж­дениями как по вертикали (субординационные связи управления), так и по горизонтали (координационные связи). Экспертный подход в оценке эффективности существующей системы образования обес­печивает основу для принятия грамотного управленческого реше­ния, совершенствования динамичной структуры и технологии уп­равления как образовательным учреждением, так и системой об­разования в целом.

Таким образом, экспертные оценки в образовании требуют си­стемного видения действительности. Суть системного подхода со­стоит в том, что каждый сложный объект рассматривается как си­стема, взаимодействующая с другими системами и подсистемами.

Зачастую необходимо выбрать среди множества альтернатив, при этом каждая обладает различными преимуществами. И как же выбрать лучшую, имея мнение десятков, а то и сотен экспертов?



Как вычисление рейтинга компьютерной игры, основанного на оценках критиками графики, геймплея и сюжета, так и коллективный выбор приоритетной задачи перед появлением заказчика, относится к методам экспертных оценок.

В случаях чрезвычайной сложности проблемы, ее новизны, недостаточности имеющейся информации, невозможности математической формализации процесса решения приходится обращаться к рекомендациям компетентных специалистов, прекрасно знающих проблему, — к экспертам. Их решение задачи, аргументация, формирование количественных оценок, обработка последних формальными методами получили название метода экспертных оценок.

Существует две группы экспертных оценок:

1. Индивидуальные оценки основаны на использовании мнения отдельных экспертов, независимых друг от друга.
2. Коллективные оценки основаны на использовании коллективного мнения экспертов.

Грубо говоря, к первой группе относится оценка статей на хабре, голосование в опросах и т.д., когда каждый эксперт принимает решение самостоятельно. Подбор (отсев) экспертов осуществляется посредством кармы. Именно первая группа превалирует в интернете 2 за счет возможности охвата большего числа экспертов.

Способы измерения объектов

1. Ранжирование – это расположение объектов в порядке возрастания или убывания какого-либо присущего им свойства. Ранжирование позволяет выбрать из исследуемой совокупности факторов наиболее существенный.
2. Парное сравнение — это установление предпочтения объектов при сравнении всех возможных пар. Здесь не нужно, как при ранжировании, упорядочивать все объекты, необходимо в каждой из пар выявить более значимый объект или установить их равенство.
3. Непосредственная оценка. Часто бывает желательным не только упорядочить (ранжировать объекты анализа), но и определить, на сколько один фактор более значим, чем другие. В этом случае диапазон изменения характеристик объекта разбивается на отдельные интервалы, каждому из которых приписывается определенная оценка (балл), например, от 0 до 10. Именно поэтому метод непосредственной оценки иногда именуют также балльным методом.

Метод простой ранжировки заключается в том, что каждого эксперта просят расположить признаки в порядке предпочтения.


a_ij — оценка признака экспертом. n — количество признаков, m — количество экспертов.
Затем, подсчитывается S_i — среднее значение важности признака.

Метод задания весовых коэффициентов (a_ij)

1. всем признакам назначают весовые коэффициенты так, чтобы суммы коэффициентов была равна какому-то фиксированному числу (например, единице, десяти или ста);
2. наиболее важному из всех признаков придают весовой коэффициент, равный какому-то фиксированному числу, а всем остальным – коэффициенты, равные долям этого числа.

Метод последовательных сравнений заключается в следующем:

1. эксперт упорядочивает все признаки в порядке уменьшения их значимости: А1>A2>…>An;
2. присваивает первому признаку значение, равное единице: A1=1, остальным же признакам назначает весовые коэффициенты в долях единицы;
3. сравнивает значение первого признака с суммой всех последующих.

В парном сравнении не нужно, как при ранжировании, упорядочивать все объекты, необходимо в каждой из пар выявить более значимый объект или установить их равенство. Парное сравнение можно проводить при большом числе объектов, а также в тех случаях, когда различие между объектами столь незначительно, что практически невыполнимо их ранжирование.
При использовании метода чаще всего составляется матрица размером n_xn, где n – количество сравниваемых объектов.


При сравнении объектов матрица заполняется элементами a_ij следующим образом (может быть предложена и иная схема заполнения):

• 2, если объект i предпочтительнее объекта j (i > j),
• 1, если установлено равенство объектов (i = j),
• 0, если объект j предпочтительнее объекта i (i Вычисление

Говоря о согласованности мнений экспертов, стоит упомянуть, что ранжирование не подразумевает (или не всегда подразумевает) расстояние. То есть у одного эксперта A>B>C означает, что A>>B>C, а у другого A>B>>C. И всякие корреляции и расчеты средних оценок тут не помогут. Как вариант, считать индекс согласованности. Что-то типо количества противоречивых замкнутых цепочек мнений экспертов (Первый считает, что A лучше Б, второй, что Б лучше С, а третий, что С лучше А) к количеству всех подобных цепочек.

Рейтинги обычно базируются на некоторой вероятностной модели, поэтому нужно тщательно учитывать область их возможного применения.

Статья и не претендует на полный многоэтапный разбор методов и алгоритмов оценки, лишь поверхностное их описание. Посему, если вы знаете применимые в данном случае (не описанные мной) методы и алгоритмы — с удовольствием добавлю их в статью. Или любую полезную тематическую литературу.

Засим откланиваюсь. Всех с праздником, раминь. А для тех, кто зашел посмотреть на девушек — вот вам

Громова Н. М., Громова Н. И.,

Третий этап - генерация идей. Она начинается с того, что ведущий раскрывает содержание проблемной записки. Предсказывая описание метода, ведущий концентрирует внимание участников на правилах проведения мозговой атаки: 1) высказывания участников должны быть четкими и сжатыми; 2) скептические замечания и критика предыдущих выступлений не допускаются; 3) каждый из участников имеет право выступать много раз, но не подряд; 4) не разрешается зачитывать подряд список идей, который может быть подготовлен участниками заранее. Пересказывая содер­жание проблемной ситуации, ведущий концентрирует внимание участ­ников на основном вопросе. Свое выступление ведущий должен стро­ить таким образом, чтобы пробудить психологическую восприимчи­вость участников, заставить их почувствовать потребность сде­лать то, о чем он их просит. Желаемый отклик участников - воля к целеустремленности мышления, направленного на решение проблем­ной ситуации.

- сосредоточивать внимание участников на проблемной ситуации, задавая рамки специфическими её требованиями и терминологической строгостью высказываемых идей;

- не объявлять ложной, не осуждать и не прекращать исследова­ние ни одной идеи, т.е. рассматривать любую идею независимо от её кажущейся уместности или осуществимости;

- приветствовать усовершенствование или комбинацию идей, пре­доставляя слово в первую очередь тому, кто хочет высказаться в связи с предыдущим выступлением;

- оказывать поддержку и поощрение участникам, столь необходи­мые для того, чтобы освободить их от скованности;

- создавать непринужденность обстановки, способствуя, таким образом, активизации участников атаки.

Продолжительность мозго­вого штурма рекомендуется не менее 20 минут и не более 1 часа в зависимости от активности участников. Целесообразно вести запись высказываемых идей.

Четвертый этап - систематизация идей, выска­занных на этапе генерации. Систематизацию идей группа анализа проблемной ситуации осуществляет в такой последовательности: составляется номенклатурный перечень всех высказанных идей; каждая из идей формулируется в общеупотребительных терминах; определяются дублирующие и дополняющие идеи; дублирующие и (или) дополняющие идеи объединяются и формулируются в виде одной комп­лексной идеи; выделяются признаки, по которым идеи могут быть объединены; идеи объединяются в группы согласно выделенным при­знакам; составляется перечень идей по группам (в каждой группе идеи записываются в порядке их общности: от более общих к част­ным, дополняющим или развивающим более общие идеи).

Пятый этап - деструирование (разрушение, критика) систематизированных идей (специализированная процедура оценки идей на практическую реализуемость в процессе мозговой атаки, когда каж­дая из них подвергается всесторонней критике со стороны участ­ников мозговой атаки).

Основное правило этапа деструирования - рассматривать каждую из систематизированных идей только с точки зрения препятствий на пути к её осуществлению, т.е. участники атаки выдвигают дово­ды, опровергающие систематизированную идею. Особенно ценным яв­ляется то обстоятельство, что в процессе деструирования может быть генерирована контридея, формулирующая имеющиеся ограничения и выдвигающая прещщложение о возможности снятия этих ограничений.

Группа участников мозговой атаки этого этапа состоит из высококвалифицированных специалистов в обсуждаемой области, числен­ность её достигает 20-25 человек, а продолжительность - 1,5 часа. Процесс деструирования продолжается до тех пор, пока каждая из систематизированных идей перечня не подвергнется критике. Высказанные критические замечания и контридеи записываются на магни­тофон.

Шестой этап - оценка критических замечаний и составление списка практически применимых идей. Реализацию этапа осуществляет группа анализа проблемной ситуации:

1. Составляется перечень всех критических замечаний, полученных на этапе деструирования. При необходимости критические замечания уточняются, отбрасываются дублирующие.

2. Составляется сводная таблица этапов систематизации и деструирования идей, а также список показателей практической применимости идей (эти показатели в каждом конкретном случае специфичны и зависят от конкретной проблемной ситуации). Первая графа таблицы - результаты этапа систематизации идей; вторая - критические замечания, опровергающие идеи; третья – показатели практической применимости идей; четвертая - контридеи, высказанные на этапе деструирования.

3. Оценивается каждое критическое замечание и контридея:

а) вычеркивается из таблицы, если опровергается хотя бы одним показателем практической применимости;

б) не вычеркивается, если оно не опровергается ни одним показателем.

4. Составляется окончательный список идей; переносятся в список только те идеи, которые не опровергнуты критическими замечаниями и остались в таблице, а также контридеи.

Метод коллективной генерации идей апробирован на практике и позволяет находить групповое решение при определении возможных вариантов развития объекта прогнозирования, исключая путь комп­ромиссов, когда единое мнение нельзя считать результатом беспри­страстного анализа проблемы.

Анонимность заключается в том, что в ходе проведения про­цедуры экспертной оценки прогнозируемого явления, объекта участ­ники экспертной группы неизвестны друг другу. При этом взаимо­действие членов группы при заполнении анкет, полностью устраня­ется. В результате такой постановки автор ответа может изменить свое мнение без публичного объявления об этом.

Представив прогноз научно-технических сдвигов как Д₁, Д₂, …, Д_n, а соответствующие им вероятности как Р₁, Р₂, …, Р_n и по­лагая Р₁=100% , находят изменения значений Р₂, …, Р_i, …, Р_n.

При введении перекрестной корреляции значения каждого собы­тия за счет введенных определенных связей будут изменяться либо в положительную, либо в отрицательную сторону, корректируя тем самым вероятности рассматриваемых событий. С целью будущего со­ответствия модели реальным условиям в модель могут быть введены элементы случайности.

Сущность методов экспертных оценок для разра­ботки прогнозов состоит в определении согласованности мнений экспертов по перспективным направлениям развития объекта прог­нозирования, сформулированным ранее отдельными специалистами, а также в оценке аспектов развития объекта, которая не может быть определена другими методами (например, аналитическим расчетом, экспериментом и т.д.).

Содержание методов экспертных оценок заключает­ся в следующем

I. Создание групп. Для организации проведения экспертных оценок создаются рабочие группы, в функции которых входят проведение опроса, обработка материалов и анализ результатов коллективной экспертной оценки. Рабочая группа назначает экспертов, которые дают ответы на поставленные вопросы, касающиеся перспектив раз­вития данной отрасли. Количество экспертов, привлекаемых для раз­работки прогноза, может колебаться от 10 до 150 человек, в зави­симости от сложности объекта.

II. Формулирование глобальной цели системы. Перед тем, как организовать опрос экспертов, не­обходимо уточнить основные направления развития объекта, а также составить матрицу, отражающую генеральную цель, подцели и сред­ства их достижения. При этом в ходе предварительного анализа совместно с группой специалистов определяются наиболее важные цели и подцели для решения поставленной задачи. Под средствами достижения цели понимаются направления научных исследований и разработок, результаты которых могут быть использованы для дости­жения цели. При этом направления научных исследований и разрабо­ток не должны пересекаться друг с другом.

III. Разработка анкеты. Заключается в раз­работке вопросов, которые будут предложены экспертам. Форма воп­роса может быть разработана в виде таблиц, но содержание их долж­но определяться спецификой прогнозируемого объекта или отрасли. При этом вопросы должны быть составлены по определенной структур­но-иерархической схеме, т.е. от широких вопросов к узким, от сложных к простым.

При проведении опроса экспертов необходимо обес­печить однозначность понимания отдельных вопросов, а также неза­висимость суждений экспертов.

IV. Расчёт экспертных оценок. Необходимо провести обработку материалов экс­пертных оценок, которые характеризуют обобщенное мнение и сте­пень согласованности индивидуальных оценок экспертов. Обработка данных оценок экспертов служит исходным материалом для синтеза прогнозных гипотез и вариантов развития отрасли.

Окончательная количественная оценка определяется с помощью четырех основных методов экспертных оценок и множества их разновидностей:

1)метод простой ранжировки (или метод предпочтения);

2)метод задания весовых коэффициентов;

3)метод парных сравнений;

4)метод последовательных сравнений.

Метод простой ранжировки заключается в том, что каждого эксперта просят расположить признаки в порядке предпочтения. Цифрой один обозначается наиболее важный признак, цифрой два – следующий за ним по важности и т.д. полученные данные сводятся в следующую таблицу.

Таблица 2.1 Экспертные оценки признаков (направлений исследований)

Затем с помощью методов математической статистики получают обобщенное мнение экспертов. Определяется средний ранг, среднее статистическое значение S_j j-го признака:

i - номер эксперта; i = 1,…,m;

j - номер признака, j = 1,2,…,n.

Определяется средний ранг каждого признака. Чем меньше величина S_j, тем больше важность этого признака.

Определяется средний ранг совокупности признаков:

Вычисляется отклонение d_j среднего ранга j-го признака от среднего ранга совокупности :

Определяется число одинаковых рангов, назначенных экспертами j-му признаку – t_q.

Определяется количество групп одинаковых рангов – Q. Определяется коэффициент конкордации по формуле:

По мере увеличения согласованности мнений экспертов коэффициент конкордации возрастает и в пределе стремится к единице. Однако даже если он равен или близок к нулю, не всегда имеет место полное разногласие. Среди экспертов могут быть группы с хорошо согласованными мнениями, но мнения эти – противоположны и в общей массе нейтрализуют друг друга. В таком случае следует проделать кластерный или комбинированный анализ для выявления этих групп.

Достоинства метода простой ранжировки:

1) сравнительная простота процедуры получения оценок;

2) меньшее число экспертов по сравнению с другими методами при оценке одного и того же набора признаков.

Недостаток же его в том, что:

1) заведомо считают распределение оценок равномерным;

2) уменьшение важности признаков предполагается также равномерным, в то время как на практике этого не бывает.

Метод задания весовых коэффициентов заключается в присвоении всем признакам весовых коэффициентов. Весовые коэффициенты могут быть проставлены двумя способами:

1) всем признакам назначают весовые коэффициенты так, чтобы суммы коэффициентов была равна какому-то фиксированному числу (например, единице, десяти или ста);

2) наиболее важному из всех признаков придают весовой коэффициент, равный какому-то фиксированному числу, а всем остальным – коэффициенты, равные долям этого числа.

Обобщенное мнение экспертов также получаем с помощью методов математической статистики по формулам (2.1 – 2.5).

Метод последовательных сравнений заключается в следующем:

2) присваивает первому признаку значение, равное единице: A₁=1, остальным же признакам назначает весовые коэффициенты в долях единицы;

3) сравнивает значение первого признака с суммой всех последующих.

Возможны три варианта:

A₁ Метод парных сравнений

Согласно ему все признаки попарно сравниваются между собой. На основании парных сравнений путем дальнейшей обработки находятся затем оценки каждого признака.

Чтобы эксперту было удобнее проводить сравнения, признаки (A,B,C,…N) заносятся в таблицу и по горизонтали и по вертикали.

Эксперт заполняет клетки такой таблицы. Сравнение признака самого с собой дает единицу. В первой клетке эксперт пишет единицу, во второй – результат сравнения первого признака со вторым, в третьей – результат сравнения первого признака с третьим и т.д. Переходя ко второй строке, эксперт записывает в первой клетке результат сравнения второго признака с первым, во втором – единицу, в третьей – сравнение второго признака с третьим и т.д.

Половина таблицы, расположенная выше диагонали, служит отражением нижней половины. Чтобы не вносить путаницу, не провоцировать эксперта вычислять одну половину таблицы по другой, чтобы уменьшить число операций, целесообразно заполнять только одну половину таблицы (выше или ниже диагонали). Таким образом, ответы экспертов будут представлены в виде следующей матрицы:

После ряда математических преобразований мы получаем оценки каждого признака А₁, А₂,, … ,А_n с точки зрения данного эксперта. Суммарные оценки признаков получаются путем идентичной обработки суммарной матрицы, каждый элемент которой есть сумма сравнений признаков, данных всеми экспертами.

Суммарная матрица имеет вид

m – число экспертов, оценивающих данный набор признаков;

Определяя дисперсию суммарной матрицы и сравнивая её с максимально возможной дисперсией матрицы с таким же числом элементов, можно определить согласованность мнений экспертов. Чем ближе дисперсия суммарной матрицы к максимально возможной дисперсии, тем выше согласованность мнений. Таким образом, метод парных сравнений позволяет провести строгий, статистически обоснованный анализ согласованности мнений экспертов, выявить, случайны или нет полученные оценки. Несомненно, процедура метода парных сравнений сложнее метода простой ранжировки, но проще метода последовательных сравнений.

Число экспертов, требуемое для оценки определенной совокупности признаков методом парных сравнений, в два раза больше, чем при использовании метода простой ранжировки, и в два раза меньше, чем при методе последовательных сравнений.

В настоящее время во многих методах проведения экспертных оценок предлагается в качестве показателя компетентности эксперта коэффициент:

Коэффициент степени знакомства с направлением исследований определяется путем самооценки эксперта по десятибалльной шкале. Значения баллов для самооценки следующие:

0 - эксперт не знаком с вопросом;

1,2,3 - эксперт плохо знаком с вопросом, но вопрос входит в сферу его интересов;

4,5,6 - эксперт удовлетворительно знаком с вопросом, не принимает непосредственного участия в практическом решении вопроса;

7,8,9 – эксперт хорошо знаком с вопросом, участвует в практическом решении вопроса;

10 – вопрос входит в круг узкой специализации эксперта.

Эксперту предлагается самому оценить степень своего знакомства с вопросом и подчеркнуть соответствующий балл. Затем этот балл умножается на 0,1, и получаем коэффициент .

Коэффициент аргументированности учитывает структуру аргументов, послуживших эксперту основанием для определенной оценки. Коэффициент аргументированности предлагается определить в соответствии с таблицей 2.2 путем суммирования значений, отмеченных экспертом в клетках этой таблицы.

Определив коэффициент компетентности, умножают на него значение оценок экспертов.

Таблица 2.2 Значения коэффициента аргументированности