Бланк результатов опроса экспертов при экспертной оценке

Методы экспертных оценок

Бланк результатов опроса экспертов при экспертной оценке

Зачастую необходимо выбрать среди множества альтернатив, при этом каждая обладает различными преимуществами.

И как же выбрать лучшую, имея мнение десятков, а то и сотен экспертов?

Как вычисление рейтинга компьютерной игры, основанного на оценках критиками графики, геймплея и сюжета, так и коллективный выбор приоритетной задачи перед появлением заказчика, относится к методам экспертных оценок.

Краткий ликбез

Методы экспертных оценок являются частью обширной области теории принятия решений, а само экспертное оценивание — процедура получения оценки проблемы на основе мнения специалистов (экспертов) с целью последующего принятия решения (выбора).

В случаях чрезвычайной сложности проблемы, ее новизны, недостаточности имеющейся информации, невозможности математической формализации процесса решения приходится обращаться к рекомендациям компетентных специалистов, прекрасно знающих проблему, — к экспертам.

Их решение задачи, аргументация, формирование количественных обработка последних формальными методами получили название метода экспертных оценок.
Существует две группы экспертных оценок:

  1. Индивидуальные оценки основаны на использовании мнения отдельных экспертов, независимых друг от друга.
  2. Коллективные оценки основаны на использовании коллективного мнения экспертов.

Грубо говоря, к первой группе относится оценка статей на хабре, ание в опросах и т.д., когда каждый эксперт принимает решение самостоятельно. Подбор (отсев) экспертов осуществляется посредством кармы.

Именно первая группа превалирует в интернете 2 за счет возможности охвата большего числа экспертов.

Способы измерения объектов

  1. Ранжирование – это расположение объектов в порядке возрастания или убывания какого-либо присущего им свойства. Ранжирование позволяет выбрать из исследуемой совокупности факторов наиболее существенный.
  2. Парное сравнение — это установление предпочтения объектов при сравнении всех возможных пар. Здесь не нужно, как при ранжировании, упорядочивать все объекты, необходимо в каждой из пар выявить более значимый объект или установить их равенство.
  3. Непосредственная оценка. Часто бывает желательным не только упорядочить (ранжировать объекты анализа), но и определить, на сколько один фактор более значим, чем другие. В этом случае диапазон изменения характеристик объекта разбивается на отдельные интервалы, каждому из которых приписывается определенная оценка (балл), например, от 0 до 10. Именно поэтому метод непосредственной оценки иногда именуют также балльным методом.

Метод простой ранжировки заключается в том, что каждого эксперта просят расположить признаки в порядке предпочтения.

aij — оценка признака экспертом. n — количество признаков, m — количество экспертов.
Затем, подсчитывается Si — среднее значение важности признака.

Метод задания весовых коэффициентов (aij)

  1. всем признакам назначают весовые коэффициенты так, чтобы суммы коэффициентов была равна какому-то фиксированному числу (например, единице, десяти или ста);
  2. наиболее важному из всех признаков придают весовой коэффициент, равный какому-то фиксированному числу, а всем остальным – коэффициенты, равные долям этого числа.

Метод последовательных сравнений заключается в следующем:

  1. эксперт упорядочивает все признаки в порядке уменьшения их значимости: А1>A2>…>An;
  2. присваивает первому признаку значение, равное единице: A1=1, остальным же признакам назначает весовые коэффициенты в долях единицы;
  3. сравнивает значение первого признака с суммой всех последующих.

В парном сравнении не нужно, как при ранжировании, упорядочивать все объекты, необходимо в каждой из пар выявить более значимый объект или установить их равенство. Парное сравнение можно проводить при большом числе объектов, а также в тех случаях, когда различие между объектами столь незначительно, что практически невыполнимо их ранжирование.

При использовании метода чаще всего составляется матрица размером nxn, где n – количество сравниваемых объектов.

При сравнении объектов матрица заполняется элементами aij следующим образом (может быть предложена и иная схема заполнения):

  • 2, если объект i предпочтительнее объекта j (i > j),
  • 1, если установлено равенство объектов (i = j),
  • 0, если объект j предпочтительнее объекта i (i < j).

Непосредственная оценка. Часто бывает желательным не только упорядочить (ранжировать объекты анализа), но и определить, на сколько один фактор более значим, чем другие. В этом случае диапазон изменения характеристик объекта разбивается на отдельные интервалы, каждому из которых приписывается определенная оценка (балл), например, от 0 до 10. Именно поэтому метод непосредственной оценки иногда именуют также балльным методом.

А теперь, самое вкусное…

Анализ результатов экспертных оценок

Для анализа результатов применяются различные методы математической статистики. Причем, они могут комбинироваться и варьироваться в зависимости от типа задачи и необходимого результата.

Формирование обобщенной оценки

Итак, пусть группа экспертов оценила какой-либо объект, тогда xj – оценка j-го эксперта, где m – число экспертов.
Для формирования обобщенной оценки группы экспертов чаще всего используются средние величины.

Например, медиана, за которую принимается такая оценка, по отношению к которой число больших оценок равняется числу меньших.

Определение относительных весов объектов
Иногда требуется определить, насколько тот или иной фактор (объект) важен (существенен) с точки зрения какого-либо критерия. В этом случае говорят, что нужно определить вес каждого фактора.

Отличается от формирования обобщенной оценки тем, что определяется не общая оценка объекта, а оценка для каждого его признака.
А так же Существует огромное множество возможных методов обработки оценок.

Как вариант, использовать систему рейтинга Эло для метода парных сравений.

Метод анализа иерархий

Парадокс Кондорсе
Правило Борда
ELECTRE

Причем, результат может состоять из нескольких алгоритмов, переплетаясь с другими. Например, алгоритм расчета коэффициента компетентности эксперта может влиять на среднестатистическую оценку этого эксперта и т.д.

Установление степени согласованности мнений экспертов

В случае участия в опросе нескольких экспертов расхождения в их оценках неизбежны, однако величина этого расхождения имеет важное значение.

Групповая оценка может считаться достаточно надежной только при условии хорошей согласованности ответов отдельных специалистов.

Для анализа разброса и согласованности оценок применяются статистические характеристики – меры разброса или статистическая вариация.

Итак, способы вычисления меры разбрса:
Вариационный размах

Среднее линейное отклонение

Среднеквадратическое отклонение

Дисперсия

Коэффициента ранговой корреляции Спирмэна

Коэффициент (величина ) может изменяться в диапазоне от –1 до +1. При полном совпадении оценок коэффициент равен единице. Равенство коэффициента минус единице наблюдается при наибольшем расхождении в мнениях экспертов.
xij – ранг (важность), присвоенный i-му объекту j-ым экспертом, xik – ранг, присвоенный i-му объекту k-ым экспертом, di – разница между рангами, присвоенными i-му объекту.

Коэффициент конкордации Кенделла

Коэффициент может принимать значения в пределах от 0 до 1. При полной согласованности мнений экспертов коэффициент конкордации равен единице при полном разногласии – нулю. Наиболее реальным является случай частичной согласованности мнений экспертов.ВычислениеОпределяется средний ранг совокупности признаков:

Вчисляется отклонение dj среднего ранга j-го признака от среднего ранга совокупности:

Определяется число одинаковых рангов, назначенных экспертами j-му признаку – tq. Определяется количество групп одинаковых рангов – Q. Определяется коэффициент конкордации по формуле: где
Говоря о согласованности мнений экспертов, стоит упомянуть, что ранжирование не подразумевает (или не всегда подразумевает) расстояние. То есть у одного эксперта A>B>C означает, что A>>B>C, а у другого A>B>>C. И всякие корреляции и расчеты средних оценок тут не помогут. Как вариант, считать индекс согласованности. Что-то типо количества противоречивых замкнутых цепочек мнений экспертов (Первый считает, что A лучше Б, второй, что Б лучше С, а третий, что С лучше А) к количеству всех подобных цепочек. и обычно базируются на некоторой вероятностной модели, поэтому нужно тщательно учитывать область их возможного применения.

Заключение

Статья и не претендует на полный многоэтапный разбор методов и алгоритмов оценки, лишь поверхностное их описание. Посему, если вы знаете применимые в данном случае (не описанные мной) методы и алгоритмы — с удовольствием добавлю их в статью. Или любую полезную тематическую литературу.

Засим откланиваюсь. Всех с праздником, раминь. А для тех, кто зашел посмотреть на девушек — вот вам

Ссылки:

Википедия — свободная энциклопедия
www.rae.ru
emm.ostu.ru
teorver-online.narod.ru
www.habarov.spb.ru Хабы:

  • 27 января 2017 в 13:09
  • 24 октября 2016 в 00:02
  • 12 февраля 2015 в 21:56

Источник: https://habr.com/ru/post/189626/

Что такое экспертный опрос

Бланк результатов опроса экспертов при экспертной оценке

Получи нашу книгу «Контент-маркетинг в социальных сетях: Как засесть в голову подписчиков и влюбить их в свой бренд».

на рассылку и получи книгу в подарок!

Экспертный опрос — это такая разновидность опроса, когда опрашиваемые люди являются экспертами в какой-либо области.
Эксперт — это человек, который может сделать заключение по рассматриваемому вопросу, дать оценку явлению или событию.

Больше видео на нашем канале – изучайте интернет-маркетинг с SEMANTICA

Обычно, экспертные опросы проводят:

  • Для прогнозирования. Предсказывают, как конкретная ситуация может измениться с течением времени, какие последствия будут иметь изменения.
  • Для выставления экспертных оценок. Устанавливают степени достоверности какой-нибудь информации, достигнутых результатов.
  • При проведения подготовительных работ. Получают мнений относительно предмета исследования.
  • Для получения достоверной информации. Проводят опрос экспертов в ситуациях, когда невозможен или неэффективен опрос простых респондентов.

Главное отличие экспертного опроса от массового заключается в том, что эксперт — это не объект исследования, а лицо, принимающее в нем участие.

Вы проводите исследование целевой аудитории вашего сайта, вам нужно составить покупательскую персону. Для этого подготавливается анкета, и каждый опрашиваемый отвечает на вопросы, например:

  • Возраст
  • Место жительства
  • Образование
  • Интересы, хобби

На основе полученных данных вы составляете профиль целевой аудитории. Это — пример массового опроса. Каждый опрашиваемый человек является объектом исследования — именно он интересен, как потенциальный покупатель.

Вам нужно выяснить, как упразднение параметра PageRank скажется на процессе SEO-оптимизации. Для этого вы находите сотрудников известных студий, занимающихся продвижением, и каждому задаете несколько вопросов, например:

  • Почему этот параметр решили прекратить использовать?
  • На какие показатели теперь ориентироваться при продвижении?
  • Как эта ситуация в дальнейшем отразится на процессе оптимизации сайтов?

Это — пример экспертного опроса. Опрашиваемый выражает свое мнение. Он является профессионалом своего дела, поэтому его опыт и мнение ценятся высоко. Цель проведения такого опроса — узнать мнения разных людей по одному вопросу.

Преимущества и недостатки экспертного опроса

Преимущества:

  • Возможность получения достоверной и всеобъемлющей информации по проблеме.
  • Результаты помогут не просто описать какое-то явление или процесс, но и объяснить его.
  • Возможность контролировать процесс опроса.
  • Возможность выработать новые решения, получить неординарные сведения и нестандартные мнения.

Недостатки:

  • Риски неоправданного завышения ценности полученных данных.
  • Риск получить намеренно искаженные сведения.
  • Рост влияния на результат мнения каждого эксперта.
  • Риск совершить ошибку при оценивании экспертами сложных явлений.

Как проводить экспертный опрос

Экспертный опрос может проводиться двумя способами:

  • Очно — личная беседа с экспертом. Главным преимуществом общения с глазу на глаз является то, что в зависимости от осведомленности человека и его ответов можно на ходу корректировать вопросы и ход интервью.
  • Заочно — эксперту письменно даются подготовленные вопросы.

Так же, в зависимости от количества респондентов, опросы могут быть:

  • Групповыми. Яркий пример — мозговой штурм. Группа экспертов обсуждает какую-то проблему. Эксперты участвуют в дискуссии. Они могут соглашаться друг с другом, или иметь противоположные точки зрения. Преимуществом является то, что такой вид опроса дает широкое представление о проблеме. Можно составить представление о том, какие точки зрения существуют.
  • Индивидуальными. В опросе участвует один эксперт. Такой вид позволяет максимально полно изложить точку зрения одного эксперта.
  • Индивидуально-групповыми. Этот метод также называют методом Дельфи. Вначале собираются мнения всех экспертов. Они усредняются, и затем сообщаются каждому опрашиваемому. Вновь задаются вопросы, и ответы на них эксперты дают с учетом общего мнения. Такая процедура может повторяться до тех пор, пока мнения разных экспертов не станут более-менее одинаковыми.

Что нужно для проведения экспертного опроса

Чтобы провести качественный опрос, определитесь, зачем проводится исследование. Сформулируйте задачи, сделайте акцент на ценность мнения каждого эксперта. Четко определите тему.

Совет: составляйте вопросы открытыми. Закрытые формулировки лучше подходят для оценки согласия эксперта со мнениями остальных респондентов. Соблюдение этого правила поможет получить развернутые ответы на задаваемые вопросы.

  1. Формулирование целей исследования. Постановка задач для экспертов.
  2. Выбор метода проведения опроса.
  3. Разработка материалов для проведения опроса. Здесь подразумевается список вопросов, которые задаются экспертам. Также материалы исследования — эксперту надо что-то изучить, чтобы высказать свое мнение.
  4. Выбор экспертов.
  5. Работа с экспертами — выдача необходимых материалов респондентам, опрос.
  6. Оформление результатов опроса, согласование их с экспертами — визирование.

Проведение экспертного опроса — та ситуация, когда на результат влияет и качество, и количество. Число экспертов должно быть не меньше, чем число оцениваемых процессов.

Совет: определитесь с требуемым уровнем компетентности эксперта. Иногда не нужно хватать звезд с неба и вылезать из кожи вон, чтобы достучаться до высококлассного специалиста. Но и не следует пренебрегать компетентностью эксперта.

При отборе экспертов в рабочую группу, можно руководствоваться следующими качествами респондентов:

  • уровень компетентности в рассматриваемой области;
  • уровень осведомленности о смежных сферах;
  • ученая степень, стаж работы, звание;
  • опыт работы эксперта, должности, которые он когда-либо занимал;
  • объективность суждений;
  • способность к творческому мышлению.

Идеальный эксперт для опроса:

  • Креативен. Может решать нестандартные задачи, либо использовать малоизвестные методы решения.
  • Обладает интуицией. Зачастую, цель проведения экспертного опроса — смоделировать дальнейшее развитие ситуации. Если эксперт не может интуитивно предположить, как будет меняться ситуация, вряд ли он компетентен в своей области.
  • Независим от чужого мнения. Эксперт должен быть маяком в ночи. К его мнению должны прислушиваться и доверять. А не наоборот.
  • Имеет широкий кругозор. Важно, чтобы эксперт мог рассматривать проблему с разных позиций. Это позволит получить от него развернутое и обоснованное мнение.

Как вы можете использовать результаты экспертного опроса

Чтобы принять обоснованное, взвешенное решение, полезно опираться на опыт и знания профессионала.
Часто применяются экспертные оценки. Это не просто мнение эксперта о проблеме, но такая ее оценка, на основе которой можно принять решение.

Поскольку вы находитесь в блоге студии поискового маркетинга, поговорим об использовании экспертных опросах в блогах, на тематических сайтах.Вы можете привлекать экспертов по любым вопросам.

Предположим, вы пишите материал для своего тематического блога.

Вы собрали весь доступный материал по теме, написали отличную статью. Почему бы не добавить блог с мнениями экспертов? Такой ход добавит вашему материалу весомости. У читателя такой материал вызовет еще большее доверие. Использование экспертного мнения и вас сделает в глазах пользователей экспертом.

Вашим материалом захочется поделиться с друзьями, разместить ссылку в социальных сетях.

В нашей студии мы регулярно публикуем различные экспертные опросы. Подготовка материала сложна, занимает много времени. Но статистика показывает, что подготовка такого материала — оправдана. Они популярны, часто цитируются.

София Ибрагимова

Контент-маркетолог

Допустим, вы подготовили интервью с одним человеком. Материал вышел классный, вы кинули ссылку респонденту. Он разместил ее в своем блоге. Вы подготовили экспертный опрос пяти экспертов. Каждый из них опубликовал ссылку на своем ресурсе. В пять раз больше расшариваний — эффективность налицо.

У экспертов может быть разное мнение, а читателям нравится знакомиться с каждым, и составлять собственное.Когда вы готовите такой материал к публикации, у вас расширяется круг общения. Просто куча полезных знакомств!

Не так давно я готовила для блога Семантики экспертный опрос “Как монетизировать хобби”.

Я научилась составлять такие обращения, которые люди дочитают до конца. Вначале я писала полотна текста, расписывала, почему обратилась именно к этому эксперту. Такие сообщения человек просто не дочитывал до конца. Методом проб и ошибок я вывела формулу, которой следует руководствоваться при налаживании контакта.

Мне нравилось беседовать с каждым респондентом.

Если вы хотите взять интервью у одного человека, есть риск неудачи. Он может не ответить, соскочить в последний момент. При экспертном опросе такие риски минимальны. Ведь параллельно с одним респондентом вы общаетесь еще с несколькими — материал всегда будет.

Источник: https://semantica.in/blog/chto-takoe-ekspertnyj-opros.html

Ваша работа
Добавить комментарий

;-) :| :x :twisted: :smile: :shock: :sad: :roll: :razz: :oops: :o :mrgreen: :lol: :idea: :grin: :evil: :cry: :cool: :arrow: :???: :?: :!: