Экспертное оценивание ранжированием. В случае, если результат оценивания качества эксперты представляют в виде ранжированного ряда, то численное определение итоговых численных оценок качеств состоит в следующем: 1. Все объекты оценивания (изделия, свойства) нумеруются произвольно. 2. Эксперты ранжируют объекты по шкале порядка. 3. Ранжированные ряды объектов, составленные экспертами, сопоставляются. Например, пусть пять экспертов о семи объектах экспертизы Qсоставили такие ранжированные ряды по возрастающей шкале порядка: эксперт № 1 – Q5< Q3 < Q2< Q1< Q6< Q4< Q7; эксперт № 2 – Q5 < Q3 < Q2 < Q6 < Q4 < Q1 < Q7; эксперт №3 – Q3 < Q2 < Q5 < Q1 < Q6 < Q4< Q7, эксперт № 4 – Q5< Q3< Q2< Q1 < Q4< Q6 < Q7; эксперт № 5 – Q5 < Q3 < Q1 < Q2 < Q6 < Q4 < Q7. Место объекта в ранжированном ряду называется его рангом. Численное значение ранга в ряду возрастающей шкалы порядка увеличивается от 1 до т (т — количество оцениваемых объектов). В данном примере т = 7. 4. Определяются суммы рангов каждого из объектов экспертной оценки. В рассматриваемом примере они таковы: Q1 – 4 + 6 + 4 + 4 + 3 = 21; Q2 – 3 + 3 + 2 + 3 + 4 = 15; Q3 –2 + 2 + 1 + 2 + 2 = 9; Q4 –6 + 5 + 6 + 5 + 6 = 28; Q5 – 1 + 1 + 3 + 1 + 1 = 7; Q6 – 5 + 4 + 5 + 6 + 5 = 25; Q7 –7 + 7 + 7 + 7 + 7 = 35. 5. На основании полученных сумм рангов строят обобщенный ранжированный ряд. Следовательно, в итоге ранжированный ряд, полученный всеми экспертами группы, имеет вид: Q5 < Q 3 < Q2 < Q1 < Q6 < Q4 < Q7 6. Обобщенные экспертные оценки качества рассматриваемых объектов экспертизы, т.е. коэффициенты их весомости, рассчитываются по формуле:  где n – количество экспертов; т — число оцениваемых показателей; Qi,j – коэффициент весомости j-го показателя в рангах (баллах), который дал i-й эксперт. Расчеты по формуле для рассматриваемого примера дают следующие результаты:  Анализируя полученные экспертным методом оценки качества, можно не только указать, какой объект лучше или хуже других, но и насколько. 7. Точность экспертных оценок определяют по согласованности мнений экспертов. Степень совпадения оценок экспертов, входящих в комиссию, характеризует качество экспертизы и выражается коэффициентом конкордации:  где S – сумма квадратов отклонений рангов или баллов каждого объекта от среднего арифметического значения; п – количество экспертов; т — количество оцениваемых объектов. Сумма квадратов отклонений рангов (S) от среднеарифметического их значения (Рсp ) по всем объектам и экспертам находят по формуле: , где Qij – оценка в рангах, данная i-му объекту j-м экспертом; Qcp – среднеарифметическое значение рангов. Полная запись формулы коэффициента конкордации имеет следующий вид: . При W = 0 – абсолютная несогласованность, а при W = 1,0 – полное совпадение мнений (оценок). Следовательно, . При экспертных методах оценки, в которых ранги окончательно не определяются, для нахождения коэффициента конкордации рассчитанные значимости объектов следует переводить в ранги путем их ранжирования. В противном случае оценку степени согласованности мнений экспертов проводят по другим критериям. В рассматриваемом здесь примере среднее арифметическое значение рангов Qсрравно:  Сумма квадратов отклонений от среднего арифметического значения рангов S = 12 + 52+112+132 +52+152 = 630 Следовательно, коэффициент конкордации в данном случае  Повысить точность экспертных оценок показателей качества можно, если произвести двукратное сопоставление и оценивание объектов, т.е. сначала это сделать в одной последовательности, а потом в противоположной. |