Известно, что любые выводы, сделанные любым экспертным методом, не могут быть приняты во внимание, если не доказана значимость коэффициента конкордации (согласия экспертов). Однако коэффициент конкордации нельзя искать без предварительной очистки экспертных данных от факторов, мнения по которым резко разошлись, и от мнения тех экспертов, которое по большинству факторов не совпадает с мнением остальных экспертов. При достаточно большом количестве экспертов (более 10) их мнение, выраженное в количественной форме, можно считать распределенным по нормальному закону.

Итак, по данным таблиц ответов экспертов вычисляются весовые коэффициенты важности, которые заносятся в свободную таблицу (см. пример 5). Она является основной для вычисления средних величин и дисперсий

Для выделения факторов, вызывающих непримиримые разногласия экспертов, предлагается воспользоваться критерием Кохрена, при нахождении которого требуется знать только выборочную дисперсию:

(4.22)

где — выборочная дисперсия весовых коэффициентов важностей, вычисленная для всех m экспертов по i-му фактору; — максимальное числовое значение одной из выборочных дисперсий , вычисленных для всех n исследуемых факторов.

Полученное расчетное значение критерия Кохрена G сравнивается с табличным G_табл(q;v₁;v₂) для q уровня значимости; v₁ — число степеней свободы числителя (равное числу экспертов m без единицы); v₂ — число степеней свободы знаменаталя (равное числу ранжируемых объектов n). При G >G_табл фактор, которому принадлежит максимальная дисперсия , должен быть изъят из дальнейших расчетов и вопрос о его роли должен решаться дополнительным исследованием. При невыполнении неравенства считается, что ни по какому объекту эксперты не высказывали противоречивых суждений.

Последней проверкой правильности выводов экспертизы является вычисление коэффициента конкордации (согласия экспертов). Вычисление коэффициента конкордации производится по следующей формуле, которая является преобразованием формулы (4.5)

, (4.23)

где t_il — число повторений (одинаковых значений) величин р_il(1), сделанных l—м экспертом.

Для проверки значимости коэффициента конкордации формируется критерий c² Пирсона:

(4.24)

который сравнивается с табличным значением c²_табл(q;v=n—1), и при выполнении условия c²>c²_табл найденный коэффициент конкордации W признается значимым, то есть считается, что эксперты высказались в основном согласованно, противоречий в их мнениях нет, и полученное ранжирование можно принять за окончательное решение. Для удобства восприятия ранжировку лучше представлять как гистограмму, построенную в порядке убывания числовых значений , взятых в виде процентов. При этом вопрос о границе (критерии) значимости ранжируемых факторов решает сам исследователь исходя из конкретной задачи — общего ответа на этот вопрос нет. В первом приближении можно лишь рекомендовать в качестве такого критерия средний процент =100/n, %.