На практике встречаются случаи, когда исследователи затрудняются расположить объекты в порядке возрастания или убывания признака (например, когда число объектов превышает 15 – 20). В таких случаях, даже если и удается получить ранжировки, нельзя быть уверенным в их достоверности, поскольку сами эксперты не уверены в своих оценках. Тогда суммарную ранжировку можно получить другими путями, например методом парных сравнений. При использовании этого метода каждый эксперт сравнивает друг с другом все n объектов по данному свойству Х. В результате проведения таких сравнений эксперт отдает предпочтение каким-то объектам по отношению к остальным.

Каждый эксперт должен произвести парные сравнения n объектов (первого со вторым, первого с третьим и т.д., второго с третьим, второго с четвертым и т.д. до исчерпания списка объектов) и заполнить специальную матрицу парных сравнений. Она представляет собой квадратную матрицу, столбцы и строки которой соответствуют каждому из n объектов. В клетки с номерами для i-й строки и для j-го столбца заносятся 1, если эксперт предпочитает объект i объекту j и 0, если эксперт предпочитает объект j объекту i. При этом в j-й строке и i-м столбце должен записываться противоположный знак (0 или 1 соответственно, см. табл. 4.2.). При этом следует соблюдать правило, согласно которому метод парных сравнений даёт правильные результаты только если число сравниваемых объектов не превышает числа экспертов, то есть, когда n ? m.

Данные этих m таблиц можно свести в одну таблицу, которая будет обобщенной матрицей парных сравнений m экспертов. В этой новой матрице число g_ij записанное в i-й строке j-м столбце, показывает, как часто эксперты предпочитают i-й объект j-му в отношении свойства Х (см. пример 2).

Таблица 4.2.

Пример заполнения матрицы парных сравнений

Объекты, i	Объекты, j
1	2	3	4	5	6	7	8	9	10	11
1	—	1	1	1	0	1	0	0	1	0	0
2	0	—	0	1	0	1	1	0	0	1	0
3	0	1	—	1	0	1	1	1	0	0	0
4	0	0	0	—	1	0	1	0	1	0	1
5	1	1	1	0	—	1	1	0	0	0	0
6	0	0	0	1	0	—	1	1	0	0	1
7	1	0	0	0	0	0	—	1	1	0	0
8	1	1	0	1	1	0	0	—	1	0	0
9	0	1	1	0	1	1	0	0	—	1	0
10	1	0	1	1	1	1	1	1	0	—	0
11	1	1	1	0	1	0	1	1	1	1	—

Расположение объектов в порядке возрастания или убывания сумм чисел g_ij по столбцам или строкам суммарной матрицы соответствует ранжировке объектов по степени обладания свойством Х. При полном согласии экспертов ячеек матрицы будут содержать число g_ij = m, а в остальных ячейках будут нули. Коэффициент согласия экспертов при парных сравнениях подсчитывается по формуле

, (4.7)

где – число сочетаний g_ij по 2.

Знаменатель в выражении (4.7) представляет собой нормирующий множитель, равный максимально возможной величине числителя. Числитель имеет максимальную величину только в том случае, когда все исследователи дают одинаковые матрицы сравнений. При этом V=1.

Практическое вычисление величины довольно трудоемко. Путем несложных алгебраических преобразований его можно привести к следующему выражению, более удобному для вычислений:

полагаем g_ij =m—g_ji;

тогда ;

откуда ,

где суммирование происходит только по ячейкам матрицы, лежащим выше (или ниже) главной диагонали.

Для оценки значимости коэффициента V используется c² критерий. Величина

(4.9)

имеет при больших n и m c²— распределение с

степенями свободы. Коэффициент согласия считается значимым, если рассчитанная по (4.9) величина c² превосходит критическое значение c² _табл, определяемое при выбранном уровне значимости q и числе степеней свободы n по табл. П.1.

При небольших значениях m и n (m<6, n<8) для оценки значимости коэффициента согласия используются специально рассчитанные таблицы распределения вероятности величины Q при различных сочетаниях m и n.