평가자간 일치도를 측정하는 대표적인 통계량은 Cohne's kappa 이다.

Cohen's kappa 는 두명의 평가자가 0/1 로 평가한 경우, 그 평가 결과가 얼마나 일치하는지를 측정하는 지표를 .80 이상 나와주어야 한다.

κ = 0 이면 두명의 평가자가 완벽하게 서로 다르게 평가를 했다는 것이고,

κ = 1 이면 완벽하게 일치한다는 것이다.

이때, Choen's κ 의 기준으로

        κ  ≤  0.2 : poor

0.2 < κ  ≤  0.4  : fair

0.4 < κ  ≤  0.6  : moderate

0.6 < κ  ≤  0.8  : substantial

0.8 < κ             : good

라고 하며, 신뢰도와 다르게, 평가자간 일치도는 기준이 더 엄격해서, .80 이상으로 높아야 한다.

Landis, J. R. & Koch G. G.(1977), The measurement of observer agreement for categorical data. Biometics, Vol. 33, pp.159-174