분석방법 질문드립니다. Cohen's kappa 의 비교.

[twining]

안녕하십니까.

몇번 찾아와서 글도 읽고 했었는데, 처음 질문글을 올리네요.

환자군을 대상으로 A라는 방법으로 환자군을 2명의 Reader가 분석하고, 그 Reader간의 agreement를 Cohen's kappa로 봤습니다.

그리고 B라는 방법으로 다시 같은 2명의 Reader가 분석을 하고 역시 Reader간의 결과값을 kappa로 분석했어요.

제가 궁금한 것은, 이때 두 개의 kappa값과 각 kappa값의 confidence interval이 나오는데, 한쪽이 다른쪽보다 유의하게 큰지 작은지를 어떻게 비교할 수 있을까요? p-value를 얻고 싶습니다. 

z-statistics로 kappa와 standard error를 이용해서 비교하는 것이 괜찮을까요?

아니면 bootstrapping으로 계속 resampling해서 kappa를 1000개쯤 무더기로 구하고, A와 B사이에 t-test를 해야할까요?

잘모르겠습니다. 조언 부탁드립니다.

[안재형]

이 데이터는 같은 환자가 두 사람에게 두 방법으로 평가되어 correlated된 값을 갖습니다 그냥 z-statistics로 하는건 아닌것같습니다. 어떻게 resampling하는지 모르겠지만 이 correlation이 없어지지않고 A, B에 차이가 없게 섞어 resampling만 할수 있다면 이 방법은 괜찮을듯합니다. 그런데 A와 B사이에 t-test를 하는건 아니고, 현재 관찰된 kappa값의 A, B차이를 구하고 resampling한 kappa값의 차이 1,000개건 10,000개건 구해 그걸 reference로 사용하여 비교해야할것같습니다. 즉 관찰된 값이 쭉 나열한 reference들의 95% 밖에 있으면 유의수준 0.05하에서 차이가 있다고 할수 있을듯합니다.

[twining]

네 선생님 말씀 감사합니다!