신뢰도, 타당도

[지구쮸아]

안녕하세요 선생님 항상 질 높은 강의를 제공해주셔서 감사합니다-!

평가 종류와 신뢰도 타당도 관련해서 질문이 생겨 질문드립니다-!

1. 지필평가의 타당도 신뢰도가 관찰평가보다 높다는 부분이 조금 상대적인 상황일수도 있는지 궁금합니다..! 예를 들어 지필평가 특성상 재고자하는 실제 수행능력을 평가하지 못한다면 오히려 관찰평가가 타당도가 높을수 있고, 신뢰도 측면에서도 반분신뢰도처럼 신뢰도 추정을 통한 결과가 신뢰도가 낮을 수 있으므로 이렇게 각각 상황을 달리 했을때는 오히려 다른 결과가 나올 수 있는지가 궁금합니다..!

2. 관찰 평가에서 타당도를 높이기 위해 평가기준을 미리 설정하는게 신뢰도를 높이는 방안으로도 채택해도 괜찮을까요? 평가자의 주관적인 평가를 배제시켜주어 객관적인 평가를 통해 채점자 내 신뢰도를 높이는 것에도 해당이 될것 같아 궁금합니다!

3. 혹시 서술형이나 논술형 지필평가도 가능하고 수행평가 모두 가능한지 궁금합니다!

[be_patient_move_on]

1.
네, 상대적이며 상황(평가 목적)에 따라 결과가 완전히 뒤바뀔 수 있습니다.
일반적으로 교재에서 지필평가가 관찰평가보다 신뢰도와 타당도가 높다고 말하는 것은 전통적인 객관식 시험을 기준으로 일반화한 설명입니다. 실제로는 측정하고자 하는 목표가 무엇이냐에 따라 달라지죠.
질문하신 것처럼 탐구 능력에 대한 지필평가라면 관찰평가가 더 타당도가 더 높을 수 있죠.
그러나 지필평가는 일반적으로 실제 수행능력(탐구능력)이 아니라, 인지적 영역에 대해 평가합니다.
또, 신뢰도 측면에서도 학생이 다 찍어서 맞추는 상황이라면 반분신뢰도나 문항내적합치도가 매우 낮게 나옵니다. 반면, 관찰평가라도 훈련된 평가자가 명확한 기준을 가지고 여러 번 평가한다면 오히려 지필평가보다 높은 신뢰도를 확보할 수 있습니다.

2. 네, 말씀하신 것처럼 채점자 내 신뢰도(= 객관도)가 높아지죠.

3. 서술형이나 논술형 지필평가도 수행평가로 가능하냐고요? 그럼요! 우리 교재 262쪽에 잘 정리되어 있어요.^^ 오늘 수업할 부분이네요. (심화핵심이론 10주차 강의)


답변이 도움이 되었으면 좋겠습니다.^^
태이드림

[지구쮸아]

답변 감사합니다!