오류, 신뢰도와 타당도의 관계와 영향요인
⦁ 오류: 단계별 오류 발생 원인
⦁ 오류: 측정 오류
⦁ 오류: 오류를 피하는 방법
⦁ 신뢰도와 타당도의 관계
⦁ 신뢰도와 타당도에 영향을 미치는 요인
1. 오류: 단계별 오류 발생원인
① 첫 단계로, 애매한 개념의 형성과 개념의 빈약한 조작적 정의가
액면타당도 결핍의 원인이 될 수 있음.
② 두 번째 단계로, 비록 개념이 명확하고 잘 정의되었으며 가설이
잘 작성되어 있다할지라도, 측정도구 내에 빈약하게 표현된 항목들은 만일 응답자가 그들을 이해할 수 없다면 신뢰도의 결핍을 가져오게 함.
③ 세 번째 단계로, 빈약한 표본수집과정은 대표성이 없는, 비대표적인 자료의 원인이 되어 결국 연구에서 사용된 특수 응답표본 이외에 그 발견들을 일반화시킬 수 없게 됨. 이것은 다소 외적 타당도와 관련된 문제이기도 함.
④ 네 번째 단계로, 많은 잠재적인 오류의 원인들이 실제 자료수집
상황에서 발견됨. 이들은 환경 내에서 통제되지 않은 외생요인들
(extraneous factors), 응답자에 있어서 통제되지 않는 개인적 요소들
(분노, 피로 등), 조사자와 응답자간 관계의 어떤 측면, 또는 장비의
고장 등임.
⑤ 다섯 째 단계는 자료를 코딩하거나 자료를 질문지에서 컴퓨터로 또는 녹음기에서 기록지에 옮기는 사람이 잘못된 숫자를 기록하는 것과 같이 단순한 오기(誤記, clerical error)를 할 수 있음.
⑥ 마지막 유형의 오류는 자료분석 과정에서 자료를 잘못 해석하는 것임.
2. 오류: 측정 오류
⑴ 체계적 오류(systematic error)
① 체계적 오류는 변수에 일정하게 또는 체계적으로 영향을 주는 요인을 의미함.
② 체계적 오류란 측정대상에 대하여 어떤 영향이 체계적으로 미침으로써 그 오류가 항상 일정한 방향으로 일어나, 측정결과가 모두 높아지거나 또는 모두 낮아지게 되는 편향된(biased) 경향을 보이는 것임.
③ 체계적 오류는 인구통계학적 또는 사회경제적 특성이나 개인적 성향과 같이 응답자의 일정한 속성과 관련이 있음.
⑵ 비체계적 오류(random error)
① 비체계적 오류 또는 무작위 오류란 측정자의 피로, 기억, 감정변화 등과 같이 측정대상, 측정과정, 측정수단, 측정자 등에 일관성 없이 영향을 미침으로써 발생하는 오류임.
② 비체계적 오류의 대부분은 측정자, 측정대상자, 측정상황, 측정도구 등의 요인으로 인해 발생함.
3. 오류: 오류를 피하는 방법
① 체계적 오류를 최소화하기 위해 설문도구를 제작할 때 편견이 담긴 언어는 사용하지 않음. 또한 응답자가 이해할 수 있는 언어를 사용함.
② 조사자를 사전에 훈련하여 응답자가 질문의 뜻을 잘 이해하도록 함.
③ 만약 관찰을 통한 조사라면 클라이언트가 관찰당하고 있다는 사실을 모르는 것이 오류를 줄일 수 있는 방법임.
④ 만약 기존의 자료를 이용한다면 너무 그 자료를 신뢰해선 안 됨.
⑤ 자료수집 시 한 가지 방법에만 의존하지 말고 여러 가지 다른 자료수집방법을 활용하는 것이 좋음. 이를 전문적 용어로 다각적 자료수집법(triangulation)이라고 함.
⑥ 응답자가 응답하는 환경에 대해 미리 세심한 배려를 하여 환경으로 인해 제대로 된 응답을 못하는 경우를 사전에 방지하여 무작위 오류 발생을 예방하도록 함.
⑦ 신뢰도와 타당도를 가진 도구를 이용하여 오류발생을 줄일 수 있음.
4. 신뢰도와 타당도의 관계
① 신뢰도란 측정도구를 동일한 응답자에게 반복해서 적용했을 때 일관된 결과가 나오는 정도를 말하며(안정성, stability; 일관성, consistency), 타당도란 측정도구가 측정하고자 의도한 것을 측정해 내는 정도를 말함(정확성, accuracy).
② 측정의 중요한 관심은 조사자가 측정하고자 하는 바를 얼마나 정확하게 측정할 수 있느냐 하는 점에 있다고 볼 때 신뢰도 보다 타당도가 더 의미가 크다고 할 수 있음.
③ 신뢰도가 높다는 것은 어떤 현상을 일관성 있게 측정할 수 있다는 것을 의미할 뿐이며, 그 어떤 현상이 조사자가 측정하고자 하는 것이 아닐 수도 있다는 것임. 즉, 신뢰도가 높다고 해서 타당도가 높은 것은 아님.
④ 타당도를 높이기 위해서는 신뢰도가 높아야 함. ∵ 조사도구가 측정하고자 하는 것을 정확히 측정하기 위해서는 조사도구의 내용이 조사하고자 하는 현상을 잘 파악할 수 있어야 할 뿐만 아니라 조사할 때마다 일관되게 결과를 얻어야 하기 때문. ∴ 신뢰도는 타당도를 높이기 위한 필요조건이라 할 수 있음.
⑤ 결론적으로 신뢰성이 없는 측정도구는 타당성도 있을 수 없지만 신뢰성이 있다고 해서 반드시 타당성이 있는 것은 아니고 타당성이 있을 수도 있고 없을 수도 있음. 즉, 신뢰도는 타당도를 높이기 위한 필요조건이지만 충분조건은 아님.
5. 신뢰도와 타당도에 영향을 미치는 요인
1) 조사도구
① 측정의 길이
② 질문문항의 모호성
③ 측정문항 수
④ 인쇄 및 편집
2) 조사환경
① 조사 당시의 상황
② 측정도구의 완성에 필요한 지시
3) 조사대상자
① 조사대상자의 성별, 연령 및 사회경제적 지위
② 조사대상자가 잘 모르거나 관심이 없는 내용
4) 조사자의 해석
① 조사자가 결과를 어떻게 분석, 해석하는가에 따라 신뢰도와 타당도에 영향을 미칠 수 있음.
② 특히 개방형 질문의 경우에는 조사자의 주관이 개입될 여지가 많음.
③ 폐쇄형 질문의 경우에도 수집된 자료를 어떻게 부호화하느냐 또는 측정결과를 어떻게 부호화하느냐 또는 측정결과를 어떻게 해석하느냐에 따라 신뢰도와 타당도에 영향을 미칠 수 있음.