타당도
타당도(validity)란 측정하고자 하는 대상을 얼마나 정확히 측정하였는가의 문제이다. 즉 한 측정방법이 개념의 실제의미를 얼마나 적절하게 반영하고 있는지의 정도를 나타낸다. 예를 들어, 한국 대학생의 지능검사를 하기 위하여 영어로 된 검사지로 지능검사를 했다면, 이 측정방법의 신뢰도는 높게 측정될 확률이 높지만 타당도는 떨어질 가능성이 높다. 왜냐하면 영어로 된 검사지를 사용함으로써 지능보다는 오히려 학생들의 영어실력에 의해서 지능지수가 결정될 가능성이 높기 때문이다.
1. 내용 타당도
내용 타당도(content validity)란 측정지표들이 측정하고자 하는 내용을 어느 정도 대표하고 있는가의 문제이다. 측정도구가 측정대상이 가지고 있는 무수한 속성들 중의 일부를 대표성 있게 포함하고 있으면 그 측정도구는 내용타당성이 높다. 내용타당도는 논리적(logical) 타당도, 액면(face) 타당도라고도 불린다. 예를 들어, 행정학 시험에서 인사행정에서만 모든 문제가 출제되었다면, 이러한 측정은 행정학 전반에 걸친 이해도를 효과적으로 평가하고 있지 못하다는 것이다. 측정지표들이 측정대상이 되고 있는 현상의 속성을 골고루 반영해야 내용타당도가 확보된다. 이처럼 측정도구의 대표성 정도를 평가하려는 것이 내용 타당도이다. 다시 말해서 내용타당도는 측정지표가 측정하고자 하는 개념을 대표할 만한 것인가에 대해 많은 사람들이 동의하는가, 혹은 전문가의 동의를 기초로 판단된다.
내용타당도는 통계적인 절차를 사용하지 않고 직접 이용할 수 있으며 적용이 용이하고 시간이 많이 소요되지 않는다는 장점이 있다. 그러나 내용타당도는 조사자의 주관적 해석과 판단에 의존하므로 판단에 오차나 착오가 발생할 수 있다. 또한 측정하려는 속성과 항목 간의 상관관계를 파악할 수 없으며, 통계적 검증이 어렵다. 내용타당도는 측정도구가 갖추어야 할 최소한의 타당도라 할 수 있다.
2. 기준타당도
기준타당도(criterion-related validity)란 하나의 측정지표를 사용하여 측정한 결과를 다른 기준지표를 사용하여 측정한 결과와 비교하여 나타난 관련성의 정도를 의미한다. 내용타당도가 평가자들의 주관적인 판단에 의해 이루어지는 것이라면, 기준타당도는 경험적인 근거를 통해 타당도를 확인하는 방법이다. 예를 들어, 대학수학능력시험에서 A학생이 B학생보다 성적이 높게 나왔지만 두 사람은 모두 한국대학교 행정학과에 합격하였다. 그런데 A, B학생이 모두 공부를 열심히 하였는데, 대학에서는 B학생이 A학생보다 공부를 더 잘한 것으로 나타난다면, 수능시험은 원래의 목적인 대학 입학 후의 학습능력을 예측하는 데 실패했다고 볼 수 있다. 이 경우 대학에서의 성적이 수능시험의 타당도를 평가하는 기준이 되는 것이다. 또한 공무원 채용시험의 타당성을 평가하기 위하여, 시험성적을 채용 후 근무성적과 비교해 볼 수 있다. 즉, 근무성적이 채용시험의 타당성을 평가하는 기준이 되는 것이다. 외부기준을 사용한다는 것은 조사연구의 추가적인 부담을 발생시킨다. 또한 비교기준으로 동원된 측정치 자체에 대한 타당도와 신뢰도의 문제도 고려해야 한다. 따라서 외부기준을 사용할 때는, 이미 타당도와 신뢰도를 널리 인정받은 측정들을 선택하는 것이 필요하다.
3. 구성타당도
구성타당도(construct validity)는 측정도구가 측정하고자 하는 본질을 얼마나 정확히 측정하고 있는지를 파악하는 방법으로 타당도의 가장 핵심적인 개념이다. 추상화의 정도가 높은 개념을 구성개념이라 하는데, 연구자가 측정하고자 하는 추상적 개념이 실제로 측정도구에 의하여 제대로 측정되었는지의 정도를 의미한다. 예를 들어, 동기나 태도, 성격과 같은 개념은 일련의 추상적 개념으로 현상을 구성하는 구성개념이라 할 수 있다. 구성타당도는 다른 타당도와는 달리 이론과 구성개념 및 가설적 관계를 검증한다는 점에서 타당도의 핵심적 요소가 된다. 더욱이 구성타당도는 측정의 개념과 실제를 이론적 개념에 연관시켰다는 점에서 측정이론의 발전에 기여하였다. 구성타당도를 검증하는 방법에는 상관을 이용하는 방법과 요인분석을 이용하는 방법이 있다.
(1) 상관을 이용한 구성타당도
① 수렴적(convergent) 타당성: 같은 개념을 측정하는 경우에는 상이한 측정방법을 사용하더라도 그 측정값은 하나의 차원으로 수렴해야 한다. 예를 들어, 학업성취도를 측정하기 위해 주관식 시험, 상호 토론을 시켰을 경우 모두 상관관계가 높게 나타난다면 수렴타당도가 높다고 볼 수 있다.
② 차별적(discriminant) 타당성: 상이한 개념을 측정하는 경우에는 상이한 측정방법을 사용하더라도 그 측정값 간에는 차별성이 나타나야 한다. 예를 들어, 진보주의, 보수주의를 측정하는 경우, 상관관계가 낮게 나타난다면 차별적 타당성은 높다고 볼 수 있다.
(2) 요인 분석 방법
검사의 구성타당도를 검증하는 방법으로 가장 잘 알려진 통계방법이 요인분석(factor analysis)이다. 요인분석은 다수의 상호 관련된 변수ㆍ문항들을 좀 더 제한된 수의 자원이나 공통요인으로 분류하는 통계분석 기법이다. 요인분석의 기본원리는 항목들간의 상관관계가 높은 것끼리 하나의 요인으로 묶어내며, 요인들 간에는 상호독립성을 유지하도록 하는 것이다. 하나의 요인으로 묶여진 측정항목들은 하나의 개념을 측정하는 것으로 간주할 수 있고, 요인 간에는 서로 상관관계가 없으므로 각 요인들은 서로 상이한 개념이 된다. 요인 내의 항목들은 수렴적 타당성에 해당되며 요인 간에는 차별적 타당성이 적용되는 것으로 해석할 수 있다.
1. “채용시험 성적이 우수한 사람이 근무성적도 높게 나타나야 한다”는 것은 시험의 효용성 측정기준 중 어디에 해당하는가?(07 국가9급)
① 타당도 ② 신뢰도
③ 객관도 ④ 난이도
2. 다음의 채용시험 효용도 중 근무성적평정점수와 관련하여 측정될 수 있는 것은?(04 서울9급)
① 객관도 ② 난이도
③ 신뢰도 ④ 타당도
⑤ 실용도
3. 공무원 선발시험과목 중 행정학시험의 타당성을 검증하기 위해 행정학교수들로 패널을 구성하여 전체적인 문항들을 검증하는 방법과 가장 관련이 있는 것은?(08 수탁7급)
① 기준 타당성(criterion-related validity)
② 예측적 타당성(predictive validity)
③ 내용 타당성(content validity)
④ 구성개념 타당성(construct validity)
4. 측정도구(예-채용시험)가 어떤 변수의 값(예-직무수행능력)을 얼마나 정확하게 예측할 수 있는가를 평가하는 것은?(05 국가9급)
① 기준타당성 ② 구성타당성
③ 내용타당성 ④ 신뢰성
5. 채용시험의 구성타당성(construct validity)에 관한 설명으로 옳은 것은?(08 국가7급)
① 채용시험이 이론적으로 추정된 능력요소를 얼마나 정확하게 측정할 수 있는가.
② 채용시험이 장래의 직무수행에 필요한 능력요소를 얼마나 정확하게 예측할 수 있는가.
③ 채용시험이 특정한 직위의 직무수행에 필요한 능력요소를 어느 정도까지 측정할 수 있는가.
④ 채용시험이 개인 간의 능력 차이를 어느 정도까지 식별할 수 있는가.
1. 정답 ① 타당도란 시험이 측정하려는 내용을 얼마나 정확하게 측정하고 있느냐의 정도를 의미한다. 따라서 “채용시험 성적이 우수한 사람이 근무성적도 높게 나타나야 한다”는 것은 시험의 효용성 측정기준 중 타당도와 관련이 있다.
2. 정답 ④ 근무성적 평정은 시험의 타당도를 측정하는 수단으로 활용될 수 있다. 즉 신규채용시의 시험성적을 임용 후의 근무성적과 비교해 상관관계를 밝혀 보면 채용시험의 타당도를 측정할 수 있다.
3. 정답 ③ 내용타당도란 직무를 성공적으로 수행하는 데 필요한 지식이나 기술의 내용을 시험에 얼마나 반영시키고 있는가의 정도를 의미한다. 내용타당도에서 시험을 통해 예측하고 하는 것은 성공적 직무수행의 내용 내지는 성공적 직무수행에 필수적인 지식이나 기술이다. 그 직무내용이나 요건은 어느 정도 추상적이기는 하나 해당 분야의 전문가들의 판단으로 검증이 가능하다.
4. 정답 ① 기준타당도를 묻는 문제이다. 일반적의미의 타당도는 기준타당도를 의미한다. 기준타당성은 시험성적과 본래 시험으로 예측하고자 했던 기준사이에 얼마나 밀접한 상관관계가 있는가를 말하며, 내용타당성은 직무를 성공적으로 수행하는 데 필요한 지식이나 기술을 시험에 얼마나 반영시키고 있는가의 정도를 말하며, 구성타당성은 행태과학적인 조사를 통한 검증절차를 거치거나, 추상성이 아주 강해 단순한 판단만으로는 검증이 불가능한 인간의 특성을 측정하고자 하는 것이다.
공무원채용시험의 타당성을 평가하기 위해서 채용시험 합격자의 시험성적을 채용후 일정기간이 경과한 다음 근무성적과 비교했다면, 근무성적이 채용시험의 타당성을 평가하는 기준이 된다. 만약 채용시험성적과 근무성적의 상관관계가 높으면 채용시험의 기준타당성은 높다.
5. 정답 ① 채용시험의 구성타당성은 시험이 직무수행의 성공에 상관되어 있다고 이론적으로 구성․추정한 특성을 얼마나 정확하게 측정할 수 있는가를 의미한다. 보기②, ③은 내용타당도, 보기④는 난이도에 해당한다.