신뢰도(Reliability) 1

1. 개요

(1) 개념

① 신뢰도는 측정도구가 측정하고자 하는 현상을 일관성 있게 측정하는 능력을 말한다. 만약 어떤 측정도구를 사용해서 동일한 대상을 측정하였을 때 항상 같은 결과가 나온다면, 해당 측정도구는 신뢰도가 매우 높다고 할 수 있다.

② 검사의 신뢰도는 동일한 사람에게 검사를 실시했을 때 점수가 얼마나 일관성 있게 나오는지를 측정한 것이다. 따라서 측정의 오차가 작을수록 신뢰도는 높은 경향이 있다.

 

(2) 신뢰도 계수

① 신뢰도 계수의 범위는 '0'에서 '1' 사이의 값을 갖는다. 이때 '0'에 가까울수록 신뢰도가 낮은 반면, ‘1’에 가까울수록 신뢰도가 높은 것을 의미한다.

② 신뢰도 계수는 결과의 일관성을 보여주는 값이다.

③ 신뢰도 계수는 개인차가 클수록 커진다. 만약 수검자의 개인차가 전혀 없다면 신뢰도 계수는 '0'이 된다.

④ 신뢰도 계수는 신뢰도 추정방법에 따라서 달라질 수 있다.

⑤ 일반적으로 표준화된 지능검사가 표준화된 성취검사나 태도검사에 비해 보다 높은 신뢰도 계수를 기대할 수 있다.

 

COMMENT

신뢰도 계수는 관찰점수의 변량 가운데 진점수의 변량이 얼마나 되는가를 비율로 나타낸 수치입니다. 이때 관찰점수에 있어서 오차변량이 작을수록 진점수의 변량은 커지고 결과적으로 신뢰도 계수는 '1'에 접근하게 되며, 반대로 오차량이 클수록 '0'에 접근하게 됩니다.

 

2. 검사-재검사 신뢰도(Test-retest Reliability)

(1) 의의 및 특징

① 검사 점수가 시간의 변화에 따라 얼마나 일관성이 있는지를 의미하므로, 시간에 따른 안정성을 나타내는 '안정성 계수(Coefficient of Stability)'라고도 부른다.

② 검사-재검사 신뢰도에서 오차의 근원은 바로 시간 간격, 즉 두 검사의 실시 간격이다. 만약 검사 간격이 짧은 경우 신뢰도가 높게 나타나는 반면, 검사 간격이 긴 경우 신뢰도가 상대적으로 낮게 나타난다.

③ 동일한 검사를 동일한 수검자에게 일정 시간 간격을 두고 두 번 실시하여 얻은 두 검사 점수의 상관계수에 의해 신뢰도를 추정하는 방법이다.

④ 예를 들어, 100명의 학생들이 특정 심리검사를 받고 한 달 후에 동일한 검사를 다시 받았는데 두 번의검사에서 각 학생의 점수가 동일했다면, 검사-재검사 신뢰도 계수는 1이 된다. 그러나 이와 같은 경우는 극히 드물며, 보통 검사-재검사 신뢰도는 1보다 작게 나타난다. 이는 검사와 재검사 기간 동안 일어나는 여러 가지 오차요인이 검사 점수에 영향을 미치기 때문이다.

 

(2) 검사-재검사를 통해 신뢰도를 추정할 경우 충족되어야 할 조건

① 첫째, 측정내용 자체는 일정 시간이 경과하더라도 변하지 않는다고 가정할 수 있어야 한다.

② 둘째, 검사와 재검사 사이의 어떤 학습활동이 두 번째 검사의 점수에 영향을 미치지 않는다고 가정할 수 있어야 한다.

③ 셋째, 동일한 수검자에게 검사를 두 번 실시하지만, 앞서 받은 검사 경험이 뒤에 받은 검사의 점수에 영향을 미치지 않는다는 확신이 있어야 한다.

 

(3) 검사-재검사법으로 신뢰도 추정치를 구할 경우 주요 단점

① 시간 및 비용 소요

동일검사를 두 번 실시하는 것은 그만큼 시간도 오래 걸리고 경비도 이중으로 든다.

② 반응민감성

'반응민감성(Reactivity)'은 검사를 치르는 경험이 개인의 진점수를 변화시킬 가능성을 의미한다. 이러한 반응민감성의 영향으로 검사를 치르는 경험이 후속 반응에 영향을 줄 수 있다.

③ 이월효과(기억효과)

두 검사 사이의 시간 간격이 너무 짧을 경우 앞에서 답한 것을 기억해서 뒤의 응답 시 활용할 수 있다.

④ 성숙효과

두 검사 사이의 시간 간격이 너무 클 경우 측정대상의 속성이나 특성이 변화할 수 있다.

 

3. 동형검사 신뢰도(Parallel-form Reliability)

(1) 의의 및 특징

① 새로 개발한 검사와 여러 면에서 거의 동일한 검사를 하나 더 개발해서 두 검사 점수 간의 상관계수를 구하는 방법이다.

② 이미 신뢰성이 입증된 유사한 검사 점수와의 상관계수를 검토하는 방식으로 이루어지는 경우가 많다.

③ 상관계수가 두 검사의 동등성 정도를 나타낸다는 점에서 ‘동등성(동형성) 계수(Coefficient of Equivalence)'라고도 부른다.

④ 동형검사 신뢰도 계수는 오차변량의 원인을 특정 문항의 표집에 기인한 것으로 가정한다. 이는 동형검사 신뢰도가 두 검사의 문항의 차이나 문항의 표집에서 생기는 검사도구의 신뢰도에 초점을 두기 때문이다.

⑤ 동일한 수검자에게 첫 번째 시행한 검사와 동등한 유형의 검사를 실시하여 두 검사 점수 간의 상관계수에 의해 신뢰도를 추정한다.

 

(2) 동형검사 신뢰도의 제한점

① 실제로 완벽한 동형검사를 제작하기가 매우 어렵다.

측정 영역이 한정되어 있을 수 있으며, 동일한 난이도의 문항을 표집하는 것도 어렵다.

② 동형검사는 연습효과에 취약하다.

물론 동일한 검사를 두 번 실시하는 것보다는 연습효과를 줄일 수 있겠지만, 연습효과를 완전히 배제할 수는 없다.

 

(3)  동형검사 신뢰도를 통해 신뢰도를 추정할 경우 충족되어야 할 조건

① 두 검사가 근본적으로 측정하려 하는 영역에서 동일한 내용이 표집 되어야 한다.

② 동일한 문항 수와 동일한 형식으로 표현되어야 한다.

③ 문항의 난이도(곤란) 수준이 동등해야 한다.

④ 검사의 지시내용, 시간제한, 구체적인 설명까지 모두 동등성이 보장되어야 한다.

 

* 신뢰도 추정 시 고려사항

(1) 속도검사와 역량검사

① 신뢰도 추정에 영향을 미치는 요인은 상관계수에 영향을 미치는 요인과 유사하다.

표본의 동질성 신뢰도는 두 평형검사의 관찰점수 간 상관으로 정의되므로, 상관계수에 영향을 미치는 요인이 곧 신뢰도 추정에 영향을 미친다.

② 신뢰도 추정에 영향을 미치는 요인 중 가장 중요한 요인은 표본의 동질성이다.

표본의 동질성 요인과 관련하여 가장 문제시 되는 것은 측정범위의 제한(Restriction of Range)이다. 일반적으로 상관계수의 추정에 사용되는 자료의 값의 범위가 제한되거나 축소된 자료에서 추정된 상관계수의 크기는 제한되지 않은 자료에서 추정된 상관계수보다 작아지는 경향이 있다.

③ 난이도 수준이 낮은 문항들로 구성된 속도검사의 경우 전통적인 기우양분법(기우절반법)으로 반분신뢰도를 추정할 때 신뢰도 계수가 과대추정되는 경향이 있다.

일반적으로 속도검사는 거의 획일적이고 대체로 난이도 수준이 높지 않은 문항들로 구성되므로, 대부분의수검자들이 이를 쉽게 풀 수 있기 때문이다.

 

(2) 심리적 특성의 불안정성

어떤 심리적 특성은 상황이나 생리적 변인에 민감할 수 있다. 예를 들어, 피부전기반응으로 측정한 정서적 반응은 소음, 사고과정, 스트레스, 우발적 사건 등과 같은 요인에 의해 쉽게 변한다. 따라서 피부전기반응으로 측정한 정서반응과 같은 불안정한 심리적 특성의 신뢰도를 정확히 추정하기 위해서는 검사-재검사를 거의 동시에 실시해야 한다.