사용자 로그인
둘러보기
구독
IRT: 컴퓨터 적응 검사
컴퓨터 적응 검사(computerized adaptive testing:CAT)란 컴퓨터를 이용해서 실시하는 검사로서 IRT를 이용 수검자의 능력 수준에 맞는 문항을 출제하는 방식으로 이뤄진다.
- 지필 검사(pencil-and-paper test)보다 짧다(보통 1/2정도)
- 검사자 능력 수준이 높거나 낮아도 오차가 일정하다
- 다양한 형식의 검사를 실시할 수 있다
CAT에서 출제할 문항의 집합을 문항은행(item bank)이라 한다. 문항은행은 높은 변별도와 다양한 난이도의 문항이 최소한 100문항 정도 필요하다. 성격이나 태도 검사의 경우 이처럼 많은 문항을 모으기도 어렵기 때문에 CAT를 잘 쓰지 않는다. CAT는 주로 인지검사(cognitive test)에 많이 활용된다.
검사의 목적이 사람들을 정확히 측정하는 것이 아니라 특정한 수준을 경계로 집단을 나누는 것이 목적일 때 문항은행에는 다양한 난이도의 문항보다 경계선 상의 문항들로 이뤄지는 것이 바람직하다.
문항은행에 들어가는 문항은 일단 난이도, 변별도 등의 모수들이 측정되어야 한다. 지필 검사는 문항이 고정된 순서로 제시되기 때문에 순서 효과(serial order effect)나 맥락 효과(item context effect)가 모수에 혼입되게 되므로 주의할 필요가 있다.
CAT의 시작점을 결정하는 방법에는 여러 가지가 있다.
먼저 중간 난이도에서부터 시작하는 방법이 있다. 만약 수검자의 능력에 대한 정보가 있을 경우 이를 바탕으로 시작점을 결정할 수도 있다.
문항은행에서 무선적으로 추출한 문항을 시작점으로 사용하는 방법도 있다. 이 경우 수검자마다 다른 문항으로 시작한다는 장점이 있다.
중간 난이도에서 시작할 경우 수검자의 절반 정도는 자기 능력 수준에 맞는 문항이 나올 때까지 계속 틀리게 된다. 그래서 수검자가 좌절하는 것을 막기 위해 쉬운 난이도에서부터 시작하는 방법도 있다.
수검자의 능력을 추정하는 방법에는 최대우도법(maximum likelihood: ML), 최대사후확률법(maximum a posteriori: MAP), 기대사후확률법(expected a posteriori: EAP)이 있다. CAT는 수검자의 능력에 맞는 문항을 선택하기 때문에 이 방법들은 문항 선택에도 그대로 사용할 수 있다.
ML은 최소한 서로 다른 반응을 보인 문항이 2개 이상 있어야(즉, 하나는 1, 하나는 0) 사용할 수 있다. MAP나 EAP는 이런 문제를 피할 수 있다. 대신 반응 수가 적을 경우 이 방법들은 사전확률의 영향을 받아 평균으로 편향되는 경향이 있다.
또 다른 방법은 맞으면 난이도를 조금 올리고 틀리면 난이도를 조금 내리는 방식으로 검사를 실시하다가 일정한 개수의 반응이 수집되면 그때부터 수검자의 능력을 ML로 추정하는 방법이 있다.
ML을 사용할 경우 수검자에 대한 정보를 가장 많이 제공할 수 있는 문항을 선택한다. MAP, EAP를 사용할 경우 수검자의 능력에 대한 사후확률분포의 오차를 최소화시킬 수 있는 문항을 선택한다. 두 가지 방법에서 수검자의 능력은 다르게 추정될 수 있다.
CAT에서 검사를 종료하는 방법에는 두 가지가 있다. 가장 선호되는 방법은 측정의 표준 오차가 일정 수준 이하가 되면 검사를 종료하는 것이다. 고정된 개수의 문항을 출제한 다음 종료하는 방법도 있다.
