게시물 내용보기

제목	문항반응이론이란?

이름	이해원	2006-11-14 조회 : 6,205 추천 : 115

- 링크1 : http://cafe.daum.net/oneducation

교육에 있어서 학생의 능력을 정확하게 평가하는 것은 가장 중요한 기초작업입니다. 왜냐하면 그것이 어떤 임의의 교육제도에 대한 정확한 평가기준이 되는 유일한 방법이기 때문입니다. 경제제도를 어떻게 하는지 조정을 해야 하는데 만약 GDP를 만약 알 수 있는 방법이 없다면 어떻게 될 것인지 상상해 보면 알 수 있을 것입니다.

교육학에서는 통계적인 기법을 사용하여 시험문제의 난이도나 변별력에 상관없이 학생들의 능력을 측정하는 방법이 있습니다. 기존의 시험은 문항별 배점을 단순히 더하여 그 합으로 능력을 평가하고 있습니다. 이러한 방법은 당연히 난이도나 변별력에 따라서 학생들의 능력에 대한 평가가 달라질 수 밖에 없습니다.

문항반응이론과 고전검사이론의 차이점

고전검사이론

문항반응이론

기본가정

검사의 관찰점수가 진점수와 측정 오차의 합으로 이루어진 모형

일차원성 가정:하나의 검사는 하나의 특성을 측정지역독립성 가정:한 문항에 대한 응답이 통계적으로 독립이라는 가정

출제형식

Random 형식, 임의형식 출제

피험자 능력에 대응하는 문제를 CAT형식으로 출제

진단, 평가

평가:진점수와 오차점수의 합과 백분율에 의한 점수

문항특성곡선에 의한 기본점수와 부분점수감안 진점수오류유형 및 인지심리학적인 진단 처방

난이도

응답 피험자 중 정답을 맞힌 피험자의 비율⇒표본집단에 영향을 받음

개별문항의 문항특성곡선(ICC)을 이용하여 답을 맞출 확률이 0.5에 대응하는 능력수준의 값⇒표본집단에 영향을 받지 않음

변별도

검사총점과 문항 점수간의 양수관계수로 추정⇒표본집단에 따라 변함

난이도에 해당하는 능력수준에서의 문항특성곡선의 기울기로 산출⇒표본집단에 영향을 받지 않음

추측도

정답을 모르는 피험자가 추측을 통해 답을 맞힌 비율

능력이 전혀 없는 피험자가 추측으로 답을 맞힐 확률⇒문항특성곡선의 최저한계

문항특성

피험자 집단의 특성에 따라 변함

피험자 집단에 영향을 받지 아니함

신뢰도

동일한 측정오차에 따른 검사에 대해 하나의 신뢰도 값

검사정보 및 각각의 문항정보 제공

Data관리

측정 data 피험자 점수 산출용으로 활용

측정 data는 피험자 능력값 산출 및 Equating자료로 활용

단점

-검사통계량이 피험자 표본의 특성에 따라 상이하게 추정
-모든 피험자에 대한 동일 추정 오차 가정

검사의 일차원성(unidimensionality)과 문항의 국소독립성(local independence)이라는 강한 가정 만족되어야 함

장점

고전검사이론의 가정은 대부분의 검사자료에 쉽게 만족될 수 있기 때문에 광범위하게 적용될 수 있는 장점

가정이 만족될 경우,
-검사의 문항모수(난이도, 변별도)가 불변:문항의 고유한 특성을 파악
-피험자의 능력모수를 정확하고
불변성을 지닌 능력모수를 측정

고전검사이론에서는 학생이 어떤 문제를 맞추면 0 또는 1이라는 이분적인 점수만 받게 됩니다. 그러나 문항반응이론에서는 다음과 같은 가정을 합니다. 각 피험자가 자기의 능력 (θ)에 따라서 그 문제를 맞출 수 있는 확률을 P(θ)라고 하면 각 문제의 여러 가지 특성에 따라서 그 문제를 맞출 확률은 달라집니다. 그 확률값은 능력 θ 의 크기에 따라서 아래의 문항특성곡선이라고 하는 형태로 나타납니다.

사실은 정확한 문항특성곡선은 실제로 정확하게 측정하는 방법은 없습니다. 다만 이것은 합리적인 가설일 뿐이며 이것을 이용한 계산의 편의성 때문에 logistic model 을 적용하는 것이 보편화되어 있습니다. 이것말고 normal ogive model 이라고 하는 것도 있습니다만 이 함수는 제가 정확하게 잘 모르기 때문에 관심이 있으신 분만 찾아보시면 됩니다. 이 logit 이라는 것은 입니다. 이 그래프는 그려보시면 아시겠지만 위의 그림과 같은 S 자 curve입니다. 이 logit은 생물학적인 변수의 통계처리에 아주 요긴하게 사용됩니다. 예를 들면 콜레스테롤 수치와 고혈압의 발생여부를 통계적으로 검증할 때에 고혈압의 발생여부는 0(없다) 과 1(있다) 두가지 경우밖에는 없지만 콜레스테롤수치가 고혈압 발생에 영향을 미치는 정도는 이 logit 함수와 비슷할 것이라고 가정하면 잘 들어맞습니다. 이러한 특성을 학생의 능력이 높을수록 문제를 맞출 확률이 높아진다는 것에 적용하는 것이라고 보면 됩니다.

그러나 실제 문제가 어렵거나 (난이도가 높음) 아니면 어떤 특정 능력치 이상이 될 때와 그렇지 않을 때의 맞출 확률이 크게 차이가 나거나 (변별력이 높음) 하면 능력에 따른 P(θ)의 값은 모양이 찌그러진 S 자 또는 완만한 S 자 아니면 그래프 상에서 좌측이나 우측으로 편향된 모양이 될 것입니다. 이러한 변형을 함수에서 몇 가지 변수를 바꾸어 주므로써 진짜 능력-정답확률 그래프에 적절하게 맞추어 주면 됩니다. (실제 측정치 - 계산된 함수 값) 이 최소가 되도록 그래프를 조정해 주면 됩니다.

그렇게 하면 P(θ) 함수의 값은 다음과 같이 됩니다.

여기서 a: 변별도, b: 난이도, c: 추측도, θ: 피험자의 능력

함수가 굉장히 복잡해 보입니다만 의 함수에서 몇 가지 변화를 준 것이라는 것을 알 것입니다. 우선 c 라는 것은 추측도로서 객관식 시험문제는 문제에 대해서 전혀 몰라도 문제를 맞출 수 있습니다. 그러한 특성을 y 절편으로서 그래프의 적합도를 높일 수 있고 b 는 x 절편으로서 능력치가 b 일때 문제를 맞출 확률이 0.5가 되도록 그래프의 좌우를 바꾸는 역할을 하게 됩니다. 그리고 변별도인 a는 그래프에서 능력치가 평균 즉 0이 되는 점에서 얼마나 가파르게 기울기가 변하는지를 결정합니다.

위의 함수에서 a,b,c 의 값을 변화하면서 그래프를 그려보면 문항특성함수란 것이 실제 문항반응을 어떤 식으로 예측할 수 있게 해주는지 알 수 있습니다. excel 프로그램을 이용해서 쉽게 그릴 수 있습니다.

그러면 실제로 시험을 보았을 때 이러한 이론을 이용해서 어떻게 성적을 낼 수 있는가?

우선 각 문항의 변별도, 난이도, 추측도를 구합니다. - 이것은 원래 컴퓨터를 사용하지 않고 구하려면 능력이 검증된 학생들을 대상으로 시험을 풀게 하여 실제 능력별 정답비율을 계산하여 그래프를 그리고 거기에 가장 잘 맞는 문항특성곡선이 무엇인지 찾아서 구하는 방식으로 해야 합니다. 그러나 이러한 방법은 실제로 하기에는 어려우므로 몇가지 복잡한 컴퓨터 계산을 이용하여 각 문항별 특성을 구합니다. 이부분은 단순한 공식으로 되는 것이 아니고 컴퓨터가 최적의 해를 찾아가도록 고안된 프로그램을 이용해서 합니다. MLE (maximum likelihood : 최확우도법) 라는 방법으로서 어쨌든 오차를 계산하였을 때 그 오차가 최소가 되는 함수를 구하게 됩니다.

그러면 각 문항별로 난이도, 변별도, 추측도를 구할 수 있습니다. 그렇게 하고 일단 피험자의 초기 능력을 1로 놓습니다. (아무 숫자나 상관없습니다.) 그렇게 되면 각 문항별로 이 피험자가 정답을 맞출 확률은 표의 P(θ)에 해당되는 값입니다. 그리고 실제 정답여부에 따라서 정답일 때 1, 오답일 때 0으로 계산합니다. 그러면 1개의 문제당 추정오차는 변별도 * (정답여부 - 정답을 맞출 확률)입니다. 이 오차의 합이 0이 되는 추정 능력수치가 피험자의 실제 능력입니다. 이 편차를 보정하기 위하여 편차의 분산의 합에 해당되는 를 구하여 (아래표에서는 오차의 분모의 합) 나눈 값을 편차로 하여 이 편차를 원래 추정치에 더하여 이러한 계산을 다시 반복합니다. 이러한 방법을 계속하면 1.5026, 1.5118 ..... 1.5124 이런식으로 수렴하며 편차는 0.0000015까지 줄어듭니다. 이 결과 정답을 맞춘 학생의 능력수치는 1.5124입니다. 이것은 표준정규분포의 표준편차와 같은 의미가 있으므로 이것을 평균 50점 표준편차 16점인 dIQ 수치에 맞추면 대략 100점만점의 시험에 준하는 점수를 얻을 수 있습니다.

즉 50+1.5124*16 = 74.2점에 해당됩니다. 고전검사이론대로라면 83.33점입니다만 약간의 차이가 있지요. 변별력에 따라서 그 문항의 비중이 달라지기 때문에 맞춘 문제 수는 같더라도 점수는 다를 수가 있으며 또 이러한 방식으로 시험을 치르게 되면 시험의 전반적인 난이도가 달라져도 피험자의 능력치에는 영향을 미치지 않게 됩니다.

안녕하세요? 좋은 교육제도에 관심이 있는 학부모입니다.


목록 추천