한국어 언어 평가 개념과 설계: 채점, 점수의 해석, 평가의 검증

• 언어 평가 결과의 해석과 활용

• 1) 채점

• 2) 점수의 해석

• a. 중앙치

• b. 평균치

• c. 백분위 등급

• d. 표준 편차

• 3) 평가의 검증

• a. 객관식 평가의 검증

• b. 수행 평가 검증 방법

• 결론

언어 평가 결과의 해석과 활용

1) 채점

채점은 평가에 제시된 학습 목표에 대한 학습자의 성취 정도를 수량화하여 정리하는 과정입니다.

• 폐쇄형 문항 채점: 객관성과 신뢰도가 높지만, 추측에 의한 정답 반응 가능성이 있습니다.
• 개방형 문항 채점: 타당도는 높으나, 채점의 객관성을 유지하기 어렵습니다. 채점 기준표를 마련하여 채점의 일관성을 확보합니다.

2) 점수의 해석

채점이 완료된 후, 수험자의 점수를 다양한 통계적 방법을 통해 해석합니다.

a. 중앙치

• 정의: 점수가 순서대로 배열되었을 때 중앙에 위치한 점수.
• 예시: 9명의 학생이 51, 52, 62, 63, 73, 74, 84, 85, 95의 점수를 받았다면 중앙치는 73점입니다.

b. 평균치

• 정의: 모든 수험자의 점수를 합산하여 응시자 수로 나눈 값.
• 예시: 9명의 학생이 받은 총점이 639점이라면 평균은 71점입니다.

c. 백분위 등급

• 정의: 개별 수험자의 점수를 백분율로 표현하여 타인과의 상대적 위치를 나타냅니다.
• 예시: 90점의 수험자가 백분위 등급 97이라면, 이는 해당 평가에서 97%의 수험자보다 높은 점수를 획득했다는 의미입니다.

d. 표준 편차

• 정의: 점수 분포의 퍼짐 정도를 나타내는 통계적 지표.
• 의의: 표준 편차가 클수록 점수 분포가 넓어지며, 수험자의 점수 변동성이 큽니다.

3) 평가의 검증

평가 도구의 타당성과 신뢰성을 검증하여 평가의 질을 높입니다.

a. 객관식 평가의 검증

• 문항 용이도: 수험자들이 문항을 맞춘 비율을 분석하여 문항의 난이도를 평가합니다.
• 문항 변별도: 상위권과 하위권 수험자의 응답 패턴을 분석하여 문항의 변별력을 평가합니다.
• 문항 반응 분포: 각 문항별로 수험자의 반응 분포를 분석하여 문항의 기능성을 검증합니다.

b. 수행 평가 검증 방법

i. 다국면적 라쉬 모형에 의한 수행 평가의 검증

• 라쉬 모형: 수행 평가의 다양한 국면을 분석하여 채점자의 편향을 최소화하고 신뢰도를 높입니다.
• Facets 프로그램: 채점자와 평가 과제 특성의 영향을 분석하여 주관적 채점의 신뢰성을 측정합니다.

ii. 일반화 가능도 이론에 의한 검증

• 오류 분석: 다양한 오류를 개별적으로 분석하고, 통계적 절차를 통해 전반적인 오류 기여도를 추정합니다.
• 오류 원인 파악: 측정 방법, 절차, 목적에 따른 오류 요인을 밝힙니다.

iii. 평가에 대한 질적인 접근

• 학습 전략 탐구: 수험자가 평가를 치르는 과정에서 사용하는 전략과 과정을 관찰하여 평가의 타당도를 높입니다.
• 채점 과정의 관심: 수행 평가에서 채점자의 주관적 요소를 최소화하기 위해 채점 과정에 대한 관심을 높입니다.

결론

언어 평가는 타당도, 신뢰도, 실용도, 진정성, 역류 효과와 같은 다양한 원리와 요건을 충실히 준수해야 합니다. 이러한 요건을 충족함으로써, 언어 평가는 학습자의 언어 능력을 정확하게 측정하고, 교육 과정의 효율성과 효과성을 높이는 데 중요한 역할을 합니다. 따라서 평가 도구의 개발과 시행 과정에서 이러한 원리와 요건을 철저히 준수하는 것이 필요합니다.