언어 평가 도구의 개념과 설계: 반 개방형 문항과 지시문 작성

언어 평가는 학습자의 언어 능력을 정확하게 측정하고, 교육 과정의 효율성과 효과성을 높이기 위해 필수적인 과정입니다. 효과적인 언어 평가 도구를 개발하고 설계하기 위해서는 문항과 지시문 작성이 중요한 역할을 합니다. 이 글에서는 반 개방형 문항의 주요 유형인 단답형, 괄호형, 규칙 빈칸 메우기, 그리고 개방형 문항의 주요 유형인 논술형, 그 외 개방형 문항에 대해 자세히 살펴보고, 문항과 지시문 작성 시 고려해야 할 제작 지침과 장단점에 대해 설명하겠습니다.

 

반 개방형 문항과 지시문 작성

1) 단답형

단답형 문항은 간단한 단어, 구, 문장, 숫자 등의 제한된 형태의 반응을 유도하는 문항 유형입니다. 이는 주로 읽기, 듣기 지문의 이해도, 어휘의 의미, 용어 등의 지식을 측정하는 데 효과적입니다.

단답형 문항의 특징 및 사용 예시

• 질문형: 하나의 질문을 제시하여 간단한 답을 요구합니다.
• 변형형: 단어나 구를 제시하고, 관련된 개념이나 용어를 기술하도록 합니다.
• 사용 예시:
  • 읽기, 듣기 지문을 제시하고 그 내용의 이해도를 평가.
  • 주어진 그림이나 도표를 보고 설명의 적합성을 판단.

단답형 문항의 제작 지침

1. 명료한 질문 형식: 직접적인 질문 형식으로 질문이 명확해야 합니다.
2. 정확성 및 조건 제시: 답에서 기대되는 정확성의 정도나 내용상의 조건을 명확히 제시합니다.
3. 채점표 작성: 정답으로 간주될 수 있는 가능한 모든 답을 채점표에 기록해 둡니다.
4. 오류 처리: 문항의 내용 이해를 측정하는 경우, 철자법이나 문법적 오류의 처리 방법을 사전에 정합니다.
5. 여백 제공: 답을 쓸 수 있는 여백을 충분히 제공하되, 정답의 길이를 추측하지 못하도록 합니다.

단답형 문항의 장점과 단점

• 장점
  • 제작이 비교적 쉽습니다.
  • 많은 평가 항목을 포함할 수 있습니다.
  • 수행 시간과 채점 시간이 효율적입니다.
  • 선택형보다 추측 요인의 영향을 덜 받습니다.
• 단점
  • 정답이 명확하게 하나가 되도록 질문을 작성하기 어렵습니다.
  • 채점 시 철자법 및 문법적 오류 처리 문제가 발생할 수 있습니다.

2) 괄호형

괄호형 문항은 문장 중 의미 있고 중요한 부분을 괄호, 상자, 밑줄 등으로 표시하여 수험자가 적절한 답을 작성하도록 하는 빈칸 채우기 형태의 문항입니다. 이는 주로 문법 구문, 시제 활용, 어휘 및 간단한 언어 표현 능력을 평가하는 데 효과적입니다.

괄호형 문항의 특징 및 사용 예시

• 빈칸 채우기: 문장 중 특정 단어를 생략하고, 수험자가 이를 채우도록 요구합니다.
• 사용 예시:
  • 문법 구문 이해도 평가.
  • 어휘의 의미 및 용어 지식 평가.

괄호형 문항의 제작 지침

1. 중요 내용 여백 처리: 평가 항목으로 선별된 중요한 내용을 여백으로 둡니다.
2. 문법적 단서 피하기: 문법적 관계가 정답의 단서로 작용하지 않도록 합니다.
3. 정확성 및 조건 제시: 답에서 기대되는 정확성의 정도나 내용상의 조건을 명확히 합니다.
4. 채점표 작성: 정답으로 간주될 수 있는 가능한 모든 답을 채점표에 기록해 둡니다.
5. 여백의 구조와 의미 유지: 여백을 갖더라도 의도 파악에 필요한 적당한 구조와 의미를 유지해야 합니다.
6. 여백 수 조절: 너무 많은 여백을 두지 않으며, 여백 하나를 하나의 채점 단위로 할 수 있도록 합니다.

괄호형 문항의 장점과 단점

• 장점
  • 신속하고 객관적인 채점이 가능하며, 신뢰도가 높습니다.
  • 답지를 제작할 필요가 없어 경제적입니다.
• 단점
  • 단편적인 이해력 측정에 제한될 수 있습니다.

3) 규칙 빈칸 메우기

규칙 빈칸 메우기 문항은 일정한 원칙에 따라 연속적으로 빈칸을 삽입한 문단을 완성하게 하는 형태의 문항입니다. 이는 담화의 의미적, 통사적, 형태론적 요소를 평가하는 데 사용됩니다.

규칙 빈칸 메우기 문항의 특징 및 사용 예시

• 빈칸 삽입: 담화가 계속되는 단락에서 매 N번째 단어를 생략하여 수험자가 이를 채우도록 합니다.
• 사용 예시:
  • 통사적, 형태론적, 의미론적 지식 평가.
  • 음과 철자의 연결성, 문화적 지식 평가.

규칙 빈칸 메우기 문항의 제작 지침

1. 문맥 추론 가능성: 임의로 생략된 단어가 문맥에 의해 추론이 가능하도록 합니다.
2. 담화의 완전성 유지: 담화의 첫 문장과 마지막 문장은 생략하지 않고 완전한 형태로 제시합니다.

규칙 빈칸 메우기 문항의 장점과 단점

• 장점
  • 특정 언어 요소를 지나치게 강조하는 교사의 주관적 요소를 배제할 수 있습니다.
  • 언어 감각과 세부적인 지식을 통합적으로 평가할 수 있습니다.
• 단점
  • 평가하려는 요소를 모두 포함시킬 수 있는 문단을 제작하기 어렵습니다.

---

개방형 문항과 지시문 작성

1) 논술형

논술형 문항은 주어진 질문이나 지시문에 대해 여러 개의 연속된 언어 행위로 답하도록 요구하는 문항 유형입니다. 이는 학습자의 종합적인 언어 능력을 평가하는 데 적합합니다.

논술형 문항의 특징 및 사용 예시

• 확장된 반응: 수험자가 다양한 진술을 하고, 이를 확장하여 반응합니다.
• 평가 범위: 제한 반응 문항과 확대 반응 문항으로 나뉩니다.
  • 제한 반응 문항: 지시문을 통해 답변의 범위나 글자, 문장 수를 제한합니다.
  • 확대 반응 문항: 응답의 복잡성이나 길이를 수험자에게 맡깁니다.

논술형 문항의 제작 지침

1. 과제 수행 시간 고려: 과제 수행 시간이 길다는 점을 감안하여 평가 도구에 포함시킵니다.
2. 새로운 언어 상황 기반: 수업에서 제시된 특정 담화 내용을 단순히 기억하여 답하지 않도록 새로운 언어 상황에 기초하여 제작합니다.
3. 세부 평가 항목 준수: 과제에 대한 지시는 세부 평가 항목에 포함된 언어 기능의 형식을 따라야 합니다.
   • 예: 설명하라, 예시하라, 항목을 들어라, 요약하라, 비판하라, 비교하라, 정의하라, 해석하라, 주장하고 근거를 제시하라 등.
4. 채점 기준표 작성: 채점에서 고려되어야 할 모든 사항을 미리 정해 상세한 채점 기준표를

논술형 문항의 장점과 단점

• 장점
  • 문항 제작이 비교적 용이합니다.
  • 정보 선정, 조직, 분석, 통합, 비교, 평가 등의 언어 기능을 측정할 수 있습니다.
  • 학습한 요소들을 통합하여 표현할 수 있어 반응이 제한적이지 않습니다.
  • 추측 요인이 제거될 수 있습니다.
• 단점
  • 문항의 양호도 검증이 어렵습니다.
  • 응답에 소요되는 시간이 길어 평가 내용 표집이 감소될 수 있습니다.
  • 객관적 채점이 어려워 채점 시 많은 노력과 시간, 전문성이 요구됩니다.

2) 그 외 개방형 문항

그 외 개방형 문항으로는 받아쓰기, 구두시험, 번역 등이 있습니다. 이는 학습자의 다양한 언어 능력을 평가하는 데 사용됩니다.

1) 받아쓰기

• 특징 및 사용 예시
  • 음과 철자를 관련지어 언어를 올바르게 표기할 수 있는 능력뿐만 아니라 문법적 요소, 어휘의 의미 창출 과정을 평가합니다.
  • 담화 문맥에서 인지하지 못한 요소를 추측해 낼 수 있는 능력도 포함됩니다.

2) 구두시험

• 특징 및 사용 예시
  • 수험자를 직접 의사소통 상황에 놓이게 하여 반응을 평가합니다.
  • 듣기와 말하기 기능을 함께 평가하며, 발음, 강세, 억양, 문법 요소, 어휘 구사, 담화 맥락 이해 등을 종합적으로 평가합니다.
  • 평가 과정에서 채점자의 주관적 요소를 최소화하기 위해 두 명 이상의 시험관으로 구성하는 것이 효과적입니다.

3) 번역

• 특징 및 사용 예시
  • 고급 한국어 수준에서 진행하며, 언어 습득 수준이 전제된 상태에서 창조적인 언어 능력을 측정합니다.
  • 현대 언어학의 영향으로 번역 평가의 중요성은 다소 약화되었으나, 여전히 중요한 평가 방법 중 하나입니다.
  • 평가의 타당도와 신뢰도를 확보하기 위해 체계적인 채점자 교육이 필요합니다.

---

문항과 지시문 검토

문항과 지시문을 작성한 후, 검토 과정을 통해 문제가 될 수 있는 문항을 재고하고 보완해야 합니다. 이는 문항의 질을 높이고, 평가의 타당도와 신뢰도를 확보하는 데 필수적입니다.

문항과 지시문 검토 절차

1. 질적 분석
   • 평가 목적에 맞게 평가 항목이 적절하게 표집되었는지 검토합니다.
   • 문항의 형식적 유형과 제작 지침에 따라 문항이 작성되었는지 확인합니다.
2. 양적 분석
   • 검사 결과를 통해 문항의 난이도, 변별도 등을 분석합니다.
   • 문항 용이도: 수험자들이 문항을 맞춘 비율을 분석하여 문항의 난이도를 평가합니다.
     • 예: 문항 용이도 지수 0.25 이하는 어려운 문항, 0.75 이상은 쉬운 문항, 그 사이 중간 수준 문항으로 평가.
   • 문항 변별도: 상위권과 하위권 수험자의 응답 패턴을 분석하여 문항의 변별력을 평가합니다.
     • 예: 변별도 지수 0.40 이상은 변별력이 높은 문항, 0.30-0.39는 변별력이 있는 문항, 0.20-0.29는 변별력이 낮은 문항, 0.10-0.19는 변별력이 매우 낮은 문항, 0.10 미만은 변별력이 없는 문항.
   • 문항 반응 분포: 각 문항별로 수험자의 반응 분포를 분석하여 문항의 기능성을 검증합니다.

---

결론

언어 평가 도구의 설계는 반 개방형 문항과 개방형 문항의 다양한 유형을 적절히 활용하여 수험자의 다양한 언어 능력을 정확하고 신뢰성 있게 측정하는 데 중점을 두어야 합니다. 각 문항 유형의 특징과 제작 지침을 철저히 준수함으로써, 평가 도구의 타당도와 신뢰도를 높이고, 실용성을 극대화할 수 있습니다. 이를 통해 학습자의 언어 능력을 정확하게 평가하고, 교육 과정의 효율성과 효과성을 향상시키는 데 기여할 수 있습니다.