Generative AI-Based Automatic Item Generation: Experiments and Analysis — Focusing on Diagnostic Assessment Items for Advanced Chinese
Abstract
본고는 생성형 AI 기반 중국어 교과 독해 문항의 자동생성을 목적으로 프롬프트를 설계하고, Chat-GPT4o, Claude를 포함한 7종의 AI를 활용하여 진단평가 문항을 자동생성하였다. 본고의 자체 검토 결과 Claude 생성 문항의 품질이 가장 높고 활용도가 좋다고 판단되어 이를 활용하여 수업 현장에서 진단평가를 진행한 뒤, 결과 데이터를 바탕으로 문항의 난이도와 변별도, 신뢰도 등 문항의 품질을 분석하였다. 본고에서 생성한 문항들은 난이도와 변별도가 모두 ‘중간’의 범주에 속하였으며 신뢰도와 타당도가 전반적으로 다소 낮다는 결론이 도출되었다. 문항난이도는 당초 프롬프트 설계와 일부 불일치하는 결과를 보였으며, 평가 문항 중 난이도와 변별도를 고려한 이상적인 문항이자 타당도가 높은 문항은 5번 문항이었다. 본고는 중국어 교과의 생성형 AI 기반 자동문항생성의 가능성 확인을 위한 탐색적 차원의 실험 연구로, 연구 결과를 통해 AI 기반 자동문항생성은 교사들의 직접적 문항 출제와 비교했을 때 효율적이나 신뢰도와 타당도가 높은 양질의 문항을 생성하기 위해서는 엄밀한 평가 설계 및 프롬프트의 지속적 개선이 필요함을 확인하였다.
Fields of Study & Subjects
Artificial Intelligence in Education
Educational Technology and Assessment
Natural Language Processing Techniques
Publication details
- Journal / source
- 중국어문논역총간
- Volume
- 58
- Pages
- 275–300
- Publication date
- 31 January 2026
- Language
- EN