Onyou Reborn
AI 영어 서술형 문제 자동화, 학교별 출제 청사진으로 7단계 완성
학교 기출을 AI에게 그대로 주면 안 되는 이유와, ‘출제 청사진’으로 내신 변형문제를 만드는 방법을 정리했습니다.
AI가 단 몇 초 만에 문제를 써주는 시대, 왜 아직도 부족할까
AI 영어 서술형 문제를 학교 기출 그대로 베껴서 만들면, 그럴듯해 보여도 실전에서는 쓸 수 없습니다. 광명시에서 온유영어(OnYou English) 학원을 운영하면서 매 학기 가장 많은 시간을 쓰는 일은 문제를 “많이” 만드는 게 아니라, 학교별로 다른 출제 규칙을 파악하는 일이었습니다. 같은 “조건부 영작형” 문제라도 A고등학교는 제시어 5개를 모두 써야 하고, B고등학교는 어형 변화를 허용하지 않습니다. 이런 미세한 차이를 무시하면 AI가 아무리 정교해도 학교 현장에서는 쓸 수 없는 문제가 나옵니다.
ChatGPT나 Claude 같은 범용 생성형 AI가 아무리 발전해도, 학교별 출제 스타일까지 반영한 정교한 AI 영어 서술형 문제를 바로 만들어내기는 어렵습니다. 제시어 개수, 단어 길이 제한, 문법 조건, 답안 형식 같은 세밀한 조건을 동시에 만족시켜야 하기 때문입니다. 이 글에서는 온유 리본이 이 문제를 어떻게 풀었는지, 핵심 설계 원칙인 출제 청사진(Pattern Blueprint)을 중심으로 정리합니다.
AI 영어 서술형 문제를 기출 그대로 베끼면 생기는 두 가지 문제
1) 과적합(Overfitting)
AI에게 기출 지문과 정답을 그대로 학습 맥락으로 주면, 기존 지문의 문장 구조나 과거 모범 답안을 지나치게 비슷하게 재사용하는 경향이 나타납니다. 표절에 가까운 결과물이 나올 위험이 있고, 무엇보다 “새로운 지문에 같은 출제 규칙을 적용한 문제”가 아니라 “기존 문제를 살짝 바꾼 문제”가 되어버립니다.
2) 환각(Hallucination)과 제약 조건 충돌
여러 연도의 기출을 한꺼번에 참고 자료로 주면, AI가 서로 다른 해의 제약 조건을 혼동해 엉뚱한 형식의 문제를 만들어냅니다. 예를 들어 어떤 해에는 허용됐던 어형 변화가 다른 해에는 금지였는데, 이 둘이 섞여버리는 식입니다.
해결책: AI 영어 서술형 문제의 ‘내용’과 ‘규칙’을 분리하는 출제 청사진
이 문제를 풀기 위해 온유 리본은 기출문제에서 지문과 정답(내용)은 버리고, 출제 규칙(형식)만 추출해 재사용 가능한 메타데이터로 저장합니다. 이걸 출제 청사진(Pattern Blueprint)이라고 부릅니다.
청사진에는 다음과 같은 항목이 구조화되어 들어갑니다.
| 항목 | 설명 |
|---|---|
| 문제 유형 | 조건부 영작형 / 요약문 빈칸 완성형 / 문법 오류 수정형 |
| 발문 구조 | 질문이 요구하는 정확한 형식(예: “다음 우리말과 일치하도록…”) |
| 제시어 개수·사용 규칙 | 제시어 개수, 전부 사용해야 하는지 여부 |
| 형태 변형 허용 여부 | 제시어의 시제·수·품사 변형을 허용하는지 |
| 답안 단어 수 제한 | 최대 단어 수, 시작 알파벳 지정 여부 |
| 답안 형식 | 완전한 문장 / 빈칸 채우기 / 오류 선택형 등 |
| 채점 기준 | 배점 항목별 채점 포인트 체크리스트 |
핵심은 “교사가 기출의 날카로운 특성을 한 번 확인하고 청사진으로 승인해두면, AI는 그 울타리 안에서만 안전하게 새 문제를 생성한다”는 구조입니다. 지문은 매번 새로 바뀌지만, 그 지문에 적용되는 규칙은 학교의 실제 출제 패턴을 그대로 따르게 됩니다.
이 규칙들은 단순한 설정값에 그치지 않습니다. 예를 들어 “형태 변형 허용 여부”는 AI가 알아서 지키길 바라는 지침이 아니라, AI가 문제를 낼 때 제시어 하나하나마다 “이 단어를 어떤 형태로 바꿨는지, 왜 바꿨는지”를 직접 명시해서 반환하도록 응답 형식 자체에 강제해 둔 항목입니다. 덕분에 시스템이 그 답변을 기계적으로 검증할 수 있습니다. “문법 오류 수정형”도 한 가지 방식만 있는 게 아니라, 문장 하나를 그대로 고치게 하는 방식과 여러 후보 문장 중 오류가 있는 것을 고르게 하는 방식 두 가지를 모두 지원하고, 어떤 문법 영역(시제·수일치·태 등)에서 오류를 낼지도 청사진에서 지정할 수 있습니다.
AI 영어 서술형 문제 생성 프로세스 (7단계)
1. 학교 기출 수집 — 해당 학교의 과거 기출문제를 확보합니다.
2. 문제 유형과 제약 조건 분석 — 교사가 검토한 기출 예시를 AI가 1차로 분석해 청사진 초안을 뽑고, 교사가 다시 확인합니다.
3. 출제 청사진 저장 및 승인 — 확인된 규칙을 Supabase DB에 구조화된 데이터로 저장하고 최종 승인합니다.
4. 새 지문 준비 — 기출과 무관한 새 지문을 고른 뒤, 원문을 그대로 쓰지 않고 어휘·구문·문장 구조 단위로 규칙에 따라 다시 쓰는 지문 재구성(패러프레이징) 과정을 거칩니다. 문장 단위로 “원문 → 재구성문 → 어떤 방식으로 바꿨는지”를 함께 기록해, 원문과 지나치게 비슷하거나 없는 내용을 새로 지어내지 않았는지 자동으로 검증합니다.
5. 청사진을 적용한 AI 문제 생성 — 승인된 규칙과 재구성된 지문을 함께 AI(Gemini 2.5 Flash)에 전달해 초안을 생성합니다.
6. 조건 및 품질 검증(QA) — 아래에서 다룰 이중 검증을 거칩니다.
7. 교사의 최종 편집 및 PDF 출력 — 교사가 검토·수정한 뒤 학생용/교사용 PDF로 출력합니다.
AI 영어 서술형 문제 3대 출제 유형
온유 리본이 지원하는 AI 영어 서술형 문제 유형은 크게 세 가지이며, 각 유형마다 청사진이 통제하는 항목이 다릅니다.
① 조건부 영작형 — 가장 배점이 높고 까다로운 유형입니다. 제시어를 활용해 조건에 맞는 완전한 문장을 영작해야 하며, 청사진이 제시어 개수·순서·형태 변형 허용 여부를 엄격하게 통제합니다.
② 요약문 빈칸 완성형 — 지문의 핵심 요지(Main Idea)를 파악해 요약문 빈칸을 채우는 유형입니다. 지문 근거 없이 그럴듯한 답을 만들어내는 환각이 가장 자주 발생하는 유형이라, 별도의 검증 원칙을 두고 있습니다(자세한 내용은 프롬프트 설계 편에서 다룹니다).
③ 문법 오류 수정형 — 문장 속 문법 오류를 찾아 고치는 유형입니다. 오류 문장을 직접 수정하게 하는 방식과, 여러 후보 문장 중 오류가 있는 것을 고르게 하는 방식(학교에 따라 “밑줄 친 부분 중” 형태로 출제)을 모두 지원하며, 어떤 문법 영역에서 오류를 낼지도 지정할 수 있습니다.
이중 검증(QA) 파이프라인
AI가 만든 초안을 그대로 학생에게 나눠줄 수는 없습니다. 온유 리본은 두 단계로 검증합니다.
1차: 시스템 자동 검사 — 형식 및 필수 필드 검사, 청사진 제약 조건과의 1:1 대조(제시어 개수, 답안 형식, 단어 수 제한, 배점별 채점 포인트 등)를 코드로 확인합니다.
2차: AI 교차 심사 — 별도의 AI를 심사관으로 투입해 지문과의 논리적 근거, 발문·제시어·제약 조건·답안 간 상충 여부, 문항 간 중복 여부, 자연스러운 영어 표현인지를 다시 검토합니다.
두 검증을 통과하지 못한 문제는 자동으로 폐기되고, 실패 사유를 그대로 AI에게 다시 전달해 재생성합니다.
기술 스택
프론트엔드: Next.js, React · 백엔드: Supabase (PostgreSQL, Row Level Security) · AI 모델: Gemini 2.5 Flash(메인), Groq Llama 3.3 70B(비상 대응·품질 비교 시 명시적으로 전환) · 개발 환경: Cursor IDE, Ollama(로컬 실험용)
프론트엔드는 Next.js와 React로 사용자 경험을 담당하고, 사용자별 지문 라이브러리와 생성 이력을 실시간으로 동기화하기 위해 백엔드로 Supabase를 도입했습니다.
AI는 교사를 대체하지 않습니다
AI의 역할은 교사를 대체하는 것이 아니라, 교사의 귀중한 시간을 벌어주는 것입니다. 기출을 맹목적으로 복제하는 대신 규칙만 재사용함으로써, 교사는 매번 새 지문에 맞는 문제를 손으로 다 만드는 대신 학생 개개인의 취약점 분석과 수업의 질을 높이는 데 시간을 쓸 수 있습니다. 결국 AI 영어 서술형 문제를 학교별로 안전하게 자동화하는 핵심은 AI 성능이 아니라, 재사용 가능한 규칙 설계에 있습니다.
다음 편에서는 3대 유형 각각을 더 깊이 들여다보고(5편), 요약문 빈칸 완성형에서 환각을 줄이는 프롬프트 설계(6편), 그리고 이 모든 걸 지속 가능하게 운영하기 위한 데이터 아키텍처와 비용 최적화(7편, 8편, 9편)를 다룹니다.
자주 묻는 질문
Q. 출제 청사진은 학교가 바뀌면 다시 만들어야 하나요?
A. 네. 청사진은 학교(또는 특정 시험)의 출제 스타일에 종속된 데이터이기 때문에, 학교별로 별도로 분석·저장합니다. 한 번 만들어두면 해당 학교의 다음 시험에도 계속 재사용할 수 있습니다.
Q. 새 지문도 저작권 문제에서 자유롭지 않을 텐데, 어떻게 처리하나요?
A. 새로 고른 지문을 그대로 쓰지 않고, 어휘·문장 구조 수준에서 규칙에 따라 다시 쓰는 재구성 과정을 거칩니다. 원문과 동일하거나 지나치게 짧으면, 혹은 없는 내용이 추가되면 시스템이 자동으로 반려합니다.
Q. AI가 만든 문제를 검토 없이 바로 쓸 수 있나요?
A. 권장하지 않습니다. 시스템 검증을 통과해도 최종 책임은 현장 교사에게 있습니다. 학생 수준이나 수업에서 강조한 부분과 맞는지는 AI가 판단할 수 없는 영역입니다.