[온유 리본 8편]AI 문항 생성 비용 최적화: Gemini 우선·Groq Fallback으로 안정성 높이기

1인 개발 환경에서 지속 가능한 AI 문항 생성 비용 최적화를 달성하려면 단일 고비용 모델에 전적으로 의존하는 구조를 탈피해야 합니다. 온유 리본은 뛰어난 구조화 및 가성비를 갖춘 Gemini 2.5 Flash를 기본 생성 모델로 사용하고, 일시적 장애나 속도 제한(Rate Limit) 발생 시 Groq의 Llama 3.3 70B로 자동 전환되는 대체 경로(Fallback)를 구축했습니다. 여기에 withRetry 재시도 로직과 Zod 스키마 검증, 품질 심사를 결합하여 AI 문항 생성 비용 최적화와 서비스 가용성을 동시에 확보한 실전 아키텍처를 소개합니다.

1. 1인 개발 환경에서 AI 문항 생성 비용 최적화가 필수적인 이유

고등학교 영어 내신 서술형 문항은 단순 텍스트 생성과 달리 지문의 논리적 흐름, 단어 수 제한, 어형 변화, 금지 문법 등 엄격한 구조적 제약 조건을 준수해야 합니다. 앞선 온유 리본 6편: 서술형 환각 제어 프롬프트 엔지니어링에서 다룬 것처럼 이러한 제약 조건을 안정적으로 다루기 위해서는 높은 수준의 추론 능력이 필요합니다.

하지만 복잡도 때문에 많은 개발 초기 프로젝트가 플래그십 모델 단일 호출에 의존하곤 합니다. 1인 개발 환경에서 서비스를 운영할 때 체계적인 AI 문항 생성 비용 최적화가 이루어지지 않으면 다음과 같은 실질적 병목을 발생시킵니다.

단일 플래그십 의존 시 마주하는 3가지 현실적 한계

• 지속 불가능한 API 비용: 문항 초안 작성뿐 아니라 사소한 검증이나 재시도까지 고가 모델로만 처리할 경우 토큰 비용이 빠르게 누적됩니다.
• 단일 장애점(SPOF) 발생: 공급사의 API 서버 장애나 분당 요청 한도(TPM/RPM) 초과 시 서비스 전체가 멈추게 됩니다.
• 응답 지연에 따른 UX 저하: 대형 모델의 긴 응답 시간은 시험지를 빠르게 검토하고 인쇄해야 하는 교사의 작업 효율을 떨어뜨립니다.

따라서 진정한 AI 문항 생성 비용 최적화의 핵심은 단순히 모델을 저렴한 것으로 바꾸는 것이 아니라, 합리적인 단가의 모델을 1차로 사용하되 장애 시 즉각 전환할 수 있는 이중화 안전망을 갖추는 것입니다.

2. AI 문항 생성 비용 최적화를 위한 모델 선정: Gemini 2.5 Flash와 Groq Llama 3.3 70B

온유 리본은 다각도의 테스트를 거쳐 AI 문항 생성 비용 최적화를 위한 기본 생성 모델로 Gemini 2.5 Flash를, 대체(Fallback) 모델로 Groq의 Llama 3.3 70B를 채택했습니다.

1. 주력 모델: Google Gemini 2.5 Flash

Gemini 2.5 Flash는 이전 세대 대비 추론 속도와 한국어 이해도가 크게 개선된 모델입니다. 무엇보다 복잡한 지문 제약 조건 속에서도 JSON Schema에 맞춘 정형 데이터(Structured Output)를 매우 안정적으로 출력하여 1차 AI 문항 생성 비용 최적화의 든든한 기반이 됩니다. 자세한 모델 사양은 Google Gemini API 공식 문서에서 확인할 수 있습니다.

2. 대체 모델: Groq Llama 3.3 70B

Groq의 LPU(Language Processing Unit) 환경에서 서빙되는 오픈소스 Llama 3.3 70B는 극도로 빠른 추론 속도를 자랑합니다. Gemini API에 일시적인 장애가 발생하거나 Rate Limit에 걸렸을 때, 대기 시간 없이 즉시 요청을 이어받아 AI 문항 생성 비용 최적화 파이프라인의 가용성을 유지합니다. 관련 인프라 구조는 GroqCloud 공식 모델 문서에 상세히 설명되어 있습니다.

3. AI 문항 생성 비용 최적화를 실현하는 Gemini 우선 & Groq Fallback 파이프라인

온유 리본의 AI 문항 생성 비용 최적화 요청은 다음과 같은 견고한 복원력(Resilience) 흐름을 따라 처리됩니다.

[ 교사의 문항 생성 요청 (지문 + 출제 청사진) ]
                        │
                        ▼
      ┌────────────────────────────────────┐
      │  1차 시도: Gemini 2.5 Flash 호출   │
      │  (withRetry: 최대 2회 지수 백오프) │
      └─────────────────┬──────────────────┘
                        │
         ┌──────────────┴──────────────┐
       [ 성공 ]                      [ 실패 ] (Timeout / RateLimit / Parsing Error)
         │                             │
         │                             ▼
         │            ┌────────────────────────────────────┐
         │            │  2차 우회: Groq Llama 3.3 70B 호출 │
         │            │  (대체 시스템 프롬프트 주입)       │
         │            └─────────────────┬──────────────────┘
         │                              │
         └──────────────┬───────────────┘
                        │
                        ▼
      ┌────────────────────────────────────┐
      │  Zod 런타임 스키마 무결성 검증     │
      │  (필수 키, 빈칸 개수, 단어 수 체크)│
      └─────────────────┬──────────────────┘
                        │
                        ▼
      ┌────────────────────────────────────┐
      │  Gemini 품질 심사 (Quality Audit)  │
      │  (원문 왜곡 여부, 정답 수렴성 판정)│
      └─────────────────┬──────────────────┘
                        │
                        ▼
      [ DB 이력 저장 & 교사 검토 화면(UI) 출력 ]

이와 같은 2단계 우회 구조는 일시적 오류 시 무의미한 고비용 재호출을 방지하여 실질적인 AI 문항 생성 비용 최적화에 기여합니다.

4. AI 문항 생성 비용 최적화 실전 코드: withRetry와 Zod 스키마 검증

실제 온유 리본 백엔드에서 AI 문항 생성 비용 최적화를 위해 구현한 핵심 축약 코드입니다. 타입 안전성과 런타임 검증을 위해 Zod 공식 라이브러리를 활용해 엄격한 스키마를 강제합니다.

// lib/ai/generate-with-fallback.ts
import { GoogleGenerativeAI } from '@google/generative-ai';
import Groq from 'groq-sdk';
import { z } from 'zod';

// 문항 출력 스키마 정의
export const QuestionOutputSchema = z.object({
  passageTitle: z.string(),
  questionText: z.string(),
  blanks: z.array(z.object({
    label: z.string(), // "(A)", "(B)"
    correctAnswer: z.string(),
    requiredForm: z.string().optional(),
  })),
  fullSummary: z.string(),
  explanation: z.string(),
});

export type QuestionOutput = z.infer<typeof QuestionOutputSchema>;

// 지수 백오프 재시도 헬퍼
async function withRetry<T>(fn: () => Promise<T>, retries = 2, delay = 1000): Promise<T> {
  try {
    return await fn();
  } catch (error) {
    if (retries <= 0) throw error;
    await new Promise((res) => setTimeout(res, delay));
    return withRetry(fn, retries - 1, delay * 2);
  }
}

export class QuestionGenerationEngine {
  private gemini: GoogleGenerativeAI;
  private groq: Groq;

  constructor() {
    this.gemini = new GoogleGenerativeAI(process.env.GEMINI_API_KEY!);
    this.groq = new Groq({ apiKey: process.env.GROQ_API_KEY! });
  }

  async generateQuestion(passage: string, blueprintConstraints: string): Promise<QuestionOutput> {
    const prompt = `지문:\n${passage}\n\n조건:\n${blueprintConstraints}`;

    // 1차 시도: Gemini 2.5 Flash
    try {
      return await withRetry(async () => {
        const model = this.gemini.getGenerativeModel({
          model: 'gemini-2.5-flash',
          generationConfig: { responseMimeType: 'application/json' },
          systemInstruction: '너는 고등학교 영어 내신 출제 위원이다. 반드시 제공된 JSON 스키마를 준수하라.',
        });

        const result = await model.generateContent(prompt);
        const parsed = JSON.parse(result.response.text());
        return QuestionOutputSchema.parse(parsed);
      }, 2, 1000);
    } catch (geminiError) {
      console.warn('⚠️ Gemini 호출 실패 또는 스키마 불일치. Groq Fallback으로 전환합니다:', geminiError);

      // 2차 대체 시도: Groq Llama 3.3 70B
      return await withRetry(async () => {
        const completion = await this.groq.chat.completions.create({
          model: 'llama-3.3-70b-versatile',
          messages: [
            { role: 'system', content: 'JSON 포맷으로만 응답하라. 지문과 조건을 엄격히 반영하라.' },
            { role: 'user', content: prompt }
          ],
          response_format: { type: 'json_object' },
          temperature: 0.1,
        });

        const rawContent = completion.choices[0].message.content || '{}';
        const parsed = JSON.parse(rawContent);
        return QuestionOutputSchema.parse(parsed);
      }, 2, 800);
    }
  }
}

이 코드는 지수 백오프와 모델 우회를 결합하여 고가의 모델을 맹목적으로 재호출하는 낭비를 줄이고, AI 문항 생성 비용 최적화를 코드 레벨에서 직접 보장합니다.

5. AI 문항 생성 비용 최적화와 품질 게이트를 통한 데이터 무결성 유지

대체 경로를 두었을 때 가장 우려되는 점은 “백업 모델이 생성한 문항의 품질이 기준치에 미치지 못하면 어쩌지?”라는 의문입니다. 온유 리본은 AI 문항 생성 비용 최적화 상태에서도 품질이 저하되지 않도록 **2중 안전장치**를 운영합니다.

1. Zod를 통한 구조적 무결성 강제

어떤 모델이 응답했든 Zod 스키마를 통해 빈칸 레이블의 개수, 모범 답안의 존재 여부, 필수 필드의 누락 여부를 런타임에 즉시 검사합니다. 구조가 깨진 응답은 DB에 도달하기 전에 즉시 재시도 대상이 되므로 안정적인 AI 문항 생성 비용 최적화가 가능합니다.

2. Gemini 기반 품질 심사(Quality Audit)

생성된 문항은 가벼운 검증 프롬프트를 통해 원문 지문과 대조됩니다. “정답이 지문 내용과 모순되지 않는가?”, “조건에서 제시한 글자 수 범위를 지켰는가?”를 평가하여 교사가 화면에서 검토할 때 유용한 검증 배지(Badge)와 함께 제공됩니다.

6. 단일 모델 의존 vs AI 문항 생성 비용 최적화 아키텍처 비교 요약

단일 모델 의존 방식과 온유 리본의 AI 문항 생성 비용 최적화 아키텍처를 실무 관점에서 비교하면 다음과 같습니다.

이 비교표는 서비스 안정성을 훼손하지 않으면서도 1인 개발 환경에서 현실적인 AI 문항 생성 비용 최적화를 이뤄내는 방법을 잘 보여줍니다.

7. 자주 묻는 질문 (FAQ)