틀린 답변 한 건이 고쳐지는 티켓 흐름 — 오답 피드백 루프

직원이 “출장비 정산 기준이 뭐예요?”라고 물었는데 AI가 엉뚱한 문서를 근거로 답했습니다. 이 오답 한 건을 고치려면, ‘틀렸다’는 사실만 남기면 안 됩니다. 어느 단계에서 틀렸는지를 구분해야 다음부터 안 틀립니다.

오답을 다섯 유형으로 분류합니다

1. 문서 오류 — 원본 문서 자체가 틀렸거나 오래됨
2. 검색 오류 — 관련 없는 문서를 찾아옴
3. 생성 오류 — 문서는 맞는데 해석·요약이 틀림
4. 질문 오류 — 질문이 모호해서 오답 유도
5. 출처 부정확 — 인용한 문서에 답이 없음

유형별 담당자 배정

피드백이 돌아오는 루프를 만듭니다

피드백이 다음 사이클로 되돌아가지 않는 구조는 루프가 아니라 파이프라인입니다. 개선이 반복되려면 종료 신호를 정의해야 합니다. 문서 검색 AI의 종료 신호는 테스트·평가·오답 라벨입니다. 신호가 배선되지 않으면 루프는 수렴하지 않고 그냥 돕니다.

개념 이미지: 오답 접수 → 유형 분류 → 담당자 배정 → 수정 → 재시험 → 재발 방지로 이어지는 티켓 흐름입니다.

티켓 흐름

1. 오답 접수 — 사용자 신고·검수·로그에서
2. 유형 분류 — 다섯 유형 중 하나로 라벨링
3. 담당자 배정 — 유형별 담당
4. 수정 — 문서·색인·프롬프트 중 해당 부분
5. 재시험 — 시험지에 오답 사례 추가 후 재채점
6. 재발 방지 — 실패 사례를 테스트 세트에 영구 등록

검수 절차 원칙

• AI가 인용한 원문·링크를 직접 확인
• 미확인 시 ‘미검증’ 표기
• 사실 오류 / 맥락 오독 / 논리 비약 / 출처 부정확 / 편향 순으로 검토

한 달 점검 지표

• 유형별 오답 수
• 수정 소요시간 = 접수부터 수정까지
• 재시험 통과율(%) = 재시험에서 통과한 질문 수 ÷ 전체 재시험 수 × 100
• 재발 건수 — 같은 오답이 다시 나온 횟수

오늘 나온 오답 한 건을 ‘어느 단계의 오류’인지 분류해 보세요. Core Company는 유형 분류표와 티켓 흐름, 재시험 기준을 함께 설계해 드리겠습니다.