RAG가 오답을 말하는 건 모델 때문이 아니라 문서부터입니다

“올해 남은 연차를 이월할 수 있나요?”라는 질문에 AI가 오전에는 가능, 오후에는 불가라고 답했습니다. 검색 결과를 열어 보니 2024년 규정, 2025년 개정 초안, 현재 확정본이 서로 다른 파일명으로 함께 들어 있었습니다.

RAG는 검색 실패보다 문서 충돌이 먼저 나타납니다. 모델을 바꾸기 전에 문서부터 정리해야 하는 이유입니다.

RAG 전 문서 정리 6가지 기준

1. 정본 표시 — 같은 주제 파일이 여러 개면 ‘현재 기준(공식 기준)‘을 표시하고 참고자료와 등급을 분리
2. 적용일자 기록 — 작성일이 아니라 실제 적용일을 기재하고, 대체된 문서에는 ‘대체됨’과 새 경로 표시
3. 담당자 명시 — 내용 관리 담당자와 적용 대상(전 직원·부서·사업) 구분
4. 공개 문서 분리 — 개인정보·인사·계약·비공개 회의자료를 공개 문서와 분리
5. 파일명 정비 — ‘최종본’·‘회의자료’ 같은 이름 대신 주제·결론이 드러나는 이름
6. 모르는 질문 기록 — 근거가 없거나 담당자 확인이 필요한 질문을 미리 문서에 남김 (AI가 멈춰야 할 조건)

파일명·폴더 규칙의 실무

• 프로젝트명_문서종류_날짜_버전 형식
• 대주제 → 소주제 폴더 구조, 깊이 3~4단계 제한
• 공유 폴더 전체에 동일 규칙 적용

개념 이미지: 중복 문서, 만료 문서, 소유자 없는 문서, 버전 규칙을 순서대로 정리하는 작업서입니다.

테스트 질문은 세 종류를 함께

• 구버전과 신버전 답이 다른 질문 → 최신 근거를 고르는가
• 부서 간 규칙이 다른 질문 → 적용 범위를 명시하는가
• 문서에 답이 없는 질문 → 담당자 확인으로 회부하는가

출처가 있다는 사실과, 그 출처를 지금 적용해도 된다는 판단은 다릅니다. 좋은 테스트는 정답뿐 아니라 그 답이 나온 문서까지 되돌아갈 수 있어야 합니다.

정리 전후를 측정합니다

• 정답률(%) = 올바른 정본을 찾은 답변 수 ÷ 전체 질문 수 × 100
• 잘못된 버전을 고른 횟수
• 출처를 찾지 못한 횟수
• 사람이 다시 확인한 이유

정리 후에도 ‘거창한 지식관리 체계’를 만들 필요는 없습니다. 많이 묻는 업무 하나의 문서 묶음부터 정본을 표시해 보세요. Core Company는 그 묶음을 기준으로 정리 규칙과 테스트 질문을 함께 설계해 드리겠습니다.

인사·계약·개인정보 문서의 접근과 보존은 최신 법령과 사내 정책을 확인해야 합니다.