사내 문서 검색 AI, 전사 폴더보다 '검수가 끝난 묶음'부터

월요일 회의에 세 후보가 올라왔다고 해보겠습니다. 출장 규정은 80개 파일, 계약서 보관함은 450개 파일, 전사 NAS는 수만 개 파일입니다. 가장 큰 폴더를 먼저 고르면 데모 화면은 화려해질 수 있지만, 틀린 답이 나왔을 때 원인을 확인하기는 더 어려워집니다.

문서 검색 AI의 첫 범위는 ‘많은 문서’가 아니라 ‘정답을 아는 문서 묶음’에서 시작합니다.

CS 챗봇·문서 AI의 성숙도 4단계

1. 룰 기반 — 시나리오 설계로 정해진 질문에만 답
2. 검색형 — FAQ 정비로 자주 묻는 질문 검색
3. RAG — 문서 최신화와 검색 품질 관리가 핵심 조건
4. AI 에이전트 — 시스템 연동과 권한 관리가 전제

첫 도입이 RAG(3단계)라면, 준비는 문서부터입니다.

후보를 10점 준비도표로 봅니다

도입 전 점검 네 가지

• 벡터DB 저장 암호화 여부
• 원본 접근권한이 검색 결과에 동일 적용되는지
• 개인정보·기밀정보 마스킹·필터링
• 프롬프트 입력·AI 응답 로그와 이상행위 탐지

‘데이터가 부족해서 못 한다’는 오해가 많지만, 대부분은 데이터 정리 상태가 문제입니다. RAG는 질문을 받을 때 관련 문서를 검색해 답을 보강합니다. 임베딩 → 벡터 검색 → 프롬프트 보강 생성의 3단계가 기본 구조입니다.

14일 판정 기록을 남깁니다

첫 범위를 정한 뒤 2주 동안 다음을 측정합니다.

• 자동 처리율(%) = AI가 초안까지 만든 건수 ÷ 전체 질문 수 × 100
• 에스컬레이션율 = 사람에게 넘어간 비율
• 답변 정확도 = 검수자가 정답으로 판정한 비율

반드시 도입 전 기준선과 비교합니다. 정확도가 좋아도 검색 속도가 느리거나 권한이 뚫리면 실패입니다. ‘환각을 완전히 막는다’는 표현은 쓰지 않습니다. RAG도 오답이 가능하며, 그 오답을 발견하는 검수 설계가 함께 있어야 합니다.

개념 이미지: 파일 수가 아니라 정답 판정자·문서 상태·질문 기록·권한·검수 여력으로 첫 범위를 고릅니다.

오늘 가장 자주 묻는 업무 하나를 골라, 그 문서 묶음에 정답이 있는지 확인해 보세요. Core Company는 그 묶음의 준비도와 검수자를 기준으로 첫 AI 범위를 설계해 드리겠습니다.

문서 AI 도입 시 개인정보·기밀 처리와 법적 기준은 최신 법령과 사내 정책을 확인해야 합니다.