문서 검색 AI를 시험할 질문 20개, 정답만 넣으면 안 됩니다

“이 AI가 실제로 쓸 만한가요?”라는 질문에 가장 확실한 답은 시험지입니다. 하지만 정답을 아는 질문만 넣으면, 실제 업무에서 틀리는 유형을 놓칩니다.

문서 검색 AI 시험지는 실제 질문 + 근거 문서 + 부정 질문의 조합으로 만듭니다.

20문항 구성안

• 실제 질문 10개 — 직원이 실제로 묻는 질문 (단답형·표 조회·다단 레이아웃·줄글 다양화)
• 근거 문서 5개 — 답이 나온 문서까지 역추적할 수 있는 질문
• 부정 질문 5개 — 문서에 답이 없는 질문 (AI가 ‘근거 없음’으로 거절해야 정답)

시험지 작성 순서

1. 실제 질문을 모은다 — 채널·메신저·문의 기록에서
2. 각 질문에 정답 문서를 연결한다
3. 구버전/신버전 답이 다른 질문을 넣는다 — 최신 근거 선택 확인
4. 부서 간 규칙이 다른 질문을 넣는다 — 적용 범위 명시 확인
5. 부정 질문을 넣는다 — 문서에 답이 없을 때의 동작 확인

채점은 2인 판정으로

• 정답·부분 정답·오답 3단계 채점
• 검수자 간 일치율(%) = 같은 판정을 내린 질문 수 ÷ 전체 질문 수 × 100
• 오답 버전 선택 횟수, 출처 미발견 횟수, 사람 재확인 사유 기록

개념 이미지: 질문 유형별로 정답 문서와 채점 기준을 연결한 시험지 설계 도식입니다.

전처리가 채점 결과를 바꿉니다

표가 있는 문서는 전처리에서 자주 실패합니다. 좌우 병렬 표를 기본 파서가 가로로 뒤섞어 읽으면, 옆 표의 답을 확신 있게 오답합니다. 표는 각 값이 어떤 행·열 헤더에 속하는지 연결(직렬화)해야 합니다. 전처리 단계의 작은 오류는 검색·생성으로 갈수록 증폭됩니다.

판정 기준

• 정답률(%) = 정답 수 ÷ 전체 질문 수 × 100
• 부정 질문 거절률 = 문서에 답이 없는 질문에서 거절한 비율
• 원문 확인 클릭 — 답변이 실제 문서와 일치하는가

작은 표본(3문서·5질의) 실험 수치는 데모 수준입니다. 실제 판정은 업무 문서로 만든 도메인 평가셋으로 해야 합니다. 오늘 직원들이 가장 자주 묻는 질문 5개를 모아 보세요. Core Company는 그 질문으로 20문항 시험지와 2인 판정 기준을 설계해 드리겠습니다.

평가 질문에 개인정보·기밀 질문이 포함될 경우 접근 범위와 보관을 최신 법령 기준으로 확인해야 합니다.