긴 문서를 통째로 넣으면 특정 단락을 찾지 못합니다 — 청킹 기준

50쪽짜리 사내 규정을 통째로 임베딩하면, 문서 하나가 벡터 하나로 압축되어 ‘3장 휴가 규정’ 같은 특정 단락을 찾을 수 없습니다. 문서를 의미 단위로 나누는 청킹은 검색 품질의 출발점입니다.

토큰 한계가 청킹을 시작하게 했지만, 지금의 이유는 검색 정밀도·모델 집중력·비용·노이즈 감소입니다. 관련 문서가 긴 컨텍스트 중간에 있으면 모델 정확도가 크게 떨어진다는 연구 결과도 있습니다(Lost in the Middle).

기본 설정에서 시작합니다

• 재귀적 문자 분할 — 단락 → 행 → 문장 → 단어 순서로 분할자 계층
• 크기 — 512토큰 + 10% 오버랩에서 시작
• 섹션 보존 — 마크다운 헤더(## 등)를 분할자 앞에 두어 구조 유지
• 임베딩 모델 한도 확인 — 컨텍스트 한도를 초과하면 조용히 잘림

이 값은 절대 기준이 아니라 출발점입니다. 자체 평가 세트로 조정해야 합니다.

개념 이미지: 페이지 번호가 아니라 제목·절·표를 보존한 의미 단위로 문서를 나누는 기준입니다.

분할 방식의 트레이드오프

• 고정 크기 — 기준선·통제군으로 유용
• 재귀 분할 — 실전 기본
• 의미적 청킹 — 주제 변화 지점에서 분할
• LLM 분할 — 재현율은 높지만 비용이 크고 정확도는 낮을 수 있음

분할기를 바꾸는 것보다 청크를 풍부하게(맥락 보강) → 하이브리드 검색(BM25+벡터) → 재순위 순으로 개선하는 것이 효과적이라는 실무 결과가 있습니다.

평가로 조정합니다

• 경계 질문 정답률(%) — 분할 경계에 걸친 질문에 올바르게 답하는 비율
• 관련 조각 순위 — 관련 문서가 상위에 오는가
• 잘린 문장 수 — 문장이 중간에 끊긴 조각
• 조각 길이 분포

청킹 수치는 영어 코퍼스 실험 기반이 많습니다. 한국어 문서·온프레미스 환경에서는 자체 문서로 평가 세트를 만들어 측정해야 합니다. ‘RAG 품질의 절반이 청킹’이라는 말이 있지만, 전처리·권한·문서 품질이 함께 좌우합니다.

오늘 가장 자주 검색되는 규정 하나를 3가지 크기로 나눠 비교해 보세요. Core Company는 자체 평가 세트로 청킹 기준을 측정하고 조정해 드리겠습니다.