회사에서 문서 기반 QA 챗봇을 만들고 있는데 RAG 구축할 때 청킹 크기 때문에 고민이 생겼어요. 지금은 그냥 1000 토큰 기준으로 나누고 있는데 검색 결과가 너무 길거나 때론 컨텍스트가 끊겨서 답변 품질이 떨어지는 것 같습니다.
다른 분들은 보통 어느 정도 크기로 청킹하세요? 겹침(overlap) 비율도 어떻게 설정하시는지 궁금해요. 혹시 문서 타입별로 다르게 가져가는 분 있으신가요? 기술 문서랑 일반 텍스트를 같은 기준으로 처리하는 게 맞는지도 모르겠네요.
레이턴시도 고려해야 되고 검색 정확도도 챙겨야 되고 하니까 균형점을 찾기가 어렵습니다. 실무에서는 보통 어떻게 하시는지 팁 있으면 공유해주세요.
추천 6 비추천 0