요즘 RAG 구현하면서 문서 청킹을 어떻게 나눌지 계속 고민이 되네요. 지금은 그냥 고정된 토큰 수로 나누고 있는데 겹치는 부분이 생겨서 중복 응답이 많이 나오더라고요.
혹시 가변 길이 청킹이나 의미 기반 청킹 같은 걸 실제로 써보신 분 계신가요? 성능 차이가 체감될 정도로 나는지 궁금합니다. 특히 기술 문서나 긴 콘텐츠 처리할 때요.
그리고 메타데이터는 어떻게 붙이고 계신지도 알고 싶어요. 청킹할 때마다 일일이 수동으로 넣는 건 너무 번거로워서 자동화 방법이 있을지 몰라서요.
추천 6 비추천 0