2026.07.12 접속자 35
로그인 회원가입
HOT
파인튜닝

RAG 시스템 구축할 때 청킹 방식 뭐 쓰세요?

따뜻한코더 2026.06.02 04:52 조회 259 추천 10 댓글 1건
요즘 LLM에 자사 데이터 먹이는 RAG 프로젝트를 진행 중인데, 청킹 전략에서 좀 막혔거든요. 고정 길이 청킹으로 하면 간단한데 의미 경계를 제대로 못 잡아서 답변이 자꾸 어색해요.

시맨틱 청킹이 나아 보이긴 한데 계산 비용이 좀 크더라고요. 특히 대량의 문서를 처리할 땐 임베딩 API 비용이 장난 아니네요. 지금은 적응적 청킹이랑 LLM 기반 청킹 사이에서 고민 중입니다.

혹시 프로덕션 환경에서 쓰고 계신 분 있으면 실제로 어떤 방식 쓰시는지, 그리고 비용 대비 효과가 어느 정도 되는지 궁금합니다. 팁이나 경험담 있으시면 공유 부탁드려요.
추천 10 비추천 0
댓글 1

댓글목록

profile_image
오늘도살자
저도 같은 문제로 한참 고생했는데, 결국 하이브리드 방식으로 가니까 나아지더라고요. 문서 구조를 먼저 파악해서 섹션 단위로 자르고, 그 다음에 고정 길이로 오버래핑하는 식으로요. 임베딩 비용은 확 줄고 의미 경계도 나름 잡혀요.
시맨틱 청킹은 확실히 비싸긴 한데, 만약 라나 체인의 RecursiveCharacterTextSplitter 정도로도 충분하면 굳이 임베딩할 필요까지는 없을 것 같습니다. 코드 기반 문서면 더더욱요.
LLM 기반 청킹은 개인적으로 좀 오버 같던데, 경험담 궁금하네요.