최근에 간단한 RAG 시스템 만들다가 벡터 DB에서 가져온 문서를 그냥 통째로 프롬프트에 때려박고 있었거든요. 그럼 당연히 토큰이 엄청 나가는데 비용이 자꾸만 늘어나더라고요.
그래서 검색된 문서들을 구간 단위로 쪼개고, 관련도 점수로 필터링한 다음에 상위 3개 청크만 넣도록 바꿨어요. 동일한 쿼리 테스트로 토큰 사용량이 거의 40% 줄었습니다. 응답 품질도 생각보다 크게 떨어지지 않더라고요.
혹시 비슷하게 고민하고 계신 분들이 있으면 참고가 될까 해서요. 물론 데이터셋마다 최적의 청크 크기랑 필터링 기준이 다르겠지만, 실험해볼 가치는 충분한 것 같습니다.
추천 0 비추천 0