2026.11.15 접속자 227명
로그인 회원가입
HOT
[프롬프트] 업무 보고서 쓸 때 프롬프트 이렇게 하니까 시간 반으로 줄었어요 [기술 Q&A] 트랜스포머 모델 fine-tuning할 때 learning rate 어떻게 정하시나요? [AI뉴스] 요즘 딥러닝 논문들 보니까 진짜 달라지고 있네요 [기술 Q&A] LLM 프롬프트 엔지니어링 진짜 필요한 건가요? [프롬프트] AI한테 코드 리뷰 받는 프롬프트 어떻게 짜세요? [AI뉴스] 2026년 글로벌 AI 규제 본격화, 한국 기업도 준비하라는 신호 나왔네요 [프롬프트] 데이터 분석 프롬프트 이거 써봤는데 진짜 쓸만하네요 [자유게시판] 직장 다닐 때 점심시간에 뭐하세요? [프롬프트] 프롬프트 작성할 때 컨텍스트 먼저 주는 거 vs 마지막에 주는 거 [AI뉴스] 요즘 딥러닝 논문 트렌드 정리해봤는데 흥미로운데요 [프롬프트] 업무 보고서 쓸 때 프롬프트 이렇게 하니까 시간 반으로 줄었어요 [기술 Q&A] 트랜스포머 모델 fine-tuning할 때 learning rate 어떻게 정하시나요? [AI뉴스] 요즘 딥러닝 논문들 보니까 진짜 달라지고 있네요 [기술 Q&A] LLM 프롬프트 엔지니어링 진짜 필요한 건가요? [프롬프트] AI한테 코드 리뷰 받는 프롬프트 어떻게 짜세요? [AI뉴스] 2026년 글로벌 AI 규제 본격화, 한국 기업도 준비하라는 신호 나왔네요 [프롬프트] 데이터 분석 프롬프트 이거 써봤는데 진짜 쓸만하네요 [자유게시판] 직장 다닐 때 점심시간에 뭐하세요? [프롬프트] 프롬프트 작성할 때 컨텍스트 먼저 주는 거 vs 마지막에 주는 거 [AI뉴스] 요즘 딥러닝 논문 트렌드 정리해봤는데 흥미로운데요
활용법

RAG 구현하다가 토큰 낭비 심해서 최적화한 방법 공유해요

AI새싹 2026.11.15 05:56 조회 2 추천 0 댓글 0건
최근에 간단한 RAG 시스템 만들다가 벡터 DB에서 가져온 문서를 그냥 통째로 프롬프트에 때려박고 있었거든요. 그럼 당연히 토큰이 엄청 나가는데 비용이 자꾸만 늘어나더라고요.

그래서 검색된 문서들을 구간 단위로 쪼개고, 관련도 점수로 필터링한 다음에 상위 3개 청크만 넣도록 바꿨어요. 동일한 쿼리 테스트로 토큰 사용량이 거의 40% 줄었습니다. 응답 품질도 생각보다 크게 떨어지지 않더라고요.

혹시 비슷하게 고민하고 계신 분들이 있으면 참고가 될까 해서요. 물론 데이터셋마다 최적의 청크 크기랑 필터링 기준이 다르겠지만, 실험해볼 가치는 충분한 것 같습니다.
추천 0 비추천 0
댓글 0

댓글목록

아직 댓글이 없습니다. 첫 댓글을 남겨보세요!