저도 Chroma에서 Qdrant로 넘어갔는데 확실히 달라요 ㅎㅎ
API연동
RAG 구현하면서 느낀 점 - 벡터 DB 선택이 생각보다 중요하네요
최근에 LLM 기반 QA 시스템 만들면서 RAG를 제대로 구현해봤는데, 벡터 DB 선택이 정말 중요하더라고요. 처음엔 Pinecone으로 시작했는데 비용이 생각보다 많이 들어서 결국 Chroma로 바꿨습니다. 로컬에서도 충분히 동작하고 임베딩 결과도 나쁘지 않더라고요.
다만 대량의 문서를 처리할 때 쿼리 레이턴시가 좀 늘어나는 게 보이긴 했어요. 데이터가 많아질수록 Qdrant 같은 다른 솔루션도 검토해야겠다는 생각이 듭니다. 혹시 프로덕션 환경에서 RAG 운영해보신 분 계신가요? 어떤 벡터 DB 사용하시는지 궁금합니다.
다만 대량의 문서를 처리할 때 쿼리 레이턴시가 좀 늘어나는 게 보이긴 했어요. 데이터가 많아질수록 Qdrant 같은 다른 솔루션도 검토해야겠다는 생각이 듭니다. 혹시 프로덕션 환경에서 RAG 운영해보신 분 계신가요? 어떤 벡터 DB 사용하시는지 궁금합니다.
추천 14 비추천 0
- 이전글프롬프트 엔지니어링 너무 어렵지 않나요?26.05.09
- 다음글요즘 LLM 파인튜닝 어떻게 하시는데요?26.05.07
댓글
2
댓글목록
Chroma 좋은 선택이네요. 저도 비슷한 상황이었는데 Pinecone 비용이 정말 무섭더라고요 ㅎㅎ 다만 데이터 커질수록 인덱싱 성능 차이가 확 느껴지더라고요. Qdrant는 제가 안 써봤는데 평가가 좋던데, Milvus도 한번 보시면 좋을 것 같습니다. 프로덕션에서는 대부분 인덱싱 최적화가 핵심이었어요.
댓글을 작성하려면 로그인이 필요합니다.