저도 비슷한 고민했는데 결국 BGE-small-ko로 갈아탔어요. 한글 처리가 확실히 낫더라고요. 비용도 1/10 수준으로 떨어져서 만족합니다. 벡터DB는 Milvus로 옮겼는데 쿼리 속도는 큰 차이 없고 운영 비용이 훨씬 싸네요. 규모가 크면 차이가 나겠지만요.
오류해결
RAG 구현할 때 임베딩 모델 선택 기준이 뭔가요?
회사에서 RAG 시스템 구축하려고 하는데 임베딩 모델을 뭘 써야 할지 고민이 생겼네요. 지금까지는 OpenAI의 text-embedding-3-small 썼는데 비용이 자꾸 올라가더라고요.
오픈소스 모델로 갈아탈 생각도 있는데 BAAI나 Upstage 모델들이 평가는 좋던데 실제로 프로덕션 환경에서 쓰시는 분들은 어떤 경험이 있으세요? 특히 한글 처리 성능이 중요한데 한국 데이터셋에 대한 성능 정보도 알려주시면 감사하겠습니다.
벡터DB도 Pinecone 썼는데 Milvus나 Qdrant로 옮기면 성능 차이 있는지도 궁금해요.
오픈소스 모델로 갈아탈 생각도 있는데 BAAI나 Upstage 모델들이 평가는 좋던데 실제로 프로덕션 환경에서 쓰시는 분들은 어떤 경험이 있으세요? 특히 한글 처리 성능이 중요한데 한국 데이터셋에 대한 성능 정보도 알려주시면 감사하겠습니다.
벡터DB도 Pinecone 썼는데 Milvus나 Qdrant로 옮기면 성능 차이 있는지도 궁금해요.
추천 8 비추천 0
- 이전글로컬 LLM 파인튜닝할 때 토크나이저 커스텀이 필요한가요?26.08.18
- 다음글LLM 파인튜닝할 때 LoRA vs Full 파인튜닝 뭐가 나으세요?26.08.10