저도 비슷한 고민 했는데 결국 BGE-M3 같은 오픈소스로 가는 게 맞더라고요. OpenAI는 비용도 그렇고 매번 API 호출해야 하니까 응답속도도 딸려요.
우리 회사는 임베딩 모델을 온프레미스에 띄워놨는데 초반 세팅만 힘들고 나면 훨씬 편해요. 특히 벡터 DB 성능도 직접 튜닝할 수 있으니까.
다만 모델 선택할 땐 당신 데이터셋으로 직접 테스트해보는 게 중요해요. 벤치마크 점수랑 실제 검색 성능은 다르거든요. 한국어 처리도 모델마다 차이 있으니 꼭 해봐야 돼요.
우리 회사는 임베딩 모델을 온프레미스에 띄워놨는데 초반 세팅만 힘들고 나면 훨씬 편해요. 특히 벡터 DB 성능도 직접 튜닝할 수 있으니까.
다만 모델 선택할 땐 당신 데이터셋으로 직접 테스트해보는 게 중요해요. 벤치마크 점수랑 실제 검색 성능은 다르거든요. 한국어 처리도 모델마다 차이 있으니 꼭 해봐야 돼요.