ko-sentence-transformers 좋은데 저희도 같은 선택했어요. 근데 retrieval 평가는 저희가 직접 테스트 셋 만들어서 MRR, NDCG 계산하는 식으로 했거든요. 쿼리별로 실제로 맞는 문서가 몇 번째에 나오는지 체크하면서요. 청킹은 겹쳐서 하니까 성능이 나아지긴 했어요.
활용법
최근에 RAG 시스템 구축해본 분들 있나요?
요즘 프로젝트에서 RAG 도입해봤는데 생각보다 까다로운 부분이 많더라고요. 임베딩 모델을 뭘 쓸지, 청킹 전략을 어떻게 할지 정하는 것도 문제고, retrieval 성능이 답변 품질에 직결되니까 튜닝하다 보면 시간이 엄청 걸려요.
특히 임베딩 모델 선택이 중요한데 저희는 한국어 처리 때문에 오픈소스 모델들을 여러 개 테스트해봤습니다. 결국 비용 대비 효과로는 ko-sentence-transformers 정도가 낫더라고요. 상용 API는 비용도 많이 들고요.
혹시 프로덕션 환경에서 RAG 돌리고 계신 분 있으면 어떤 스택 쓰시는지 궁금해요. 특히 retrieval 성능 평가를 어떻게 하시는지요.
특히 임베딩 모델 선택이 중요한데 저희는 한국어 처리 때문에 오픈소스 모델들을 여러 개 테스트해봤습니다. 결국 비용 대비 효과로는 ko-sentence-transformers 정도가 낫더라고요. 상용 API는 비용도 많이 들고요.
혹시 프로덕션 환경에서 RAG 돌리고 계신 분 있으면 어떤 스택 쓰시는지 궁금해요. 특히 retrieval 성능 평가를 어떻게 하시는지요.
추천 7 비추천 0
- 이전글로컬 LLM으로 프라이빗 데이터 처리해보니 생각보다 괜찮네요26.10.16
- 다음글프로덕션 LLM 배포할 때 량자화 꼭 써야 하나요?26.10.14