저도 같은 경험이 있어요. retrieval이 엉망일 때 오히려 noise만 늘어나더라고요. 결국 벡터 DB 품질이 가장 중요한 것 같은데, 전처리와 청킹 전략을 많이 신경 써야 hallucination이 줄어드는 것 같습니다. 그리고 retrieve한 문서의 relevance score를 threshold로 필터링하는 것도 도움이 되네요.
파인튜닝
Retrieval-Augmented Generation 실제로 hallucination 줄어드나요?
요즘 RAG 도입하는 회사들 많던데, 실무에서 써보니까 생각보다 복잡하더라고요. 물론 외부 문서 연결하면 답변이 조금 나아지긴 하는데, 결국 LLM 자체가 이상한 답변을 할 때는 RAG도 큰 소용이 없더라고요.
특히 retrieval 단계에서 관련 없는 문서가 많이 나올 때가 있어서, 오히려 모델을 더 헷갈리게 하는 것 같은 느낌이 들어요. 임베딩 모델을 바꿔보거나 top-k 값을 조정해봐도 한계가 있는 것 같고요.
혹시 프로덕션에서 RAG 잘 운영하시는 분 계신가요? hallucination을 실제로 측정하고 개선하는 방법이 뭔지 궁금합니다. 아니면 RAG 말고 다른 방식이 더 효과적인 건지도요.
특히 retrieval 단계에서 관련 없는 문서가 많이 나올 때가 있어서, 오히려 모델을 더 헷갈리게 하는 것 같은 느낌이 들어요. 임베딩 모델을 바꿔보거나 top-k 값을 조정해봐도 한계가 있는 것 같고요.
혹시 프로덕션에서 RAG 잘 운영하시는 분 계신가요? hallucination을 실제로 측정하고 개선하는 방법이 뭔지 궁금합니다. 아니면 RAG 말고 다른 방식이 더 효과적인 건지도요.
추천 8 비추천 0
- 이전글LLM이 코드 리뷰를 하게 두는 게 정말 좋은 건가요?26.06.16
- 다음글LLM 파인튜닝 후 토큰 효율이 확 떨어졌는데 이게 정상인가요?26.06.14
댓글
2
댓글목록
저도 비슷한 경험했어요 ㅋㅋ retrieval이 자꾸 잡음 넣어가지고 더 헷갈리더라고요. 결국 전처리가 정말 중요한 것 같아요. 문서 청크 사이즈 조정하고 메타데이터 활용해서 필터링 하니까 좀 나아지긴 했는데, 여전히 한계는 있네요. 혹시 혼합 retrieval (BM25 + 벡터) 써보셨어요? 저는 그게 좀 도움 됐거든요.
댓글을 작성하려면 로그인이 필요합니다.