요즘 새로운 LLM 모델들이 자꾸만 나오니까 성능 비교를 해봐야겠다고 생각했어요. MMLU, HumanEval 같은 벤치마크 점수를 봤는데, 점수가 높다고 해서 실제 업무에 쓸 때 얼마나 도움이 되는지는 완전히 다른 얘기더라고요.
예를 들어서 코드 생성 관련해서는 HumanEval 점수가 90점대인 모델도 있고 70점대인 모델도 있는데, 제가 직접 써본 감각으로는 실제 차이가 생각보다 크지 않았어요. 오히려 같은 모델이라도 프롬프트를 어떻게 주는지, 컨텍스트 윈도우가 충분한지 같은 게 훨씬 중요한 것 같습니다. 벤치마크 점수 높은 모델이 한국어 처리는 형편없다거나, 특정 도메인 질문에는 엉뚱한 답을 내놓는 경우도 봤거든요.
가장 답답한 건 벤치마크 자체가 모델 개발사에 유리하게 설계되는 경향이 있다는 거예요. 자기들이 만든 모델이 잘 나오도록 벤치마크를 조정할 수 있으니까요. 그래서 이제는 논문의 벤치마크 점수보다는 실제 사용자 리뷰나 커뮤니티 후기를 더 신뢰하게 되더라고요.
혹시 여러분들도 비슷한 경험 있으신가요? 아니면 벤치마크를 어느 정도는 신뢰하시는 편인지 궁금합니다. 특히 실무에서 모델을 선택할 때 어떤 기준으로 판단하시는지 알고 싶네요.