저도 비슷한 상황이었는데 결국 하이브리드로 가는 게 정답인 것 같더라고요. 간단한 질문은 Llama 2 같은 가벼운 모델로 처리하고, 복잡한 건 GPT-4나 Claude로 라우팅하는 식으로요. 초반에 프롬프트 엔지니어링으로 충분히 테스트해보시고, 성능이 부족하면 그때 파인튜닝 생각하는 게 비용 효율적일 것 같습니다.
LLM 모델 선택 기준이 뭔가요? 용도별로 어떤 걸 써야 하는지...
최근에 회사에서 AI 챗봇 프로젝트를 맡게 됐는데, 모델 선택하는 게 진짜 헷갈리네요. GPT-4, Claude, Gemini, Llama 등등 너무 많고 각각의 장단점이 뭔지 잘 모르겠어요. 혹시 어떤 기준으로 선택하는 게 맞는지 조언해주실 분 계신가요?
저희 프로젝트는 고객 상담용 챗봇이라서 정확도도 중요하지만 응답 속도도 꽤 중요한 상황입니다. API 비용도 당연히 고려해야 하고요. 지금 회사에서는 비용 절감을 원하다 보니까 가능하면 오픈소스 모델 쓰는 걸 선호하는데, 오픈소스로도 충분할까 싶기도 해요. 성능 면에서 타협이 많이 필요한 건 아닐까 우려되거든요.
요즘 업계에서는 주로 어떤 조합을 많이 쓰는지 궁금해요. 예를 들어 상담 초반엔 가벼운 모델 쓰다가 복잡한 질문 나오면 더 큰 모델로 라우팅하는 식의 방식도 있다고 들었는데, 실제로 그렇게 하시는 분들 계신가요?
그리고 하나 더 질문하자면, 미세조정(fine-tuning)을 고려해야 하는 상황과 그냥 프롬프트 엔지니어링으로 충분한 상황의 차이가 뭔지도 궁금합니다. 저희 데이터가 그렇게 많지는 않은데 굳이 미세조정까지 해야 하는 건지 잘 모르겠어요.
경험상 이런 상황에서 뭘 추천해주실 수 있을까요? 아니면 비슷한 프로젝트 경험하신 분들의 후기도 듣고 싶습니다.
저희 프로젝트는 고객 상담용 챗봇이라서 정확도도 중요하지만 응답 속도도 꽤 중요한 상황입니다. API 비용도 당연히 고려해야 하고요. 지금 회사에서는 비용 절감을 원하다 보니까 가능하면 오픈소스 모델 쓰는 걸 선호하는데, 오픈소스로도 충분할까 싶기도 해요. 성능 면에서 타협이 많이 필요한 건 아닐까 우려되거든요.
요즘 업계에서는 주로 어떤 조합을 많이 쓰는지 궁금해요. 예를 들어 상담 초반엔 가벼운 모델 쓰다가 복잡한 질문 나오면 더 큰 모델로 라우팅하는 식의 방식도 있다고 들었는데, 실제로 그렇게 하시는 분들 계신가요?
그리고 하나 더 질문하자면, 미세조정(fine-tuning)을 고려해야 하는 상황과 그냥 프롬프트 엔지니어링으로 충분한 상황의 차이가 뭔지도 궁금합니다. 저희 데이터가 그렇게 많지는 않은데 굳이 미세조정까지 해야 하는 건지 잘 모르겠어요.
경험상 이런 상황에서 뭘 추천해주실 수 있을까요? 아니면 비슷한 프로젝트 경험하신 분들의 후기도 듣고 싶습니다.
추천 10
- 이전글ChatGPT랑 Claude 뭐가 더 나은가요? 업무용으로 쓰려고 하는데26.05.04
- 다음글챗GPT 처음 써봤는데 이게 맞게 쓰는 건가요?26.05.03
댓글
3
댓글목록
저는 비슷한 상황에서 Claude 쓰다가 비용 때문에 Llama2로 바꿨는데, 상담 초반엔 Llama로 시작해서 복잡도 판단 후 Claude로 라우팅하는 방식으로 가니까 괜찮더라고요. 미세조정보다는 프롬프트 튜닝으로 먼저 가보시고 성능이 안 나오면 그때 생각해도 늦지 않을 것 같습니다.
저희도 비슷한 상황인데 결국 하이브리드 방식으로 가더라고요. 상담 초반엔 Llama 2 같은 가벼운 모델로 분류하고, 복잡한 건 Claude로 라우팅하는 식으로요. 비용도 30% 정도 절감됐고 응답 속도도 괜찮습니다.
프롬프트 엔지니어링만으로도 꽤 커버 가능한데, 만약 도메인 특화된 표현이 많으면 그때 파인튜닝 고려해보세요. 초기엔 프롬프트로 시작하는 게 정답인 것 같아요.
프롬프트 엔지니어링만으로도 꽤 커버 가능한데, 만약 도메인 특화된 표현이 많으면 그때 파인튜닝 고려해보세요. 초기엔 프롬프트로 시작하는 게 정답인 것 같아요.
댓글을 작성하려면 로그인이 필요합니다.