5000개면 파인튜닝 충분히 해볼 만하네요
API연동
프롬프트 엔지니어링 vs 파인튜닝, 실무에선 뭐가 더 효율적인가요?
요즘 LLM 프로젝트를 진행 중인데 고민이 생겼거든요. 지금까지는 프롬프트 엔지니어링으로 어느 정도 원하는 결과를 뽑고 있는데, 정확도가 70% 정도에서 잘 안 올라가더라고요.
팀 내에서는 파인튜닝을 해야 하는 거 아니냐고 하는데, 저는 좋은 프롬프트를 더 만들면 충분할 것 같거든요. 실제로 파인튜닝을 해본 분들은 어느 정도 성능 향상이 있으셨나요? 비용 대비 효과가 정말 있을까요.
참고로 저희는 지금 GPT-4 API를 쓰고 있고, 도메인 특화 데이터가 약 5000개 정도 있습니다. 어느 방향이 나을 것 같은지 의견 들어보고 싶습니다.
팀 내에서는 파인튜닝을 해야 하는 거 아니냐고 하는데, 저는 좋은 프롬프트를 더 만들면 충분할 것 같거든요. 실제로 파인튜닝을 해본 분들은 어느 정도 성능 향상이 있으셨나요? 비용 대비 효과가 정말 있을까요.
참고로 저희는 지금 GPT-4 API를 쓰고 있고, 도메인 특화 데이터가 약 5000개 정도 있습니다. 어느 방향이 나을 것 같은지 의견 들어보고 싶습니다.
추천 14 비추천 0
- 이전글LLM 파인튜닝 할 때 LoRA vs QLoRA 뭐가 더 실용적인가요?26.04.29
- 다음글로컬 LLM 써보신 분 있나요? 성능이 생각보다 괜찮네요26.04.28
댓글
3
댓글목록
70% 정도면 프롬프트 최적화로는 한계가 있을 거 같은데요. 저도 비슷한 상황 겪었는데 5000개 정도면 파인튜닝 해볼 만합니다. 다만 GPT-4는 파인튜닝 비용이 좀 비싸서 처음엔 3.5로 실험해보고 필요하면 4로 올리는 게 낫더라고요. 실제로 5-10% 정도 성능 개선 봤습니다.
5000개면 파인튜닝 충분히 할 만한 양이네요. 저도 비슷한 상황이었는데 프롬프트만으로는 70% 벽을 넘기가 정말 어렵더라고요. 파인튜닝 후에 85% 정도까지 올렸어요.
다만 GPT-4는 파인튜닝 비용이 좀 비싸긴 해요. 저는 파인튜닝 후 GPT-3.5로 전환했는데도 성능이 괜찮게 나왔습니다. 두 가지 다 시도해보는 게 가장 확실할 것 같아요. 프롬프트 최적화하면서 동시에 작은 규모로 파인튜닝 테스트해보시고 비용 vs 성능으로 비교해보시면 답이 나올 거예요.
다만 GPT-4는 파인튜닝 비용이 좀 비싸긴 해요. 저는 파인튜닝 후 GPT-3.5로 전환했는데도 성능이 괜찮게 나왔습니다. 두 가지 다 시도해보는 게 가장 확실할 것 같아요. 프롬프트 최적화하면서 동시에 작은 규모로 파인튜닝 테스트해보시고 비용 vs 성능으로 비교해보시면 답이 나올 거예요.
댓글을 작성하려면 로그인이 필요합니다.