회사 프로젝트에서 GPT 비용이 너무 많이 나가서 작은 오픈소스 모델로 파인튜닝을 직접 해봤는데요. Llama 2 7B 모델로 시작했어요. 처음엔 비용 절감되겠다고 생각했는데 생각보다 까다로운 거 있더라고요.
데이터 전처리부터 시작해서 학습 세팅 튜닝하다 보니 시간이 정말 오래 걸렸어요. GPU 메모리 최적화도 계속 해야 했고요. 결과적으로는 작은 모델이라 성능도 GPT 대비 약간 아쉬운 편입니다. 대신 응답 속도는 훨씬 빠르긴 했어요.
결국 비용이랑 성능 트레이드오프를 잘 맞춰야 하는 것 같아요. 큰 프로젝트면 그냥 API 쓰는 게 낫겠다는 생각이 들었습니다. 혹시 작은 모델로 성공 사례 있으신 분 계신가요?
추천 8 비추천 0