저도 비슷한 상황을 겪고 있는데 결국 오픈소스로 방향을 틀었습니다. Llama 2 기반으로 LoRA 파인튜닝 하니까 A100 한두 장이면 충분하더라고요. 초기 인프라 셋업에 시간이 걸리지만 반복적인 파인튜닝을 여러 번 하는 상황이면 장기적으로는 훨씬 저렴합니다. 다만 모델 성능 자체는 GPT-4보다는 떨어질 수 있다는 점이 아쉽네요. 규모가 크다면 혼합 전략도 고려해봐도 좋을 것 같습니다.
파인튜닝
요즘 LLM 파인튜닝 비용이 진짜 미친 것 같은데
사내 프로젝트로 자체 도메인 데이터로 모델 파인튜닝을 해야 하는데, 요즘 API 비용이 너무 올라가 있더라고요. GPT-4로 파인튜닝 하려니 토큰당 비용이 일반 호출의 2배라니 ㅎㅎ 작은 프로젝트도 금방 수천 달러 넘어갑니다.
그래서 요새는 오픈소스 모델로 눈을 돌리고 있는데, Llama 2나 Mistral 같은 걸로 자체 서버에서 파인튜닝 하는 게 낫지 않나 싶어요. 물론 자체 인프라 구축 비용이 따로 드니까 손익분기점이 있겠지만요.
다들 이런 상황에서 어떻게 처리하고 계세요? 회사에서 비용을 감당하시는 건지, 아니면 오픈소스로 가신 건지 궁금하네요.
그래서 요새는 오픈소스 모델로 눈을 돌리고 있는데, Llama 2나 Mistral 같은 걸로 자체 서버에서 파인튜닝 하는 게 낫지 않나 싶어요. 물론 자체 인프라 구축 비용이 따로 드니까 손익분기점이 있겠지만요.
다들 이런 상황에서 어떻게 처리하고 계세요? 회사에서 비용을 감당하시는 건지, 아니면 오픈소스로 가신 건지 궁금하네요.
추천 8 비추천 0
- 이전글요즘 LLM 평가할 때 뭘 기준으로 보세요?26.06.24
- 다음글RAG 구현할 때 chunk size 어떻게 정하시나요?26.06.21