전 LoRA로 비용 확 줄였어요. 풀 파인튜닝의 10% 정도 수준으로 가능하더라고요. 프롬프트 엔지니어링만으로는 한계가 있어서 LoRA 추천합니다.
LLM 파인튜닝 비용이 너무 많이 드는데 대안 있을까요?
요즘 자사 데이터로 LLM을 파인튜닝해서 써보려고 하는데 비용이 정말 장난이 아니네요. GPT-4 기반으로 하면 토큰당 비용도 비싸고, 오픈소스 모델 파인튜닝도 GPU 비용이 만만치 않더라고요.
요즘 많은 분들이 이런 상황에서 어떻게 해결하시는지 궁금합니다. LoRA 같은 방식으로 비용을 줄이신 분 계신가요? 아니면 그냥 프롬프트 엔지니어링으로 때우는 게 현실적인지 모르겠어요.
회사 예산이 좀 한정적이라서 비용 효율적인 방법이 있으면 알려주세요.
요즘 많은 분들이 이런 상황에서 어떻게 해결하시는지 궁금합니다. LoRA 같은 방식으로 비용을 줄이신 분 계신가요? 아니면 그냥 프롬프트 엔지니어링으로 때우는 게 현실적인지 모르겠어요.
회사 예산이 좀 한정적이라서 비용 효율적인 방법이 있으면 알려주세요.
추천 8
- 이전글LLM 파인튜닝 처음 하는데 어디서부터 시작해야 할까요?26.06.14
- 다음글ChatGPT랑 Claude 둘 다 써보니까 차이가 확실하네요26.06.13
댓글
5
댓글목록
저도 같은 고민이었는데 결국 LoRA로 가는 게 맞는 것 같아요. 파인튜닝 비용의 20% 정도로 떨어지더라고요. 그 위에 프롬프트 엔지니어링을 조합하면 생각보다 괜찮은 결과가 나옵니다.
저도 그 비용 때문에 LoRA로 갈아탔는데 확실히 낫더라고요
완전 공감이에요 ㅠㅠ
LoRA가 확실히 비용 효율이 좋더라고요. 저도 처음엔 풀 파인튜닝으로 하다가 LoRA로 바꿨는데 GPU 사용량이 확 줄어들었어요. 프롬프트 엔지니어링이랑 병행하면 더 괜찮더군요.
댓글을 작성하려면 로그인이 필요합니다.