데이터 10만 개면 LoRA로 충분할 것 같은데요. 저도 비슷한 규모로 Llama 2 파인튜닝해봤는데 LoRA가 Full Fine-tuning과 큰 차이 없더라고요. 오히려 학습 시간이 훨씬 빨라서 좋았어요. GPU 리소스가 넉넉하다면 둘 다 빠르게 실험해보고 검증 세트에서 성능 비교하는 게 제일 확실할 것 같습니다. 저희 같은 경우는 결국 LoRA로 정했는데 비용 효율이 훨씬 나았거든요.
프롬프트
LLM 파인튜닝할 때 LoRA 쓰는 게 맞나요?
최근에 우리 팀에서 특정 도메인용 작은 언어모델을 만들어야 하는 상황이 생겼는데, 파인튜닝 방식 때문에 좀 헷갈리더라고요. 지금까지는 Full Fine-tuning으로 하던 것들을 LoRA로 바꿔볼까 생각 중입니다.
찾아본 자료들을 보면 LoRA가 효율적이고 비용도 적게 든다고 하는데, 실제로 정확도나 성능에서 큰 차이가 나는지 궁금합니다. 특히 우리는 학습 데이터가 그리 많지 않은 상황(약 10만 개 정도)이라 어떤 방식이 더 적합할지 판단이 안 서요.
혹시 LoRA로 파인튜닝해보신 분들 계신가요? 실제 프로젝트에서 써보니 어떻더라고요? 그리고 학습 데이터 크기가 작을 때는 Full Fine-tuning과 LoRA 중 뭐가 더 낫다고 생각하세요? 아니면 두 가지 다 시도해볼 만한 가치가 있을까요?
참고로 우리가 쓸 기본 모델은 Llama 2 기반이고, GPU 리소스는 그럭저럭 괜찮은 상황입니다. 성능과 비용 양쪽을 다 고려해야 하는데 의견 좀 부탁드립니다.
찾아본 자료들을 보면 LoRA가 효율적이고 비용도 적게 든다고 하는데, 실제로 정확도나 성능에서 큰 차이가 나는지 궁금합니다. 특히 우리는 학습 데이터가 그리 많지 않은 상황(약 10만 개 정도)이라 어떤 방식이 더 적합할지 판단이 안 서요.
혹시 LoRA로 파인튜닝해보신 분들 계신가요? 실제 프로젝트에서 써보니 어떻더라고요? 그리고 학습 데이터 크기가 작을 때는 Full Fine-tuning과 LoRA 중 뭐가 더 낫다고 생각하세요? 아니면 두 가지 다 시도해볼 만한 가치가 있을까요?
참고로 우리가 쓸 기본 모델은 Llama 2 기반이고, GPU 리소스는 그럭저럭 괜찮은 상황입니다. 성능과 비용 양쪽을 다 고려해야 하는데 의견 좀 부탁드립니다.
추천 7 비추천 0
- 이전글최근 LLM 컨텍스트 윈도우 확장이 실제로 도움 되나요?26.08.22
- 다음글LLM 프롬프트 엔지니어링 몇 달 해봤는데 느낀 점26.08.17