LoRA도 요즘 버전들 보니까 거의 차이 없더라고요 ㅋㅋ
API연동
LLM fine-tuning할 때 LoRA vs full parameter, 실무에선 뭐 쓰세요?
요즘 사내 프로젝트에서 특정 도메인 데이터로 LLM을 fine-tuning 해야 하는데, LoRA로 갈지 full parameter로 갈지 계속 고민이네요. 이론상으로는 LoRA가 메모리 효율이 좋고 빠르다는 건 알겠는데, 실제로 inference 성능에서는 어느 정도 차이가 나는지 궁금합니다.
GPU 메모리도 부족한 상황이라 LoRA가 현실적이긴 한데, 정확도를 조금 포기하는 게 값어치 있을지 모르겠어요. 혹시 비슷한 상황 겪으신 분 있으면 경험담 공유해주실 수 있을까요. 특히 프로덕션 환경에서 LoRA 썼을 때 실제 느낌이 어땠는지 궁금합니다.
GPU 메모리도 부족한 상황이라 LoRA가 현실적이긴 한데, 정확도를 조금 포기하는 게 값어치 있을지 모르겠어요. 혹시 비슷한 상황 겪으신 분 있으면 경험담 공유해주실 수 있을까요. 특히 프로덕션 환경에서 LoRA 썼을 때 실제 느낌이 어땠는지 궁금합니다.
추천 12 비추천 0
- 이전글LLM 파인튜닝할 때 토큰 길이 제한 때문에 문제 생기신 분 있으세요?26.08.05
- 다음글LLM 파인튜닝할 때 토큰 길이 제한 때문에 고민이네요26.08.01