최근에 업무용 데이터로 모델을 파인튜닝해야 했는데, 풀 파인튜닝은 비용이 너무 많이 들어서 LoRA로 해봤어요. 파라미터는 rank 8, alpha 16으로 설정했고요.
결과적으로 VRAM은 확실히 절약했는데, 정확도가 어느 정도 손실되더라고요. 검증 데이터에서 5~7% 정도 떨어진 것 같은데 실무에서는 괜찮은 수준인지 모르겠네요. 혹시 다른 분들은 어떤 경험이 있으신가요?
LoRA말고 QLoRA도 있던데, 그게 더 낫나요? 아니면 처음부터 모델 크기를 줄이는 게 나을까요?
추천 2 비추천 0