LLM 파인튜닝할 때 LoRA vs 풀 파인튜닝, 실제로 뭐가 다를까요?

최근에 개인 프로젝트로 작은 데이터셋으로 모델을 파인튜닝해볼 생각인데, 요즘 대부분 LoRA로 하더라고요. 근데 정말 풀 파인튜닝보다 LoRA가 더 좋은 건지 좀 헷갈립니다.

일단 LoRA의 장점은 메모리 효율이 훨씬 좋다는 거 알고 있어요. 파라미터 수를 줄이니까 학습 속도도 빠르고, 계산 리소스도 적게 들고요. 그런데 파라미터를 덜 업데이트하는 거잖아요. 그럼 당연히 성능 하락이 있지 않을까 싶은데, 실제로는 그렇게 심하지 않다던데요.

이게 신기한 게, 논문에서도 나왔듯이 LoRA로 학습한 모델이 풀 파인튜닝 모델과 비슷한 수준으로 나온다고 하더라고요. 이게 정확히 왜 그런 건지는 아직도 확실하지 않은 부분이 있는 것 같습니다. 다만 대부분의 학습이 낮은 차원 공간에서 일어난다는 가정이 맞다는 거죠.

그런데 제 경우엔 LoRA 써야 할 것 같아요. GPU 메모리가 별로 없거든요. 어차피 개인 프로젝트고 약간의 성능 하락은 감수할 수 있으니까요. 혹시 다른 분들은 실무나 프로젝트에서 둘 중 뭘 더 자주 쓰시나요? 그리고 성능 차이를 직접 비교해본 적 있으신 분 있으면 얘기 좀 해주세요.