요즘 개인 프로젝트로 LLM 파인튜닝을 시도하고 있는데, 풀 파인튜닝 대신 LoRA 쓰는 게 맞는지 헷갈려서요. 찾아보니까 LoRA가 메모리 효율적이고 빠르다고 하는데, 그럼 풀 파인튜닝은 언제 써야 하는 건지 모르겠습니다.
혹시 LoRA로도 충분한 성능이 나오나요? 아니면 데이터가 많으면 풀 파인튜닝을 해야 하는 건가요? 개인 GPU(RTX 4090)로 작업 중이라 메모리는 어느 정도 여유가 있는데, 성능 차이가 크면 풀로 해보고 싶기도 하고요.
혹시 경험이 있으신 분들 조언 부탁드립니다. 같은 데이터셋으로 둘 다 해본 후기 있으면 더 좋겠네요.
추천 0