요즘 개인 프로젝트로 한국어 특화 모델 만들어보려고 하는데, LoRA로 할지 풀 파인튜닝으로 할지 고민이 많네요. 비슷한 상황이었던 분들 의견 좀 들어보고 싶습니다.
일단 제가 알기론 LoRA는 가중치의 일부만 학습해서 메모리도 적게 쓰고 속도도 빠르다고 했는데, 실제로는 성능 차이가 꽤 있는 건가요? 정말 큰 차이는 아닌데 약간씩 떨어진다는 말도 있고, 거의 비슷하다는 말도 있어서 헷갈리네요.
제 상황은 A100 한두 개 정도의 자원만 있고, 데이터셋은 대략 10만~50만 개 정도 되는 상황입니다. 취미 프로젝트라 시간은 좀 걸려도 괜찮은데, 결과물의 품질이 좀 중요하거든요. 이 정도면 풀 파인튜닝 가능한가요?
그리고 혹시 하이브리드 방식처럼 처음엔 LoRA로 빨리 돌려보고 좋은 거 같으면 풀 파인튜닝 하는 식으로 진행해본 분 있으신가요? 요즘 MLOps 커뮤니티에서는 그렇게 하는 게 최근 트렌드래요. 혹은 다른 좋은 방법이 있으면 알려주세요.
추천 1