50만 토큰에 4090 2개면 충분히 풀 파인튜닝 가능한 사양이라고 봐요. 저도 비슷한 규모로 라마2 7B 했는데 LoRA는 확실히 빠르긴 한데, 도메인 특화 데이터가 충분하다면 성능 차이가 꽤 난다는 걸 느꼈거든요.
프로토타입이 목표라면 차라리 LoRA로 빠르게 한 번 돌려보고, 결과가 괜찮으면 거기서 멈추고 부족하면 풀 파인튜닝으로 가는 방식 어떨까요? 시간도 절약되고 비용도 효율적일 것 같아요. 한 2-3일 vs 1-2주 정도 차이일 테니까요.
다만 풀 파인튜닝 할 때는 learning rate나 epoch 조정이 중
프로토타입이 목표라면 차라리 LoRA로 빠르게 한 번 돌려보고, 결과가 괜찮으면 거기서 멈추고 부족하면 풀 파인튜닝으로 가는 방식 어떨까요? 시간도 절약되고 비용도 효율적일 것 같아요. 한 2-3일 vs 1-2주 정도 차이일 테니까요.
다만 풀 파인튜닝 할 때는 learning rate나 epoch 조정이 중