LLM 파인튜닝 처음 하는데 어디서부터 시작해야 할까요?

저도 비슷한 상황이었는데 일단 LoRA부터 시작하는 거 추천해요. GPU 메모리도 훨씬 덜 먹고 실험 속도가 빠거든요. 전체 파인튜닝은 인프라가 어느 정도 갖춰진 다음에 해도 됩니다.
기본 모델은 한국어 데이터가 있으면 upstage/SOLAR 같은 한국어 최적화 모델이 낫고, 한국어 데이터가 적으면 Mistral이 가볍고 괜찮더라고요.
평가는 직접 써보면서 느끼는 것도 중요하지만, 간단한 BLEU 스코어나 토큰 정확도 정도는 체크하는 게 좋아요. Weights & Biases 같은 도구 쓰면 실험 관리도 쉽습니다. 화이팅!