처음엔 다들 그렇더라고요 ㅋㅋ 저도 파라미터 조정하면서 몇 달 헤맸어요. 검증 손실이 떨어지다가 올라가는 구간에서 멈추는 게 핵심이더라고요. 배치 사이즈는 작을수록 좋은 건 아니고 GPU 메모리랑 수렴속도 사이에서 타협하면 돼요.
LLM 파인튜닝 처음 해봤는데 생각보다 복잡하네요
최근에 작은 데이터셋으로 오픈소스 모델 파인튜닝을 처음 시도해봤어요. 튜토리얼 따라가면서 허깅페이스 라이브러리 쓰는데 생각보다 변수가 많더라고요. 배치 사이즈, 학습률, 에포크 수... 뭐가 정답인지 모르겠어요.
결국 여러 번 시행착오를 거쳐서 나름 괜찮은 결과를 얻긴 했는데, 이게 진짜 잘 튜닝된 건지 아니면 그냥 운인지 확신이 안 서요. 검증 데이터셋으로 테스트해도 과적합 여부를 어떻게 판단해야 할지 명확하지 않네요.
혹시 비슷한 경험 하신 분 계신가요? 초보자 입장에서 파인튜닝할 때 꼭 체크해야 할 항목들이 뭔지 궁금합니다. 조언 부탁드려요.
결국 여러 번 시행착오를 거쳐서 나름 괜찮은 결과를 얻긴 했는데, 이게 진짜 잘 튜닝된 건지 아니면 그냥 운인지 확신이 안 서요. 검증 데이터셋으로 테스트해도 과적합 여부를 어떻게 판단해야 할지 명확하지 않네요.
혹시 비슷한 경험 하신 분 계신가요? 초보자 입장에서 파인튜닝할 때 꼭 체크해야 할 항목들이 뭔지 궁금합니다. 조언 부탁드려요.
추천 4
- 이전글ChatGPT 유료 vs 무료 버전 뭐가 다른가요?26.06.18
- 다음글ChatGPT 무료 버전이랑 Plus 차이가 정말 그럴까요?26.06.17