저도 비슷한 경험 있는데 데이터셋 퀄리티를 먼저 체크해보세요. 손실은 떨어지는데 실제 성능이 안 나오는 건 보통 학습 데이터가 편향되어 있을 때거든요. 그리고 검증 데이터셋을 따로 빼서 모니터링하면서 진행하면 과적합을 더 빨리 캐치할 수 있어요.
처음 LLM 파인튜닝 시도했는데 뭔가 이상한데...
최근에 작은 데이터셋으로 오픈소스 모델 파인튜닝을 해봤는데 결과가 예상과 좀 달랐네요. 학습 손실은 계속 떨어지는데 실제 추론할 때는 그렇게까지 좋지 않더라고요. 혹시 과적합이 심한 건가 싶기도 하고요.
배치 크기랑 러닝레이트를 조정해봐도 비슷한 경향이 있어서 좀 답답합니다. 더 큰 데이터셋이 필요한 건지, 아니면 제가 뭔가 놓친 게 있는 건지 모르겠거든요. 혹시 비슷한 경험 있으신 분들 있으면 어떻게 해결했는지 궁금합니다.
배치 크기랑 러닝레이트를 조정해봐도 비슷한 경향이 있어서 좀 답답합니다. 더 큰 데이터셋이 필요한 건지, 아니면 제가 뭔가 놓친 게 있는 건지 모르겠거든요. 혹시 비슷한 경험 있으신 분들 있으면 어떻게 해결했는지 궁금합니다.
추천 13
- 이전글요즘 ChatGPT 유료 구독 가치 있나요?26.04.22
- 다음글ChatGPT 유료 vs 무료, 실제로 얼마나 차이 나나요?26.04.20