요즘 프로젝트에서 로컬 환경에 모델 굴려야 해서 4-bit 양자화 시도해봤는데 생각보다 품질 손실이 커서 놀랐어요. 이론상으로는 괜찮을 줄 알았는데 실제로 추론 결과 보니까 꽤 차이 나네요.
특히 한국어 관련 태스크에서 성능 저하가 두드러졌어요. 아무래도 학습 데이터 분포 문제 때문일 것 같긴 한데, 혹시 비슷한 경험 있으신 분들은 어떻게 대처하셨나 궁금합니다. GPTQ 쓰는 게 나을까요, 아니면 그냥 8-bit으로 가는 게 현실적일까요?
메모리랑 속도는 확실히 좋아진 거 있는데 품질 트레이드오프가 조금 애매한 상태라서요.
추천 0 비추천 0