저도 비슷한 경험했는데 파인튜닝 후 출력이 길어지더라고요 ㅋㅋ
API연동
LLM 파인튜닝 후 토큰 효율이 확 떨어졌는데 이게 정상인가요?
최근에 회사 업무용으로 GPT-3.5 기반으로 파인튜닝을 진행했는데 결과가 좀 이상하더라고요. 파인튜닝 전에는 같은 프롬프트로 평균 150토큰 정도 나왔는데, 파인튜닝 후에는 200토큰 이상 나오는 경우가 대부분입니다. 정확도는 조금 올랐는데 토큰 사용량이 크게 늘어나서 비용이 거의 안 줄었거든요.
혹시 파인튜닝 과정에서 이런 현상이 흔한 건지 궁금합니다. 아니면 제가 뭔가 잘못 설정한 걸까요? 특히 temperature나 top_p 같은 파라미터를 조정해야 하나 생각 중인데 그게 토큰 길이에 영향을 주나요?
비슷한 경험하신 분 있으시면 어떻게 해결하셨는지 알려주시면 감사하겠습니다.
혹시 파인튜닝 과정에서 이런 현상이 흔한 건지 궁금합니다. 아니면 제가 뭔가 잘못 설정한 걸까요? 특히 temperature나 top_p 같은 파라미터를 조정해야 하나 생각 중인데 그게 토큰 길이에 영향을 주나요?
비슷한 경험하신 분 있으시면 어떻게 해결하셨는지 알려주시면 감사하겠습니다.
추천 14 비추천 0
- 이전글Retrieval-Augmented Generation 실제로 hallucination 줄어드나요?26.06.15
- 다음글LLM 파인튜닝 할 때 LoRA vs Full Fine-tuning 뭐가 낫나요?26.06.13
댓글
3
댓글목록
저도 비슷한 경험했는데 정말 답답하더라고요 ㅠㅠ
저도 비슷한 경험 있는데, 파인튜닝 후 토큰이 늘어나는 건 꽤 흔한 현상이더라고요. Temperature나 top_p는 사실 출력 길이보다는 다양성에 영향을 주는 거라 근본적인 해결책은 아닐 것 같습니다. 제 경우엔 파인튜닝 데이터셋에서 응답이 불필요하게 길게 생성되도록 학습된 게 원인이었어요. 데이터셋의 평균 응답 길이를 체크해보시고, 더 간결한 답변 예시를 추가로 학습시켜봤더니 개선됐습니다. 혹시 max_tokens 제한은 따로 안 두셨나요?
댓글을 작성하려면 로그인이 필요합니다.