2026.11.12 접속자 212명
로그인 회원가입
HOT
[프롬프트] 프롬프트 엔지니어링 배우면서 가장 막히는 부분이 뭐예요? [프롬프트] 프롬프트 쓸 때 "역할 설정"이 정말 중요한가요? [AI뉴스] 요즘 빅테크 AI 투자가 흔들리는 중이네요... 수익성 문제 심각한가 [프롬프트] 업무 자동화 프롬프트 뭐 써보셨어요? [기술 Q&A] 트랜스포머 모델에서 attention 계산할 때 batch 처리 최적화 방법이 있나요? [프롬프트] 업무 보고서 쓸 때 프롬프트 이렇게 하니까 시간 반으로 줄었어요 [기술 Q&A] LLM 토큰 한계를 실무에서 어떻게 처리하시나요? [프롬프트] 업무 자동화 프롬프트 6개월 써본 후기, 실제로 효율 나오는 거 정리했습니다 [AI뉴스] 올해 들어 AI 스타트업 투자 정말 과하네... 10월에만 1조 넘었대요 [AI뉴스] 요즘 딥러닝 논문들 흐름이 좀 달라지는 것 같네요 [프롬프트] 프롬프트 엔지니어링 배우면서 가장 막히는 부분이 뭐예요? [프롬프트] 프롬프트 쓸 때 "역할 설정"이 정말 중요한가요? [AI뉴스] 요즘 빅테크 AI 투자가 흔들리는 중이네요... 수익성 문제 심각한가 [프롬프트] 업무 자동화 프롬프트 뭐 써보셨어요? [기술 Q&A] 트랜스포머 모델에서 attention 계산할 때 batch 처리 최적화 방법이 있나요? [프롬프트] 업무 보고서 쓸 때 프롬프트 이렇게 하니까 시간 반으로 줄었어요 [기술 Q&A] LLM 토큰 한계를 실무에서 어떻게 처리하시나요? [프롬프트] 업무 자동화 프롬프트 6개월 써본 후기, 실제로 효율 나오는 거 정리했습니다 [AI뉴스] 올해 들어 AI 스타트업 투자 정말 과하네... 10월에만 1조 넘었대요 [AI뉴스] 요즘 딥러닝 논문들 흐름이 좀 달라지는 것 같네요
API연동

LLM 파인튜닝 후 토큰 효율이 확 떨어졌는데 이게 정상인가요?

딥러닝장인 2026.06.14 21:16 조회 496 추천 14 댓글 3건
최근에 회사 업무용으로 GPT-3.5 기반으로 파인튜닝을 진행했는데 결과가 좀 이상하더라고요. 파인튜닝 전에는 같은 프롬프트로 평균 150토큰 정도 나왔는데, 파인튜닝 후에는 200토큰 이상 나오는 경우가 대부분입니다. 정확도는 조금 올랐는데 토큰 사용량이 크게 늘어나서 비용이 거의 안 줄었거든요.

혹시 파인튜닝 과정에서 이런 현상이 흔한 건지 궁금합니다. 아니면 제가 뭔가 잘못 설정한 걸까요? 특히 temperature나 top_p 같은 파라미터를 조정해야 하나 생각 중인데 그게 토큰 길이에 영향을 주나요?

비슷한 경험하신 분 있으시면 어떻게 해결하셨는지 알려주시면 감사하겠습니다.
추천 14 비추천 0
댓글 3

댓글목록

profile_image
딥러닝장인
저도 비슷한 경험했는데 파인튜닝 후 출력이 길어지더라고요 ㅋㅋ
profile_image
딥러너
저도 비슷한 경험했는데 정말 답답하더라고요 ㅠㅠ
profile_image
궁금하면
저도 비슷한 경험 있는데, 파인튜닝 후 토큰이 늘어나는 건 꽤 흔한 현상이더라고요. Temperature나 top_p는 사실 출력 길이보다는 다양성에 영향을 주는 거라 근본적인 해결책은 아닐 것 같습니다. 제 경우엔 파인튜닝 데이터셋에서 응답이 불필요하게 길게 생성되도록 학습된 게 원인이었어요. 데이터셋의 평균 응답 길이를 체크해보시고, 더 간결한 답변 예시를 추가로 학습시켜봤더니 개선됐습니다. 혹시 max_tokens 제한은 따로 안 두셨나요?