저도 같은 경험했는데 정말 답답하더라고요. Claude는 시스템 메시지 토큰을 다르게 계산하는 것 같고, 이미지는 해상도에 따라 편차가 크네요. 결국 저는 실제로 한두 번 돌려본 후 평균 토큰을 기준으로 25% 버퍼를 잡고 있습니다. 공식 계산은 참고만 하고 실무에선 테스트 기반이 더 정확한 것 같아요.
프롬프트
LLM 토큰 수 계산 정확하게 하는 방법 있나요?
요즘 GPT-4나 Claude API 써보면서 느낀 건데, 공식 토큰 카운터랑 실제 청구되는 토큰 수가 자주 안 맞더라고요. 특히 이미지 포함된 요청이나 시스템 프롬프트 부분에서 편차가 크게 나는 것 같습니다.
OpenAI의 tiktoken 라이브러리로 계산해도 뭔가 부정확한 느낌이 들고, 각 모델별로 토크나이저가 조금씩 다르다는 건 알겠는데 실무에서는 예산 책정할 때 정확히 못 하면 문제가 되거든요. 혹시 이 부분 경험 있으신 분들 있으면 팁 공유해주실 수 있을까요? 아니면 그냥 여유 있게 20% 정도 더 잡고 계산하는 게 정석인지도 궁금하네요.
OpenAI의 tiktoken 라이브러리로 계산해도 뭔가 부정확한 느낌이 들고, 각 모델별로 토크나이저가 조금씩 다르다는 건 알겠는데 실무에서는 예산 책정할 때 정확히 못 하면 문제가 되거든요. 혹시 이 부분 경험 있으신 분들 있으면 팁 공유해주실 수 있을까요? 아니면 그냥 여유 있게 20% 정도 더 잡고 계산하는 게 정석인지도 궁금하네요.
추천 6 비추천 0
- 이전글Llama 3.1 405B 로컬에서 돌려본 후기26.10.31
- 다음글최근 LLM 파인튜닝 직접 해본 후기 - 실제로 효과 있나요?26.10.28