시스템 프롬프트도 당연히 토큰으로 카운트되고, 온도 설정은 토큰 수에 영향을 안 줘야 하는데 실제로는 모델 버전마다 토크나이저가 조금씩 다르거든요. 특히 GPT-4 터보로 업데이트되면서 토큰 계산 방식이 미묘하게 바뀐 부분들이 있어요. 청구되는 금액이 다르다면 캐시 기능 때문일 수도 있으니 확인해보시는 게 좋습니다.
프롬프트
LLM 토큰 계산 관련해서 좀 헷갈리는데 이거 맞나요?
최근에 GPT API 쓰면서 토큰 계산 방식이 좀 이상한 것 같은데 다른 분들도 이런 거 느껴보셨나요?
같은 프롬프트인데도 모델 버전이나 온도 설정에 따라 토큰 수가 좀 다르게 나오더라고요. 공식 토크나이저로 계산한 값이랑 실제 청구되는 금액이 미묘하게 안 맞아요. 혹시 시스템 프롬프트가 추가로 카운트되는 건 아닐까 싶은데...
혹시 정확한 계산 방법 아시는 분 계신가요? 아니면 이건 그냥 예상 불가 영역이라고 봐야 하나요?
같은 프롬프트인데도 모델 버전이나 온도 설정에 따라 토큰 수가 좀 다르게 나오더라고요. 공식 토크나이저로 계산한 값이랑 실제 청구되는 금액이 미묘하게 안 맞아요. 혹시 시스템 프롬프트가 추가로 카운트되는 건 아닐까 싶은데...
혹시 정확한 계산 방법 아시는 분 계신가요? 아니면 이건 그냥 예상 불가 영역이라고 봐야 하나요?
추천 14 비추천 0
- 이전글프롬프트 엔지니어링으로 LLM 정확도 올려보신 분?26.04.18
- 다음글요즘 LLM 파인튜닝할 때 뭐 쓰시나요?26.04.15
댓글
5
댓글목록
시스템 프롬프트는 분명 카운트되는 것 같아요. 저도 같은 경험했거든요. OpenAI 문서보면 명확하게 나와있진 않지만, 실제로 API 호출할 때마다 hidden 프롬프트가 들어가는 거 같더라고요.
토큰 계산 차이는 몇 가지 원인이 있을 수 있는데, 모델 버전별로 토크나이저가 미묘하게 다를 수도 있고, 온도 같은 파라미터는 토큰 수 자체에는 영향 안 주지만 실제 응답 길이가 달라져서 그럴 수도 있어요.
가장 정확한 건 API 응답에서 직접 받는 usage 값이니까 그걸 기준으로 봐야 할 것 같습니다. 공식 토크나이저랑 약간 차이 나는 건 거의
토큰 계산 차이는 몇 가지 원인이 있을 수 있는데, 모델 버전별로 토크나이저가 미묘하게 다를 수도 있고, 온도 같은 파라미터는 토큰 수 자체에는 영향 안 주지만 실제 응답 길이가 달라져서 그럴 수도 있어요.
가장 정확한 건 API 응답에서 직접 받는 usage 값이니까 그걸 기준으로 봐야 할 것 같습니다. 공식 토크나이저랑 약간 차이 나는 건 거의
시스템 프롬프트 포함되는 게 맞아요. GPT 모델들이 백그라운드에서 자동으로 추가하는 시스템 메시지가 있거든요. 온도 설정은 토큰 수엔 영향 안 주는데, 혹시 같은 입력값을 여러 번 테스트하셨나요? 약간의 변동은 토큰 계산 방식 차이 때문에 있을 수 있습니다. OpenAI 공식 문서에서 시스템 메시지 비용 부분을 확인해보시면 더 명확할 거예요.
시스템 프롬프트는 안 카운트되는 걸로 알고 있는데, 혹시 캐싱 때문일 수도 있어요. 프롬프트 캐싱 쓰면 재사용 부분은 토큰이 다르게 책정되거든요. 한 번 확인해보세요.
네, 이거 실제로 있는 일이에요. 토큰 계산이 단순하지 않거든요. 온도 설정은 토큰 수에 직접 영향을 안 주는데, 혹시 다른 모델 버전을 테스트하셨다면 토크나이저 자체가 달라져서 그럴 수 있습니다.
가장 큰 원인은 시스템 프롬프트인데, OpenAI가 공개하지 않은 숨겨진 시스템 프롬프트가 추가로 들어가거든요. 그리고 함수 호출이나 JSON 포맷 강제 같은 추가 파라미터도 토큰을 먹어요.
공식 토크나이저로 계산한 값이랑 청구액이 안 맞는 건 정말 흔한 일이라 어느 정도는 받아들여야 할 것 같습니다. 혹시 실제 API
가장 큰 원인은 시스템 프롬프트인데, OpenAI가 공개하지 않은 숨겨진 시스템 프롬프트가 추가로 들어가거든요. 그리고 함수 호출이나 JSON 포맷 강제 같은 추가 파라미터도 토큰을 먹어요.
공식 토크나이저로 계산한 값이랑 청구액이 안 맞는 건 정말 흔한 일이라 어느 정도는 받아들여야 할 것 같습니다. 혹시 실제 API
댓글을 작성하려면 로그인이 필요합니다.