저희 회사가 작년부터 ChatGPT API 써서 간단한 자동화 시스템을 구축했는데, 최근 2-3개월 비용이 정말 급증했어요. 처음엔 월 2-3만원 수준이었는데 지금은 20만원대까지 올라갔거든요. 코드상 요청 횟수가 크게 늘어난 것도 아닌데 왜 이럴까 싶어서요.
혹시 OpenAI가 조용히 가격을 올렸거나, 토큰 계산 방식이 바뀐 건 아닐까 싶기도 하고요. 공식 문서에서 확인해봐도 가격표는 안 바뀐 것 같은데 실제로는 더 청구되는 거 같습니다. 혹은 저희가 모르는 사이에 batch API로 안 돌려서 그럴 수도 있겠네요.
다른 회사들도 비슷한 경험 있으신가요? 특히 프로덕션 환경에서 LLM 써보신 분들이 있으면 어떻게 비용 관리하시는지 궁금해요. 혹시 gpt-3.5로 바꾸거나, 로컬 모델 쓰는 게 나은 건 아닐까 생각도 들고요.
현재 저희는 gpt-4 터보를 쓰고 있는데 정확도 때문에 못 내려갈 것 같거든요. 어떤 해결책이 있을지 조언 부탁드립니다.
추천 1 비추천 0