저도 비슷한 상황이었는데 결국 GPT-4 터보로 바꾸고 프롬프트 최적화를 먼저 했어요. 토큰 줄이는 게 생각보다 효과 있더라고요. 클로드는 가격은 저렴한데 특정 작업에선 응답이 길어져서 토큰을 더 먹는 경우도 있어요. 로컬 LLM은 정말 비용은 안 들지만 품질 차이가 꽤 커서 업무용으로는 한계가 있었습니다. 차라리 두 모델 섞어 쓰는 게 현실적인 것 같아요.
활용법
요즘 LLM API 비용 관리 어떻게 하세요?
프로젝트에서 GPT-4 쓰다가 요청량이 늘어나니까 비용이 장난 아니네요. 월 100달러 정도 나오는데 스타트업 입장에선 좀 부담되거든요. 혹시 토큰 제한 두거나 다른 모델 조합해서 쓰시는 분들 계신가요?
클로드 API도 알아보고 있는데, 실제로 써본 분 있으면 가성비 평가 좀 부탁드립니다. 응답 품질이 다소 떨어져도 가격이 훨씬 싸면 그걸로 가도 괜찮을 것 같기도 하고요.
아니면 로컬 LLM 돌리는 게 진짜 답인 건지 모르겠어요. 초기 셋업만 힘들지 운영비는 거의 없으니까요. 다들 어떻게 하고 있는지 궁금하네요.
클로드 API도 알아보고 있는데, 실제로 써본 분 있으면 가성비 평가 좀 부탁드립니다. 응답 품질이 다소 떨어져도 가격이 훨씬 싸면 그걸로 가도 괜찮을 것 같기도 하고요.
아니면 로컬 LLM 돌리는 게 진짜 답인 건지 모르겠어요. 초기 셋업만 힘들지 운영비는 거의 없으니까요. 다들 어떻게 하고 있는지 궁금하네요.
추천 11 비추천 0
- 이전글최근 LLM 양자화(quantization) 방식 뭐 쓰세요?26.08.08
- 다음글프로덕션 환경에서 쓸 만한 오픈소스 LLM 평가 도구 추천받습니다26.08.05