저도 비슷한 고민 했는데, 결론적으로 프로덕션은 어렵더라고요. Mistral이 llama2보다야 낫지만 여전히 GPT 수준의 정확도는 못 따라가요. 특히 코딩은 정말 신뢰하기 힘들고요.
비용이 문제라면 차라리 Claude API 무료 사용량 활용하거나, 용도별로 로컬이랑 API를 섞는 게 현실적이에요. 단순 요약이나 분류 같은 건 로컬에서도 괜찮은데, 정확성이 중요한 작업은 결국 API 써야 한다는 걸 깨달았습니다. 비용 절감 차원에선 실망스럽지만 리스크 생각하면 필요한 비용이라고 보네요.
비용이 문제라면 차라리 Claude API 무료 사용량 활용하거나, 용도별로 로컬이랑 API를 섞는 게 현실적이에요. 단순 요약이나 분류 같은 건 로컬에서도 괜찮은데, 정확성이 중요한 작업은 결국 API 써야 한다는 걸 깨달았습니다. 비용 절감 차원에선 실망스럽지만 리스크 생각하면 필요한 비용이라고 보네요.