요즘 개인 프로젝트에서 LLM을 자주 써야 하는데 계속 고민이 생기네요. 로컬에 모델을 깔아서 쓸지, 아니면 OpenAI나 Claude API를 쓸지 결정을 못 하고 있어요.
처음엔 로컬이 무조건 좋을 줄 알았거든요. 비용도 안 들고, 데이터 프라이버시 문제도 없고, 오프라인에서도 돌린다고 생각했는데 막상 해보니 까다롭더라고요. 특히 GPU 메모리 관리가 정말 번거롭습니다. ollama로 Mistral 7B 띄우면 VRAM이 9GB 먹는데, 그럼 다른 작업을 못 하는 거죠. 그리고 응답 속도도 솔직히 API보다 훨씬 느려요. 모델 크기와 속도의 트레이드오프가 생각보다 심하네요.
그래서 요즘은 간단한 작업은 Claude API 쓰고 있어요. 월 $5 정도면 개인 프로젝트에는 충분하더라고요. 응답 속도도 빠르고, 모델 업데이트도 자동으로 되니까 관리할 게 없어요. 다만 API 호출 로그가 Anthropic 서버에 남는 게 신경 쓰긴 합니다. 민감한 정보를 다룬다면 로컬이 더 낫겠지만, 일반적인 개발에는 충분해 보여요.
근데 궁금한 게, 실제로 프로덕션 환경에서 일하시는 분들은 어떻게 하시나요? 회사에서는 보안 때문에 로컬 모델을 강제하는 건가요, 아니면 API 비용을 그냥 감당하는 건가요? 그리고 요즘 나오는 오픈소스 모델들이 성능 면에서 정말 많이 개선됐나요? 만약 Llama 2 같은 더 큰 모델이 나오면 상황이 바뀔까요?