미스트랄 좋더라고요
프롬프트
요즘 로컬 LLM으로 뭐 쓰고 계세요?
회사 프로젝트에서 클라우드 기반 API 대신 로컬에서 돌릴 수 있는 모델을 찾고 있는데, 의견이 분분하더라고요. 라마2, 미스트랄, 노토스 이런 것들이 있던데 실제로 프로덕션에서 쓰기에는 어떤 게 가장 실용적인지 궁금합니다.
특히 응답 속도랑 정확도 면에서 클로드나 GPT-4 정도의 수준을 기대하면 안 될까요? 아니면 그냥 각각의 용도가 따로 있는 거라고 봐야 하나요.
비용 이슈도 있고 자체 서버에 배포하고 싶어서 관심 가지고 있는데, 실제 경험해보신 분들의 의견 듣고 싶습니다.
특히 응답 속도랑 정확도 면에서 클로드나 GPT-4 정도의 수준을 기대하면 안 될까요? 아니면 그냥 각각의 용도가 따로 있는 거라고 봐야 하나요.
비용 이슈도 있고 자체 서버에 배포하고 싶어서 관심 가지고 있는데, 실제 경험해보신 분들의 의견 듣고 싶습니다.
추천 13 비추천 0
- 이전글RAG 시스템 구축할 때 Vector DB 선택 기준이 뭔가요?26.08.30
- 다음글로컬 LLM 실제로 쓸만한 수준까지 왔나요?26.08.28