회사 프로젝트 때문에 요즘 로컬 LLM 찾아보고 있는데 선택지가 너무 많더라고요. 라마2, 미스트랄, 노토토... 뭐가 뭔지 헷갈려요.
클라우드 기반 API는 비용도 계속 나가고 응답 속도 때문에 로컬에서 돌려야 할 것 같은데, 실제로 프로덕션에서 쓸 만한 품질이 나오나요? 특히 한국어 처리는 어떤가 궁금합니다. 체리피킹 되면 안 되니까 실제 써본 분의 의견이 좋겠어요.
GPU 메모리 용량이 좀 제한적이라 중간 크기 모델들을 고민 중인데 추천 받을 만한 거 있으면 말씀해 주세요.
추천 0 비추천 0