저도 Ollama 쓰는데 Mistral 7B가 꽤 괜찮더라고요. VRAM 8GB면 충분히 돌아요. 다만 양자화 설정을 좀 건드려야 속도가 나오네요.
API연동
요즘 로컬 LLM 써보신 분 계신가요?
최근에 Ollama로 Llama 2 돌려봤는데 응답 속도가 생각보다 괜찮더라고요. 특히 개인 프로젝트에서 API 비용 걱정 안 해도 되는 게 장점인 것 같아요.
다만 같은 질문을 GPT-4나 Claude랑 비교하면 답변 질이 아직 좀 떨어지긴 하네요. 특히 복잡한 로직 설명할 때는 더 그렇고요. 그래도 간단한 코드 생성이나 문서 정리 같은 건 충분히 쓸 만한 수준이라고 생각합니다.
혹시 로컬 LLM 쓰면서 좋은 모델 찾으셨거나 최적화 팁이 있으시면 공유 부탁드려요. 특히 VRAM 8GB 정도에서 돌릴 수 있는 추천 모델이 있으면 더 좋겠습니다.
다만 같은 질문을 GPT-4나 Claude랑 비교하면 답변 질이 아직 좀 떨어지긴 하네요. 특히 복잡한 로직 설명할 때는 더 그렇고요. 그래도 간단한 코드 생성이나 문서 정리 같은 건 충분히 쓸 만한 수준이라고 생각합니다.
혹시 로컬 LLM 쓰면서 좋은 모델 찾으셨거나 최적화 팁이 있으시면 공유 부탁드려요. 특히 VRAM 8GB 정도에서 돌릴 수 있는 추천 모델이 있으면 더 좋겠습니다.
추천 12 비추천 0
- 이전글LLM fine-tuning 직접 해보니까 생각보다 복잡하네요26.05.25
- 다음글LLM 파인튜닝할 때 토큰 길이 제한 어떻게 처리하세요?26.05.19
댓글
2
댓글목록
저도 비슷한 환경에서 Mistral 7B 써보고 있는데 Llama 2보다 한국어 처리가 좀 더 낫더라고요. 8GB VRAM이면 4-bit 퀀타이징하면 충분히 돌아갑니다. 다만 말씀하신 대로 복잡한 논리나 코딩 문제는 확실히 아직 부족한 느낌이 있어요. 저는 결국 간단한 프롬프트 테스트나 문서 생성 용도로 제한해서 쓰는 중입니다. 최적화 팁이라면 Ollama 말고 vLLM 써보는 것도 추천드려요. 속도가 훨씬 빠거든요.
댓글을 작성하려면 로그인이 필요합니다.