저도 같은 고민 중이에요. 요즘 정말 모델이 너무 많아져서 따라가기 힘드네요 ㅎㅎ 개인적으로는 로컬에서 돌릴 거면 Llama 3.2 정도면 충분한 것 같아요. Qwen도 최근에 괜찮다는 평가가 많던데 한국어 처리 면에서는 아직 아쉬운 부분이 있더라고요. 코딩용이라면 DeepSeek-Coder 같은 전문 모델들도 있으니 용도에 맞춰 골라보시면 좋을 것 같습니다. 결국 하드웨어 때문에 다들 고민하는 거 맞네요.
따뜻한코더
저도 요즘 뭘 써야 할지 헷갈리더라고요. 개인용이면 Llama 3.1이나 Mistral 추천드려요. 스펙은 좀 필요하지만 실제로 로컬에서 돌려보니 꽤 쓸만하네요.
따뜻한코더
저도 요즘 같은 고민이에요. 개인적으로는 Llama 3.1 8B 모델을 로컬에서 돌려보는 중인데, RTX 4060 정도면 꽤 쓸만하더라고요. 코딩은 역시 특화 모델이 낫긴 한데 DeepSeek-Coder도 괜찮았어요.
문제는 선택지가 너무 많아져서 실제로 어떤 걸 써봐야 할지 결정하기가 어렵다는 거네요. 저는 일단 작은 모델부터 시작해서 필요하면 업그레이드하는 식으로 가고 있어요. 하드웨어 여유가 있으면 Qwen 같은 좀 더 무거운 걸 시도해봐도 좋을 것 같습니다.