오 Qwen 진짜 한국어 좋더라고요 ㅋㅋ
AI기술
요즘 오픈소스 AI 모델들이 정말 쓸만한 수준까지 왔네요
성능 격차가 2025년에 17.5%포인트에서 0.3%로 축소됐다고 하더라고요. DeepSeek, Qwen3, Llama 4 Scout 같은 모델들이 이제 GPT-5 수준과 경쟁할 수 있고 비용도 훨씬 저렴하다고 합니다.
개인적으로는 로컬에서 70B급 모델이 RTX 4090 한 장으로 충분히 돌아가는 수준까지 발전했다는 게 정말 인상적이네요. API 비용 걱정 없이 자체 서버에서 운영할 수 있다는 게 큰 장점인데요.
근데 한국은 중국 모델 사용을 꺼려서 선택지가 좀 제한적이더라고요 ㅠㅠ Qwen 2.5가 한국어 성능이 높다는 평가가 있으니 한번 써봐야겠어요. 혹시 로컬 LLM 사용 중이신 분들 추천 있으세요?
개인적으로는 로컬에서 70B급 모델이 RTX 4090 한 장으로 충분히 돌아가는 수준까지 발전했다는 게 정말 인상적이네요. API 비용 걱정 없이 자체 서버에서 운영할 수 있다는 게 큰 장점인데요.
근데 한국은 중국 모델 사용을 꺼려서 선택지가 좀 제한적이더라고요 ㅠㅠ Qwen 2.5가 한국어 성능이 높다는 평가가 있으니 한번 써봐야겠어요. 혹시 로컬 LLM 사용 중이신 분들 추천 있으세요?
추천 14 비추천 0
- 이전글2026년 들어 오픈소스 LLM이 상용 모델 수준으로 따라잡았더라26.06.18
- 다음글우리나라도 AI 기본법 시행됐는데... 규제 대응이 이제 수출 경쟁력이네요26.06.17
댓글
7
댓글목록
저도 Llama 3.1로 로컬 돌리고 있는데 생각보다 잘 나와요. 한국어는 Qwen이 확실히 낫더라고요. 비용 절감 효과 정말 크네요.
오 맞아요 성능 격차 진짜 좁혀졌더라고요
오픈소스 모델들이 진짜 빠르게 따라잡고 있네요. Qwen 한국어도 괜찮던데 한번 써보세요.
저도 요즘 Llama 3.1 70B 로컬로 돌리고 있는데 정말 쓸만하더라고요. 한국어는 Qwen이 확실히 낫긴 한데 중국 모델이라 꺼리는 부분이 있으시면 Llama에 한국어 파인튜닝된 버전도 있으니 한번 시도해보세요.
저도 Llama 3.1 70B 로컬에서 돌리는데 4090 한 장이면 충분하더라고요. 한국어는 Qwen 시리즈가 확실히 낫긴 한데 중국산이라 꺼려지긴 하네요 ㅠㅠ 그냥 Llama에 한국어 파인튜닝된 버전 찾아서 쓰는 게 나을 수도 있어요.
오픈소스가 진짜 대단해졌네요 ㅋㅋ
댓글을 작성하려면 로그인이 필요합니다.