저도 요즘 Llama 3.1 70B 로컬에서 돌리고 있는데 정말 체감이 다르더라고요. 한국어도 잘하고 비용 걱정 없어서 좋습니다. 다만 특정 분야는 여전히 GPT-4o가 나으니까 용도별로 섞어서 쓰는 중이에요.
AI연구
2026년 LLM 모델들이 좀 달라진 거 느껴보셨나요?
최근에 Meta, Google, Mistral이 거의 동시에 발표한 최신 모델들이 상용 모델과의 간격을 완전히 좁혔다더라고요. 그동안 OpenAI나 Anthropic 같은 큰 회사들만 잘나다고 생각했는데 이제는 오픈소스 진영도 정말 뜨거워진 것 같아요.
로컬에서 돌리는 오픈소스 LLM은 70B급 모델이 RTX 4090 한 장으로 양자화 구동 가능한 수준까지 발전했고, 한국어 성능도 상용 모델에 근접했다고 하네요. 진짜 빠르더라고요 ㅎㅎ 데이터 외부 전송이 없는 프라이버시, 사용량 무관 정액 비용, 오프라인 가능성 때문에 로컬 LLM 쓰는 분들이 늘어나는 것 같아요.
그런데 2026년 LLM 시장이 단일한 절대 강자 모델로 수렴하지 않고, 과제 유형과 평가 기준에 따라 OpenAI, Google, Anthropic 사이에서 지속적으로 이동하고 있다고 하더라고요. 이게 오히려 좋은 건지 복잡한 건지 모르겠습니다 ㅠㅠ 너무 많아서 선택이 어렵거든요. 다들 요즘 뭐 쓰세요?
로컬에서 돌리는 오픈소스 LLM은 70B급 모델이 RTX 4090 한 장으로 양자화 구동 가능한 수준까지 발전했고, 한국어 성능도 상용 모델에 근접했다고 하네요. 진짜 빠르더라고요 ㅎㅎ 데이터 외부 전송이 없는 프라이버시, 사용량 무관 정액 비용, 오프라인 가능성 때문에 로컬 LLM 쓰는 분들이 늘어나는 것 같아요.
그런데 2026년 LLM 시장이 단일한 절대 강자 모델로 수렴하지 않고, 과제 유형과 평가 기준에 따라 OpenAI, Google, Anthropic 사이에서 지속적으로 이동하고 있다고 하더라고요. 이게 오히려 좋은 건지 복잡한 건지 모르겠습니다 ㅠㅠ 너무 많아서 선택이 어렵거든요. 다들 요즘 뭐 쓰세요?
추천 14 비추천 0
- 이전글한국 AI 기본법 1월에 시행됐는데 아직도 준비 안 된 기업 많대요26.06.28
- 다음글AI 기본법 시행되는데, 회사나 개인이 챙겨야 할 게 이렇게 많다고?26.06.27