저도 같은 상황이라 공감 많이 돼요. CPU로 돌릴 땐 정말 답답하더라고요 ㅎㅎ 저는 결국 중고 RTX 3060 구해서 물려주니까 속도가 확 나아졌어요. 5~6만 원대면 충분할 것 같습니다.
오류해결
로컬 LLM 돌려보니까 생각보다 쓸만하네요
요즘 클라우드 API 비용이 자꾸만 늘어나서 올리마(Ollama)로 로컬 환경에 라마2 돌려봤어요. 처음엔 그냥 장난 삼아서 해본 건데, 생각보다 품질이 꽤 괜찮더라고요. 특히 코드 리뷰나 문서 작성 수준의 작업들은 충분히 커버할 수 있겠다는 느낌입니다.
다만 토큰 생성 속도가 확실히 느립니다. GPU 없이 CPU로만 돌리니까 한 문장 나오는데 몇 초씩 걸려요. 회사 업무처럼 빠른 응답이 필요한 작업엔 쓰기 힘들 것 같아요. 개인 프로젝트나 밤시간에 돌려둘 작업들은 충분할 것 같긴 한데요.
혹시 로컬 LLM 안정적으로 운영하시는 분들 계시면 팁 좀 나눠주실 수 있을까요. 메모리 관리나 모델 최적화 관련해서요.
다만 토큰 생성 속도가 확실히 느립니다. GPU 없이 CPU로만 돌리니까 한 문장 나오는데 몇 초씩 걸려요. 회사 업무처럼 빠른 응답이 필요한 작업엔 쓰기 힘들 것 같아요. 개인 프로젝트나 밤시간에 돌려둘 작업들은 충분할 것 같긴 한데요.
혹시 로컬 LLM 안정적으로 운영하시는 분들 계시면 팁 좀 나눠주실 수 있을까요. 메모리 관리나 모델 최적화 관련해서요.
추천 14 비추천 0
- 이전글요즘 로컬 LLM 돌려보신 분들 어떤 거 쓰세요?26.05.02
- 다음글최근 LLM들 Context Window 늘어났는데 실제로 효과 있나요?26.05.01
댓글
4
댓글목록
CPU로만 돌리니까 속도가 병목이 되는군요 ㅠㅠ
저도 비슷하게 로컬로 돌려봤는데 속도가 정말 네요 ㅠㅠ
저도 라마2 돌려봤는데 CPU로는 진짜 느리더라고요 ㅠㅠ
댓글을 작성하려면 로그인이 필요합니다.