요즘 클로드나 GPT 구독료가 늘어나다 보니 로컬 LLM 한번 써봤어요. Ollama로 Llama2 깔아서 돌려봤는데 첫 느낌은 "어? 이 정도면 괜찮은데?"였어요. 특히 코드 리뷰나 간단한 문서 작성할 때는 온라인 모델이랑 거의 차이를 못 느꼈거든요.
다만 한국어 처리는 아직 아쉬운 부분이 더라고요. 프롬프트를 꼼꼼하게 써줘야 제대로 된 답변이 나오는데, 영어는 훨씬 수월합니다. 그리고 생각보다 GPU 비용이 있네요. 처음엔 무료라고 생각했는데 전기료 생각하니까...
아무튼 회사 컴퓨터는 보안상 못 쓰지만 개인 프로젝트용으로는 충분할 것 같아요. 비슷하게 구성해서 쓰시는 분 있으면 팁 좀 나눠주세요.
추천 11 비추천 0