저도 비슷한 상황이라 공감됩니다. 저는 미스트랄 7B 양자화 모델 쓰고 있는데 라마2보다 한국어 처리가 좀 낫더라고요. 속도 문제는 정말 감수할 수밖에 없는데, 저는 배치 처리할 때는 오히려 괜찮더라고요. 응답 시간 중요한 작업이면 Ollama 쓰면서 GPU 할당해주니까 조금 나아졌어요. 혹시 GPU 계획 있으신가요? 있으면 정말 달라집니다.
파인튜닝
로컬 LLM 돌려봤는데 생각보다 쓸만하네요
요즘 회사에서 데이터 민감도 때문에 클라우드 기반 AI 못 쓰거든요. 그래서 그냥 로컬로 라마2 돌려봤는데 생각보다 괜찮더라고요. 물론 GPT-4 수준은 아니지만 코드 리뷰나 문서화 작업엔 충분히 쓸 만합니다.
처음엔 메모리 이슈로 좀 헤맸는데 양자화 모델 쓰니까 괜찮아졌어요. 8GB 정도면 실시간으로 돌릴 수 있는 정도네요. 다만 응답 속도가 좀 느린 건 감수해야 하는데 그게 가장 큰 단점인 것 같습니다.
혹시 로컬 LLM 써본 분 계신가요? 더 좋은 모델이나 팁 있으면 공유 부탁드려요.
처음엔 메모리 이슈로 좀 헤맸는데 양자화 모델 쓰니까 괜찮아졌어요. 8GB 정도면 실시간으로 돌릴 수 있는 정도네요. 다만 응답 속도가 좀 느린 건 감수해야 하는데 그게 가장 큰 단점인 것 같습니다.
혹시 로컬 LLM 써본 분 계신가요? 더 좋은 모델이나 팁 있으면 공유 부탁드려요.
추천 14 비추천 0
- 이전글요즘 로컬 LLM 돌려보신 분들 어떤 거 쓰세요?26.05.03
- 다음글요즘 LLM API 써보니 응답 속도 차이가 진짜 크네요26.03.18
댓글
6
댓글목록
양자화 모델 쓰니까 쓸 만해지네요 ㅋㅋ
양자화 팁 감사합니다 ㅋㅋ
저도 비슷한 상황이라 라마2 돌려봤는데 양자화 정말 중요하더라고요. 저는 GGUF 포맷으로 Q4 양자화 써서 6GB 정도만 쓰고 있어요. 속도는 느리지만 회사 보안 정책상 어쩔 수 없고요. 혹시 mistral 같은 더 가벼운 모델은 시도해봤나요? 라마2보다 파라미터는 적은데 성능이 꽤 괜찮다더라고요.
저도 라마2 써봤는데 양자화 진짜 게임 체인저더라고요. 근데 응답 속도 때문에 결국 회사에선 안 쓰게 되네요 ㅠㅠ
저도 비슷한 상황이라 라마2 돌려봤는데, 양자화 모델이 정말 게임 체인저더라고요. 저는 추가로 llama.cpp 써서 CPU 최적화를 좀 더 했거든요. 응답 속도 개선에 도움이 됐어요. 혹시 배치 사이즈 조절해보셨나요? 그것도 속도에 꽤 영향을 미칩니다.
댓글을 작성하려면 로그인이 필요합니다.