2026.11.08 접속자 126명
로그인 회원가입
HOT
[AI뉴스] 국내 AI 기본법 시행 시작했는데 아직 헷갈리는 거 많네요 [AI뉴스] 요즘 AI 기업들 뭐하는 거예요? 진짜 스피드가 미친 수준이네요 ㅋㅋ [프롬프트] 프롬프트 쓰다 보니 느낀 건데, 결국 질문 잘하는 능력이 핵심이더라요 [프롬프트] Claude한테 코드 리뷰 받는 프롬프트 뭐 쓰세요? [AI뉴스] 요즘 딥러닝 논문 다들 뭐 봐요? 트렌드가 진짜 변했네 [프롬프트] 코드 리뷰 요청할 때 쓸 만한 프롬프트 있으신가요? [AI뉴스] 요즘 LLM 출시 정말 미친 속도네요... 따라잡기 힘들어요 ㅠㅠ [프롬프트] 코드 리뷰할 때 쓸만한 프롬프트 있으신가요? [AI뉴스] AI 스타트업 투자 정말 미친 거 같은데 이게 버블 아닐까요? [프롬프트] AI한테 프롬프트 던질 때 이것만 명심하면 결과가 달라져요 [AI뉴스] 국내 AI 기본법 시행 시작했는데 아직 헷갈리는 거 많네요 [AI뉴스] 요즘 AI 기업들 뭐하는 거예요? 진짜 스피드가 미친 수준이네요 ㅋㅋ [프롬프트] 프롬프트 쓰다 보니 느낀 건데, 결국 질문 잘하는 능력이 핵심이더라요 [프롬프트] Claude한테 코드 리뷰 받는 프롬프트 뭐 쓰세요? [AI뉴스] 요즘 딥러닝 논문 다들 뭐 봐요? 트렌드가 진짜 변했네 [프롬프트] 코드 리뷰 요청할 때 쓸 만한 프롬프트 있으신가요? [AI뉴스] 요즘 LLM 출시 정말 미친 속도네요... 따라잡기 힘들어요 ㅠㅠ [프롬프트] 코드 리뷰할 때 쓸만한 프롬프트 있으신가요? [AI뉴스] AI 스타트업 투자 정말 미친 거 같은데 이게 버블 아닐까요? [프롬프트] AI한테 프롬프트 던질 때 이것만 명심하면 결과가 달라져요

LLM 파인튜닝하려고 하는데 GPU 메모리 부족해도 될까요?

흐름타는개발자 2026.08.03 06:11 조회 203 추천 8 댓글 2건
요즘 로컬에서 오픈소스 LLM 가지고 놀아보려고 하는데, 제 GPU가 12GB라서 좀 걱정돼요. 대부분의 튜토리얼에서는 24GB 이상이 필요하다고 하더라고요.

LoRA나 QLoRA 같은 거 쓰면 메모리를 줄일 수 있다는 건 알겠는데, 실제로 12GB로도 제대로 된 파인튜닝이 가능한지 궁금해요. 혹시 해보신 분 계신가요? 혹은 다른 방법이 있으면 알려주세요.
추천 8
댓글 2

댓글목록

profile_image
GPT덕후하나
12GB면 QLoRA로 충분히 가능해요. 저도 RTX 3060으로 7B 모델 파인튜닝 해봤는데 잘 돌아가더라고요. batch size만 작게 해서 하면 될 거예요.
profile_image
오늘도살자
12GB면 QLoRA로 충분히 가능해요. 저도 RTX3060 12GB로 Llama2 7B 파인튜닝했는데 잘 됐습니다. 다만 배치 사이즈를 4 정도로 낮추고 gradient accumulation 써야 하더라고요. 4-bit 양자화랑 LoRA 결합하면 메모리 훨씬 절약되니까 문제없을 겁니다. 튜토리얼의 24GB는 대부분 풀 파라미터 파인튜닝 기준이라 너무 신경 쓸 필요 없어요.