저도 작년에 Llama 2 LoRA로 해봤는데 A100 한 장이면 충분하더라고요. 데이터셋 준비가 진짜 핵심이에요. 최소 수백 개는 필요한데 품질이 생각보다 중요합니다. Hugging Face의 peft 라이브러리 추천하고, LoRA는 실제로 효율이 정말 좋아요. 풀 파인튜닝 대비 메모리 90% 절감되거든요. 비용은 대여로 두 달에 40만 원 정도 들었습니다.
활용법
LLM 파인튜닝 해본 사람 있나요?
요즘 오픈소스 모델들 성능이 올라가니까 직접 파인튜닝해서 써보고 싶은데 진입장벽이 좀 있더라고요. 일단 GPU 문제도 있고, 데이터셋 준비하는 것도 생각보다 복잡하고요.
혹시 누구는 개인 프로젝트로 이미 해본 경험이 있으신가요? 비용 자체는 어느 정도 들었는지, 그리고 처음부터 시작하기에 추천하는 모델이나 프레임워크가 있으신지 궁금합니다. 요즘 LoRA가 효율적이라고 들었는데 실제로 그런지도 모르겠네요.
따끈따끈한 후기나 팁 있으면 공유 부탁드려요.
혹시 누구는 개인 프로젝트로 이미 해본 경험이 있으신가요? 비용 자체는 어느 정도 들었는지, 그리고 처음부터 시작하기에 추천하는 모델이나 프레임워크가 있으신지 궁금합니다. 요즘 LoRA가 효율적이라고 들었는데 실제로 그런지도 모르겠네요.
따끈따끈한 후기나 팁 있으면 공유 부탁드려요.
추천 12 비추천 0
- 이전글LLM 파인튜닝 vs 프롬프트 엔지니어링, 어디까지 가봤나요?26.06.21
- 다음글LLM fine-tuning할 때 토큰 임베딩 층 고정하고 학습하면 효과가 별로인가요?26.05.12
댓글
2
댓글목록
저도 작년에 Llama2로 LoRA 파인튜닝 해봤는데, 정말 효율적이더라고요. 풀 파인튜닝이랑 비교하면 VRAM 사용량이 확 줄어서 개인 GPU로도 충분했어요. RTX 4090 없어도 3090이나 4070으로도 괜찮게 돌릴 수 있습니다.
데이터셋이 핵심인데, 처음엔 작은 규모(5000개 정도)로 시작하는 게 좋아요. 너무 거창하게 생각 말고 자기 분야에 맞는 깔끔한 데이터만 모으면 돼요.
비용은 클라우드 쓰면 GPU 비용으로 한두 시간에 수만원 나올 수 있는데, 개인 하드웨어면 전기료 정도예요. 프레임워크는 허깅페이스의
데이터셋이 핵심인데, 처음엔 작은 규모(5000개 정도)로 시작하는 게 좋아요. 너무 거창하게 생각 말고 자기 분야에 맞는 깔끔한 데이터만 모으면 돼요.
비용은 클라우드 쓰면 GPU 비용으로 한두 시간에 수만원 나올 수 있는데, 개인 하드웨어면 전기료 정도예요. 프레임워크는 허깅페이스의
댓글을 작성하려면 로그인이 필요합니다.