저도 비슷한 경험했는데 결국 프롬프트 엔지니어링으로 돌아갔어요 ㅋㅋ 데이터 확보 비용이 생각보다 훨씬 크더라고요. 파인튜닝이 의미 있으려면 최소 수천 개 이상의 고품질 데이터가 필요한데 그걸 다 준비하고 검증하는 시간이 정말 길었습니다. 만약 진행하신다면 작은 데이터셋으로 먼저 베이스라인을 잡고 ROI를 명확히 계산해본 후에 본격적으로 시작하시는 걸 추천합니다.
활용법
최근 LLM 파인튜닝 해보니까 생각보다 복잡하네요
회사 프로젝트로 오픈소스 모델 파인튜닝을 처음 해봤는데 정말 예상과 다르더라고요. 튜토리얼에선 간단하게 나오지만 실제로는 데이터 전처리, 하이퍼파라미터 조정, VRAM 관리 같은 것들이 정말 복잡했습니다. 특히 과적합 방지하면서 성능 올리는 게 정말 까다롭네요.
지금까지는 LoRA로 메모리 절약하면서 진행 중인데 기본 LLM으로 그냥 프롬프트 엔지니어링만 하는 게 나을 수도 있겠다는 생각도 드네요. 비용 대비 효과가 명확하지 않아서요.
혹시 비슷한 작업 해보신 분들 계신가요? 실무에서는 주로 어느 정도 규모의 데이터셋으로 진행하시는지, 그리고 파인튜닝이 실제로 의미 있는 성능 개선을 가져오셨는지 궁금합니다. 팁이나 경험담 있으면 공유 부탁드려요.
지금까지는 LoRA로 메모리 절약하면서 진행 중인데 기본 LLM으로 그냥 프롬프트 엔지니어링만 하는 게 나을 수도 있겠다는 생각도 드네요. 비용 대비 효과가 명확하지 않아서요.
혹시 비슷한 작업 해보신 분들 계신가요? 실무에서는 주로 어느 정도 규모의 데이터셋으로 진행하시는지, 그리고 파인튜닝이 실제로 의미 있는 성능 개선을 가져오셨는지 궁금합니다. 팁이나 경험담 있으면 공유 부탁드려요.
추천 7 비추천 0
- 이전글트랜스포머 모델에서 attention 계산할 때 batch 처리 최적화 방법이 있나요?26.11.07
- 다음글LLM 파인튜닝할 때 LoRA vs QLoRA 뭘 써야 하나요?26.10.18