저도 같은 문제로 고민했는데, 결국 용도에 따라 다른 것 같아요. 요약 방식은 정보 손실이 커서 QA 태스크에선 별로더라고요. 저는 슬라이딩 윈도우로 50% 오버래핑해서 청크를 만들었는데 파인튜닝 결과가 더 나았어요. 근데 계산 비용은 확 늘어나긴 합니다 ㅠㅠ
파인튜닝
LLM 파인튜닝할 때 토큰 길이 제한 어떻게 처리하세요?
요즘 자사 데이터로 LLM을 파인튜닝해보고 있는데, 입력 텍스트가 모델의 컨텍스트 윈도우를 자주 초과하거든요. 지금은 그냥 긴 문서를 자르고 있는데 이게 맞는 건지 확신이 안 서요.
혹시 이런 상황에서 쓰는 best practice가 있을까요? 슬라이딩 윈도우 방식으로 오버래핑하게 자르는 게 낫다는 얘기도 있고, 아니면 애초에 문서를 요약해서 주는 게 낫다는 의견도 있고... 실제로 어떤 방식이 효과가 더 좋은지 궁금합니다.
혹시 해보신 분 있으면 어떤 결과였는지 공유 부탁드려요.
혹시 이런 상황에서 쓰는 best practice가 있을까요? 슬라이딩 윈도우 방식으로 오버래핑하게 자르는 게 낫다는 얘기도 있고, 아니면 애초에 문서를 요약해서 주는 게 낫다는 의견도 있고... 실제로 어떤 방식이 효과가 더 좋은지 궁금합니다.
혹시 해보신 분 있으면 어떤 결과였는지 공유 부탁드려요.
추천 13 비추천 0
- 이전글LLM Fine-tuning할 때 LoRA vs Full fine-tuning, 실무에선 뭐가 더 나으신가요?26.07.04
- 다음글요즘 LLM 파인튜닝 정말 필요할까요?26.07.03
댓글
2
댓글목록
저도 슬라이딩 윈도우로 오버래핑해서 했는데 그냥 자르는 것보다는 낫더라고요. 다만 문맥 손실이 좀 있어서 결국 요약 후에 파인튜닝하는 게 가장 좋은 결과였어요. 데이터 특성에 따라 다를 것 같긴 한데 한번 비교해보시는 것도 괜찮을 것 같습니다.
댓글을 작성하려면 로그인이 필요합니다.