저도 비슷한 문제 겪었는데 결국 두 가지 조합으로 가더라고요. 짧은 문서들은 그냥 자르고, 긴 문서는 Llama 2 Long으로 따로 파인튜닝했어요. 롱컨텍스트로 전부 가면 vram도 많이 먹고 학습도 오래 걸려서요. 데이터 특성에 따라 전략을 나누는 게 비용 대비 효율이 더 좋았습니다.
API연동
LLM 파인튜닝할 때 토큰 길이 제한 어떻게 해결하세요?
요즘 자사 데이터로 LLM을 파인튜닝하려고 하는데 문제가 생겼네요. 학습 데이터 중에 컨텍스트가 꽤 긴 문서들이 많거든요. 근데 모델의 토큰 제한(대부분 4K~8K)에 걸려서 데이터를 자르거나 버려야 하는 상황이 계속 생기더라고요.
혹시 이런 경우 어떻게 대처하시나요? 그냥 자르고 학습하는 게 베스트인지, 아니면 롱컨텍스트 모델(Llama 2 Long 같은)로 갈아타는 게 낫는지 고민 중입니다. 비용도 고려해야 되고 학습 시간도 늘어날 것 같아서요.
혹시 이 과정에서 데이터 손실 없이 처리하신 경험 있으신 분 있으면 팁 공유 부탁드려요.
혹시 이런 경우 어떻게 대처하시나요? 그냥 자르고 학습하는 게 베스트인지, 아니면 롱컨텍스트 모델(Llama 2 Long 같은)로 갈아타는 게 낫는지 고민 중입니다. 비용도 고려해야 되고 학습 시간도 늘어날 것 같아서요.
혹시 이 과정에서 데이터 손실 없이 처리하신 경험 있으신 분 있으면 팁 공유 부탁드려요.
추천 10 비추천 0
- 이전글요즘 RAG 시스템 구축하면서 느낀 점들26.09.30
- 다음글LLM 파인튜닝 할 때 LoRA vs QLoRA 뭐가 나을까요?26.09.28
댓글
2
댓글목록
저도 비슷한 상황을 겪었는데 결국 두 가지를 함께 했어요. 먼저 데이터를 슬라이딩 윈도우로 겹치게 자르고, 동시에 컨텍스트 길이가 긴 모델(Llama 2 70B나 최신 모델들)로 파인튜닝 했거든요.
슬라이딩으로 자르면 데이터 손실을 최소화할 수 있더라고요. 예를 들어 8K 제한이면 6K씩 끊되 2K를 오버랩시키는 식으로요. 그렇게 하니까 학습 데이터도 늘어나고 문맥 연결성도 어느 정도 유지됩니다.
롱컨텍스트 모델은 확실히 좋은데 비용이 문제네요. 내 경험상 우선순위는 (1) 슬라이딩
슬라이딩으로 자르면 데이터 손실을 최소화할 수 있더라고요. 예를 들어 8K 제한이면 6K씩 끊되 2K를 오버랩시키는 식으로요. 그렇게 하니까 학습 데이터도 늘어나고 문맥 연결성도 어느 정도 유지됩니다.
롱컨텍스트 모델은 확실히 좋은데 비용이 문제네요. 내 경험상 우선순위는 (1) 슬라이딩
댓글을 작성하려면 로그인이 필요합니다.