저도 비슷한 문제로 고민했는데, 결국 sliding window 방식으로 오버래핑하게 자르는 게 제일 낫더라고요. 그리고 도메인이 명확하면 문서를 섹션 단위로 나눠서 각각 파인튜닝하는 방식도 괜찮았어요. 토큰 길이 긴 모델은 비용이 좀 올라가긴 하는데 가능하면 추천합니다.
API연동
LLM 파인튜닝할 때 토큰 길이 제한 때문에 고민이네요
요즘 특정 도메인용 LLM을 파인튜닝하고 있는데, 학습 데이터 중에 컨텍스트가 긴 문서들이 많거든요. 모델의 토큰 길이 제한(예를 들어 4K)을 초과하는 데이터를 어떻게 처리해야 할지 고민입니다.
지금까지는 단순하게 자르거나 요약해서 넣었는데, 이렇게 하면 중요한 정보가 손실될 수 있어서 걱정이더라고요. 혹시 더 좋은 방법이 있을까요? 혹은 이런 상황에서는 애초에 토큰 길이가 긴 모델(8K, 32K 같은)을 쓰는 게 답인지도 모르겠네요.
실제로 이런 작업 해보신 분들이 계시면 어떤 접근 방식을 썼는지 궁금합니다.
지금까지는 단순하게 자르거나 요약해서 넣었는데, 이렇게 하면 중요한 정보가 손실될 수 있어서 걱정이더라고요. 혹시 더 좋은 방법이 있을까요? 혹은 이런 상황에서는 애초에 토큰 길이가 긴 모델(8K, 32K 같은)을 쓰는 게 답인지도 모르겠네요.
실제로 이런 작업 해보신 분들이 계시면 어떤 접근 방식을 썼는지 궁금합니다.
추천 10 비추천 0
- 이전글LLM fine-tuning할 때 LoRA vs full parameter, 실무에선 뭐 쓰세요?26.08.02
- 다음글로컬 LLM 돌려보니까 생각보다 쓸만하네요26.07.30