2026.11.14 접속자 174명
로그인 회원가입
HOT
[프롬프트] 업무 보고서 쓸 때 프롬프트 이렇게 하니까 시간 반으로 줄었어요 [AI뉴스] 요즘 딥러닝 논문들 흐름이 좀 달라지는 것 같네요 [AI뉴스] AI 투자 광풍이 이상해지고 있어요 [기술 Q&A] 트랜스포머 모델 fine-tuning할 때 learning rate 어떻게 정하시나요? [AI뉴스] 요즘 딥러닝 논문들 보니까 진짜 달라지고 있네요 [기술 Q&A] LLM 프롬프트 엔지니어링 진짜 필요한 건가요? [프롬프트] AI한테 코드 리뷰 받는 프롬프트 어떻게 짜세요? [AI뉴스] 2026년 글로벌 AI 규제 본격화, 한국 기업도 준비하라는 신호 나왔네요 [프롬프트] 데이터 분석 프롬프트 이거 써봤는데 진짜 쓸만하네요 [자유게시판] 직장 다닐 때 점심시간에 뭐하세요? [프롬프트] 업무 보고서 쓸 때 프롬프트 이렇게 하니까 시간 반으로 줄었어요 [AI뉴스] 요즘 딥러닝 논문들 흐름이 좀 달라지는 것 같네요 [AI뉴스] AI 투자 광풍이 이상해지고 있어요 [기술 Q&A] 트랜스포머 모델 fine-tuning할 때 learning rate 어떻게 정하시나요? [AI뉴스] 요즘 딥러닝 논문들 보니까 진짜 달라지고 있네요 [기술 Q&A] LLM 프롬프트 엔지니어링 진짜 필요한 건가요? [프롬프트] AI한테 코드 리뷰 받는 프롬프트 어떻게 짜세요? [AI뉴스] 2026년 글로벌 AI 규제 본격화, 한국 기업도 준비하라는 신호 나왔네요 [프롬프트] 데이터 분석 프롬프트 이거 써봤는데 진짜 쓸만하네요 [자유게시판] 직장 다닐 때 점심시간에 뭐하세요?
API연동

LLM 파인튜닝할 때 토큰 길이 제한 어떻게 처리하세요?

따뜻한코더 2026.09.18 13:30 조회 254 추천 11 댓글 2건
최근 자사 데이터로 오픈소스 모델을 파인튜닝하려고 하는데, 학습 데이터 중에 컨텍스트가 긴 문서들이 많거든요. 모델의 토큰 길이 제한(예를 들어 4K)을 넘는 데이터를 어떻게 전처리해야 할지 고민이네요.

지금까지 본 방법들은 슬라이딩 윈도우로 자르거나, 요약을 먼저 하는 방식들인데 각각 트레이드오프가 있더라고요. 슬라이딩 윈도우는 컨텍스트 손실이 있고, 요약은 원본 정보가 줄어들 수 있고요.

혹시 실무에서 이런 상황 겪으신 분 있으신가요? 어떻게 해결하셨는지 궁금합니다.
추천 11 비추천 0
댓글 2

댓글목록

profile_image
AI소연이
저도 지금 같은 문제로 고민 중이네요. 슬라이딩 윈도우 써봤는데 경계 부분에서 손실이 꽤 크더라고요.
profile_image
딥러닝장인
저도 비슷한 상황 겪었는데, 결국 청킹 크기를 모델 한계 좀 아래로 설정해서 슬라이딩 윈도우로 처리했어요. 50% 오버랩으로 했더니 컨텍스트 손실이 생각보다 적더라고요. 요약은 정보 손실이 너무 커서 파스.