최근에 긴 시퀀스 처리하면서 attention 레이어의 연산량 때문에 고민이 많아요. 표준 self-attention이 O(n²) 복잡도라서 입력이 길어지면 메모리도 터지고 속도도 장난 아니더라고요.
sparse attention나 local attention 같은 방식들을 봤는데 실제로 프로젝트에 적용해보신 분 계신가요? 정확도 손실은 얼마나 되는지, 실제로 얼마나 빨라지는지 궁금해요. 아니면 다른 방법들 써보신 경험 있으시면 공유 부탁드립니다.
참고로 저는 지금 Python에서 PyTorch 쓰고 있고, 모델 재학습은 가능한 상황이에요.
추천 3 비추천 0