최근 연구들이 단순히 모델 크기를 키우는 방식을 넘어서, 시스템 안정성과 아키텍처 효율성 쪽으로 나아가는 게 느껴져요. 특히 훈련과 추론 과정의 자원 소모를 극적으로 줄이는 최적화 기법들이 두드러졌는데, 13개의 훈련 매개변수만으로도 모델 추론 성능을 90% 이상 회복하는 논문도 나왔다고 하더라고요.
올 상반기 논문들을 보면 긴 텍스트를 모두 생성하는 대신 추론 효율을 극대화하려는 시도들이 눈에 띄는데, 특히 추상적 토큰 시퀀스로 압축해서 추론 비용을 획기적으로 줄이는 연구들도 있더라고요. 그럼에도 제조 현장의 오염된 데이터 문제를 푸는 ICML 2026 논문들도 나올 정도로 실용적인 연구들이 많아지는 것 같아요.
결국 딥러닝도 이제는 '크고 비싼 것'이 아니라 '작고 효율적인 것'으로 가는 추세라는 게 느껴집니다.