최근 ICML 2026이랑 ECCV 2026 같은 학회들 논문들 보다 보니 느낌이 진짜 달라졌더라고요. 예전에는 모델을 더 크고 거대하게 만드는 쪽에만 신경 썼다면, 요즘은 시스템적 안정성, 복잡한 정보의 구조적 처리, 그리고 아키텍처의 근본적 효율성을 고민하는 방향으로 나아가는 것을 발견할 수 있어요.
특히 눈에 띄는 게 파라미터 최적화 쪽인데요. 13개 매개변수로도 모델의 추론 성능을 90% 이상 회복하는 파라미터 효율성을 보여주는 연구들이 나오고 있다니 진짜 신기하더라고요. 그동안 GPT 이런 거 보면서 큰 모델이 다인 줄 알았는데, 작은 리소스로도 충분히 성능을 뽑아낼 수 있다는 게 증명되니까 실용성 측면에서 훨씬 낫겠다는 생각이 드네요.
명시적 텍스트 생성을 넘어선 추론 및 구조의 효율화도 주목할 만한데, 자연어로 된 긴 사고의 연쇄를 짧은 추상적 토큰 시퀀스로 압축하여 추론 비용을 획기적으로 줄이려는 시도들도 있다고 하네요. 요즘 AI 모델들이 자꾸 느려지고 비용이 늘어난다는 불평이 많았는데, 이런 식으로 풀어나가는 것 같아요.
국내에서도 아이벡스가 ICML 2026에 '오염된 데이터에 강한 이상 탐지를 위한 메모리 증류 선택 기법' 논문을 채택받았고, 원광대 연구팀이 ECCV 2026에 의료영상 기반