요즘 딥러닝 논문들 뭔가 방향이 달라진 것 같은데, 다들 느껴보셨나요?

최근 딥러닝 연구들이 단순히 모델을 크게 키우는 확장을 넘어, 시스템적 안정성, 복잡한 정보의 구조적 처리, 아키텍처의 근본적 효율성을 고민하는 방향으로 나아가고 있다고 하더라고요. 지난주 PyTorchKR에서 본 4월달 논문 모음을 보니 정말 그런 게 느껴져요.

특히 눈에 띄는 게 RAG 시스템이 단순한 텍스트 매칭을 넘어 검색 결과의 품질을 능동적으로 제어하는 방식으로 진화하고 있다는 점이에요. AgentIR 같은 게 나오면서 검색 정확도가 크게 올라갔다는 말도 들었는데, 실제로 체감이 되나요?

한편 지난 2월 논문들은 효율성 쪽에 집중되어 있었어요. 13개의 훈련 매개변수만으로도 모델의 추론 성능을 90% 이상 회복하는 기술이 나왔다니까요. 정말 미친 것 같아요 ㅋㅋ 모델을 엄청 크게 만들 필요 없이 이렇게 효율적으로 짜는 게 새로운 트렌드인 건가 싶어요.

예전처럼 막 거대한 모델 만들고 하는 논문들은 아직도 있겠지만, 이제는 가성비를 따지는 연구가 주류가 되는 느낌이 들어요. 실제 프로젝트에서 써야 할 때 리소스 부족하잖아요. 그래서 이런 방향이 더 현실적이라는 생각도 들고요.

혹시 최근에 흥미로운 논문 본 분 계세요? 정보 공유해주시면 감사하겠습니다.