요즘 Claude 3.5 Sonnet 써보니까 200k 토큰 윈도우가 정말 신세계더라고요. 이전에 4k, 8k 토큰으로 일하던 때는 긴 문서 작업할 때마다 끊어서 작업해야 했는데, 이제는 한 번에 쭉 밀어넣을 수 있으니 효율이 정말 다르네요.
근데 솔직히 실무에서 이 정도까지 필요한 경우가 얼마나 될까 싶기도 해요. 제 경험상 대부분의 코딩 작업이나 일반 텍스트 작업은 4k~8k 정도면 충분하더라고요. 물론 전체 프로젝트 문맥이나 긴 논문 같은 걸 한 번에 분석할 때는 좋지만, 실제로는 자주 있는 상황은 아닌 것 같아요.
그런데 최근에 RAG 시스템들을 보면서 생각이 조금 바뀌었습니다. 문맥이 길어질수록 모델이 정보를 더 잘 통합하고 미세한 모순을 잡아내는 성능이 눈에 띄게 올라가더라고요. 특히 같은 주제의 여러 문서를 분석할 때 토큰이 부족하면 중요한 연결고리를 놓치는 경우가 있었는데, 문맥이 길어지니 그런 일이 줄었거든요.
다만 비용 측면에서는 좀 애매합니다. 토큰 수에 따라 가격이 달라지는데 200k를 풀로 쓰려면 한 번에 꽤 나가요. 그래서 저는 보통 필요한 만큼만 잘라서 보내는 편인데, 그럼 문맥 길이 늘린 의미가 줄어드는 거죠.
다른 분들은 실무에서 긴 문맥을 얼마나 활용하고 계신가요? 정말 필요한 기능이라고 느껴지세요? 아니면 충분히 유용한 기능이긴 한데 현실적으로는 크게 와닿지 않는다는 분도 있을까요?