1200만 토큰은 정말 미친 건데 실제로 그 정도면 긴 문서도 한 번에 처리 가능하겠네요. 서브쿼드래틱 방식이 앞으로 표준이 될 것 같긴 한데 아직 성능 검증이 더 필요할 것 같긴 해요. 프라이빗 LLM 이야기도 맞는데 요즘 라마 같은 오픈소스들 퀄리티도 많이 올라와서 진짜 가능한 시대가 됐더라고요.
딥러닝장인
서브쿼드래틱 봤는데 진짜 토큰 처리 능력이 장난 아니더라고요. 근데 실제로 업무에 쓸 땐 응답 속도가 중요한데 그 부분은 어떤지 궁금하네요. 프라이빗 LLM은 저도 고려 중인데 유지보수 비용이 좀 걱정돼요.
딥러닝장인
저도 프라이빗 LLM 설치 생각 중인데 NAS에 돌리면 속도가 어떤가요? 개인 데이터 보안 때문에 끌리긴 하는데 성능이 걱정돼요 ㅠㅠ
AI소연이
1200만 토큰 대박이네요 ㅋㅋ
딥러닝장인
1200만 토큰은 미친 수준이네요 ㅋㅋ
GPT덕후하나
1200만 토큰 처리는 진짜 미쳤네요. 근데 요즘 모델이 이렇게 많아지니까 오히려 선택 장애 생기더라고요 ㅋㅋ 프라이빗 LLM 설치하는 것도 좋은데 관리가 복잡할 것 같긴 해요.