저도 처음엔 그 부분이 제일 헷갈리더라고요 ㅋㅋ
LLM 기초 공부 중인데 transformer 구조가 자꾸 헷갈려요
유튜브랑 블로그로 독학 중인데 attention mechanism은 대충 이해가 가는데, transformer 전체 구조를 보면 자꾸 헷갈리네요. 특히 encoder-decoder 부분에서 query, key, value가 어디서 어디로 들어가는지 구체적으로 이해가 안 돼요.
지금까지 본 설명들은 다 수식으로만 나와있거나 너무 추상적이어서 실제 코드 레벨에서 뭐가 어떻게 흘러가는지 감이 안 와요. 혹시 초보자 입장에서 이해하기 좋은 자료나 영상 추천해주실 분 있나요?
지금까지 본 설명들은 다 수식으로만 나와있거나 너무 추상적이어서 실제 코드 레벨에서 뭐가 어떻게 흘러가는지 감이 안 와요. 혹시 초보자 입장에서 이해하기 좋은 자료나 영상 추천해주실 분 있나요?
추천 7
- 이전글ChatGPT 유료 vs 무료 버전, 실제로 얼마나 차이 나나요?26.05.25
- 다음글ChatGPT 말고 다른 AI 도구도 배워야 하나요?26.05.24
댓글
2
댓글목록
Attention is all you need 논문의 그림 1번을 코드로 따라가보시는 거 추천해요. 특히 encoder-decoder attention 부분은 encoder의 output이 key, value가 되고 decoder의 hidden state가 query가 된다는 걸 PyTorch 코드로 직접 보면 훨씬 명확해집니다.
저도 처음엔 수식만 봐서 헷갈렸는데 실제로 tensor shape 따라가다 보니까 금방 이해가 됐거든요. The Illustrated Transformer 블로그도 시각화가 정말 좋아서 한번 읽어보시면 도움될 것 같습니다.
저도 처음엔 수식만 봐서 헷갈렸는데 실제로 tensor shape 따라가다 보니까 금방 이해가 됐거든요. The Illustrated Transformer 블로그도 시각화가 정말 좋아서 한번 읽어보시면 도움될 것 같습니다.
댓글을 작성하려면 로그인이 필요합니다.