부스트캠프 AI Tech 2기/2기 U-Stage
2주차 Transformer
Transformer Sequential model의 문제점이 있다 trimmed sequence: 문장의 길이는 항상 달라질 수 있다 (뒤에 몇개가 없거나) omitted sequence: 중간에 몇개가 없을수도있고, 어순이 몇개 없을수도있다. permuted sequence: 중간에 밀려서 순서가 바뀔 수도 있다. transformer는 재귀적이지 않다 Attention이라는 구조를 활용함 입력 seq와 출력seq의 수가 다를 수 있고 입력 도메인과 출력 도메인도 다를 수 있다. Transformer에서 중요한 세가지 n개의 단어가 어떻게 한번에 인코더에서 처리가 되는지 디코더와 인코더 사이에 어떤정보를 주고받는지 디코더가 어떻게 generation 할 수 있는지 encoder는 self attent..
