1. Drawback of Seq2Seq Architecture지난 시간 배웠던 Seq2Seq 아키텍처에서는 다음과 같은 문제가 있었다. 1. Encoder에서 Decoder로 넘겨주는 정보가 마지막 hidden state, 즉 하나의 임베딩 벡터 뿐이므로 문장이 길어질 수록 하나의 임베딩 벡터에 모든 정보를 다 잘 담기 어렵다는 문제가 발생한다. 이를 Information bottleneck 이라고 한다.2. 또한 Encoder와 Decoder 사이의 상호작용이 없다. 전달하는 것은 Encoder에서 Decoder로 넘기는 임베딩 벡터 하나 뿐이다. 이러한 문제를 해결하기 위해 등장한 후속 연구가 Attention Mechanism 이다. 2. Attention Mechanism in Machine..
