강필성 교수님 강의자료 지난 글에서 우리는 Pretraining 즉 사전학습에 대해서 알아보았다. 사전학습 아키텍처로 Encoder, Decoder, Encoder-Decoder 이렇게 3가지가 있었다. 이 글에서는 Encoder 방식으로 학습된 BERT에 대해서 알아보고자 한다. p. 2BERT(Bidirectional Encoder Representations from Transformer)는 양방향 Encoder로 Pretrained된 representations 모델이다.BERT는 transformer의 Encoder구조만을 사용하므로 양방향(Bidirectional) 모델이다. 따라서 전체 문맥을 이해하고 좋은 Representaion을 생성하기에 적합하다. 사전학습된 Bert를 finetuni..