하수하따 록기장

Introduction1. What is the Internet? & What is a protocol?인터넷이 무엇일까요? 라는 질문에 두 가지 방법으로 대답할 수 있다.첫 번째는 "Nuts And Bolts" View이다. Nuts와 Bolts는 인터넷을 구성하는 기본적 하드웨어 및 소프트웨어 구성요소들을 의미한다.스마트폰, 컴퓨터, 노트북, 냉장고, 자동차, 신호등 등 모든 디바이스들은 hosts 또는 end system이라고 불린다. 이들은 인터넷의 edge에서 동작한다. 이러한 end system들은 packet switches(패킷 스위치)와 communication links(커뮤니케이션 링크)로 이루어진 네트워크에 연결되어 있다. communication links(커뮤니케이션 링크)란 데..

https://www.youtube.com/watch?v=6s69XY025MUself-attention과 transformer구조를 시각적으로 이해할 수 있는 영상https://www.youtube.com/watch?v=h5-WaqU03qg

강필성 교수님 강의자료 지난 글에서 우리는 Pretraining 즉 사전학습에 대해서 알아보았다. 사전학습 아키텍처로 Encoder, Decoder, Encoder-Decoder 이렇게 3가지가 있었다. 이 글에서는 Encoder 방식으로 학습된 BERT에 대해서 알아보고자 한다. p. 2BERT(Bidirectional Encoder Representations from Transformer)는 양방향 Encoder로 Pretrained된 representations 모델이다.BERT는 transformer의 Encoder구조만을 사용하므로 양방향(Bidirectional) 모델이다. 따라서 전체 문맥을 이해하고 좋은 Representaion을 생성하기에 적합하다. 사전학습된 Bert를 finetuni..

언어 모델의 사이즈와 data는 어마어마하게 커져왔다. 이렇게 Pretrainied된 언어모델로서 기초적인(agents, beliefs, actions) 언어 모델링을 수행할 수 있다.여기서 우리는 그 이상의 문제들(math, code, medicine 등) 까지 다룰 수 있는 multitask assistants로서 언어모델을 사용하고자 한다.Prompt란 모델에게 주어지는 입력텍스트이고, Prompting이란 언어 모델이 특정 작업을 수행하도록 유도하는 방법이다. 텍스트 기반의 입력을 제공하여 이를 바탕으로 task를 수행하도록 한다. Prompting 방법으로는 Zero-shot 과 Few-shot 등 여러가지가 있는데, 이에 대해 자세히 알아보자.Generative Pretrained Transf..