하수하따 록기장

# 컴네 10일차 - 2 link layer에서의 introduction, service(6.1), error detection & correction(6.3)에 대해서 알아보았다.link에는 두가지 타입이 있다. point-to-point, broadcastpoint-to-point타입은 링크의 한쪽 끝에 송신자가, 다른 끝에 수신자가 존재하는 것이고broadcast는 동일한 하나의 공유된 브로드캐스트 채널에 다수의 송신 노드 및 수신 노드가 연결된 것이라고 한다.single shared broadcast channel에서 여러 노드가 하나의 채널을 공유하고 있을 때, 여러 노드가 동시에 데이터를 보내면 충돌이 발생하기 때문에 이러한 환경에서는 multiple access protocol, 다중 접근 ..

# 컴네 10일차 - 1Link layer - Introduction이제 2계층, Link layer를 배운다. 우리가 컴퓨터 네트워크 과목에서 다룰 마지막 계층이다. physical layer(물리 계층)는 하드웨어쪽이므로 우리가 소프트웨어적으로 배우지 않는다.Link layer에서는 내가 전달하고자 하는 데이터를 어떻게 다음 노드에 전달할 것인지가 핵심이다. Link layer에서의 services로는 framing, link access, reliable delivery between adjacent nodes가 있다. framing은 데이터그램에 헤더와 트레일러를 추가해 프레임으로 캡슐화하는 것이다.또한 flow control, error detection, error correction, 링크 ..

파일 배포 시간: Client-Server model서버 전송: 서버는 N개의 파일 복사본을 순차적으로 전송해야 한다.한 복사본을 전송하는 시간: $ \frac{F}{u_{s}}$N개의 복사본을 전송하는 시간:  $\frac{N F}{u_{s}}$클라이언트: 각 클라이언트는 파일 복사본을 다운로드해야 한다.$d_{min}$ = 가장 느린 클라이언트의 다운로드 속도가장 느린 클라이언트의 다운로드 시간 :  $\frac{F}{d_{min}}$클라이언트 서버 방식을 사용하여 N개의 클라이언트에게 F파일을 배포하는 시간${D_{c-s}}\geq max({\frac{N F}{u_{s}}, \frac{F}{d_{min}}})$서버의 총 업로드 시간, 가장 느린 클라이언트가 파일을 다운로드하는 데 걸리는 시간 중 더..

4. Performance: loss, delay, throughput데이터의 loss와 delay발생네트워크의 어느 한 지점에서 데이터가 너무 많이 들어와서(도착 속도가 너무 빨라서) 이 데이터가 다른 지점으로 나가는 용량을 초과할 때 패킷 손실이 발생하게 된다. 라우터의 버퍼가 가득 차서 더 이상 데이터를 수용할 수 없게 되고, 새로운 패킷들은 버려지게 된다.패킷 지연시간은 총 4가지의 요소가 더해져서 계산된다.1. 노드 처리 지연(Nodal Processing Delay)- 패킷이 라우터에 도착하여 처리되는 시간- 비트 오류 확인, 출력 링크 결정2. 큐잉 지연(Queueing Delay)- 패킷이 출력 링크에서 전송되기 위해 대기하는 시간- 라우터의 혼잡 수준에 따라 달라짐3. 전송 지연(Tran..

Introduction1. What is the Internet? & What is a protocol?인터넷이 무엇일까요? 라는 질문에 두 가지 방법으로 대답할 수 있다.첫 번째는 "Nuts And Bolts" View이다. Nuts와 Bolts는 인터넷을 구성하는 기본적 하드웨어 및 소프트웨어 구성요소들을 의미한다.스마트폰, 컴퓨터, 노트북, 냉장고, 자동차, 신호등 등 모든 디바이스들은 hosts 또는 end system이라고 불린다. 이들은 인터넷의 edge에서 동작한다. 이러한 end system들은 packet switches(패킷 스위치)와 communication links(커뮤니케이션 링크)로 이루어진 네트워크에 연결되어 있다. communication links(커뮤니케이션 링크)란 데..

https://www.youtube.com/watch?v=6s69XY025MUself-attention과 transformer구조를 시각적으로 이해할 수 있는 영상https://www.youtube.com/watch?v=h5-WaqU03qg

강필성 교수님 강의자료 지난 글에서 우리는 Pretraining 즉 사전학습에 대해서 알아보았다. 사전학습 아키텍처로 Encoder, Decoder, Encoder-Decoder 이렇게 3가지가 있었다. 이 글에서는 Encoder 방식으로 학습된 BERT에 대해서 알아보고자 한다. p. 2BERT(Bidirectional Encoder Representations from Transformer)는 양방향 Encoder로 Pretrained된 representations 모델이다.BERT는 transformer의 Encoder구조만을 사용하므로 양방향(Bidirectional) 모델이다. 따라서 전체 문맥을 이해하고 좋은 Representaion을 생성하기에 적합하다. 사전학습된 Bert를 finetuni..

언어 모델의 사이즈와 data는 어마어마하게 커져왔다. 이렇게 Pretrainied된 언어모델로서 기초적인(agents, beliefs, actions) 언어 모델링을 수행할 수 있다.여기서 우리는 그 이상의 문제들(math, code, medicine 등) 까지 다룰 수 있는 multitask assistants로서 언어모델을 사용하고자 한다.Prompt란 모델에게 주어지는 입력텍스트이고, Prompting이란 언어 모델이 특정 작업을 수행하도록 유도하는 방법이다. 텍스트 기반의 입력을 제공하여 이를 바탕으로 task를 수행하도록 한다. Prompting 방법으로는 Zero-shot 과 Few-shot 등 여러가지가 있는데, 이에 대해 자세히 알아보자.Generative Pretrained Transf..

🌟  Motivating model pretraining from word embeddings  🖇️ Where we were: pretrained word embeddings우리는 지금까지 사전학습된 워드 임베딩을 사용했다. 하지만 워드 임베딩은 문맥을 고려하지 않는다. 따라서 문맥적 의미는 task를 학습하면서 같이 학습할 수 있는데, 모든 문맥적 의미를 학습할 수 있을만큼의 많은 훈련 데이터를 필요로 하게 된다. 또한 모델의 파라미터들은 랜덤 초기화된다. 🖇️ Where we're going: pretraining whole models그래서 현대 NLP에서는 전체 모델을 사전학습하는 방식을 사용한다. 이렇게 하면 모델의 파라미터들이 사전학습을 통해 초기화된다. 사전 학습은 입력의 일부분을 가..

두둥 .. 진짜 transformer 시작! 내일이 시험인데 블공이 맞나..? 싶지만 일단 하겠음목차1. From recurrence(RNN) to attention based NLP models - RNN에서 attention 기반의 NLP 모델까지2. The Transformer model3. Great results with Transformers4. Drawbacks and variants of Transformers우리는 지난 시간에 Multi-layer RNN for machine translation에 대해 배웠다. 하지만 Source Sentence의 마지막 인코딩만을 디코더의 입력으로 넣어준다는 점에서 문제가 생긴다. Source sentence의 마지막 인코딩은 Source Senten..