하수하따 록기장

Introduction1. What is the Internet? & What is a protocol?인터넷이 무엇일까요? 라는 질문에 두 가지 방법으로 대답할 수 있다.첫 번째는 "Nuts And Bolts" View이다. Nuts와 Bolts는 인터넷을 구성하는 기본적 하드웨어 및 소프트웨어 구성요소들을 의미한다.스마트폰, 컴퓨터, 노트북, 냉장고, 자동차, 신호등 등 모든 디바이스들은 hosts 또는 end system이라고 불린다. 이들은 인터넷의 edge에서 동작한다. 이러한 end system들은 packet switches(패킷 스위치)와 communication links(커뮤니케이션 링크)로 이루어진 네트워크에 연결되어 있다. communication links(커뮤니케이션 링크)란 데..

https://www.youtube.com/watch?v=6s69XY025MUself-attention과 transformer구조를 시각적으로 이해할 수 있는 영상https://www.youtube.com/watch?v=h5-WaqU03qg

강필성 교수님 강의자료 지난 글에서 우리는 Pretraining 즉 사전학습에 대해서 알아보았다. 사전학습 아키텍처로 Encoder, Decoder, Encoder-Decoder 이렇게 3가지가 있었다. 이 글에서는 Encoder 방식으로 학습된 BERT에 대해서 알아보고자 한다. p. 2BERT(Bidirectional Encoder Representations from Transformer)는 양방향 Encoder로 Pretrained된 representations 모델이다.BERT는 transformer의 Encoder구조만을 사용하므로 양방향(Bidirectional) 모델이다. 따라서 전체 문맥을 이해하고 좋은 Representaion을 생성하기에 적합하다. 사전학습된 Bert를 finetuni..

언어 모델의 사이즈와 data는 어마어마하게 커져왔다. 이렇게 Pretrainied된 언어모델로서 기초적인(agents, beliefs, actions) 언어 모델링을 수행할 수 있다.여기서 우리는 그 이상의 문제들(math, code, medicine 등) 까지 다룰 수 있는 multitask assistants로서 언어모델을 사용하고자 한다.Prompt란 모델에게 주어지는 입력텍스트이고, Prompting이란 언어 모델이 특정 작업을 수행하도록 유도하는 방법이다. 텍스트 기반의 입력을 제공하여 이를 바탕으로 task를 수행하도록 한다. Prompting 방법으로는 Zero-shot 과 Few-shot 등 여러가지가 있는데, 이에 대해 자세히 알아보자.Generative Pretrained Transf..

🌟  Motivating model pretraining from word embeddings  🖇️ Where we were: pretrained word embeddings우리는 지금까지 사전학습된 워드 임베딩을 사용했다. 하지만 워드 임베딩은 문맥을 고려하지 않는다. 따라서 문맥적 의미는 task를 학습하면서 같이 학습할 수 있는데, 모든 문맥적 의미를 학습할 수 있을만큼의 많은 훈련 데이터를 필요로 하게 된다. 또한 모델의 파라미터들은 랜덤 초기화된다. 🖇️ Where we're going: pretraining whole models그래서 현대 NLP에서는 전체 모델을 사전학습하는 방식을 사용한다. 이렇게 하면 모델의 파라미터들이 사전학습을 통해 초기화된다. 사전 학습은 입력의 일부분을 가..

두둥 .. 진짜 transformer 시작! 내일이 시험인데 블공이 맞나..? 싶지만 일단 하겠음목차1. From recurrence(RNN) to attention based NLP models - RNN에서 attention 기반의 NLP 모델까지2. The Transformer model3. Great results with Transformers4. Drawbacks and variants of Transformers우리는 지난 시간에 Multi-layer RNN for machine translation에 대해 배웠다. 하지만 Source Sentence의 마지막 인코딩만을 디코더의 입력으로 넣어준다는 점에서 문제가 생긴다. Source sentence의 마지막 인코딩은 Source Senten..

오라클로 배우는 데이터베이스 개론과 실습 2판 (박우창, 남송휘, 이현룡 지음, 한빛 아카데미)를 읽고 공부하며 기록한 내용입니다.오류가 있을 수 있습니다. ROWNUMWHERE문을 ORDER BY보다 먼저 처리하기 때문에 부속질의로 처리해 주어야 함📍02. 부속질의SQL문 안에 다른 SQL문이 중첩된 질의, 내부 질의라고도 한다.(⭤주 질의, 외부 질의)EX) 박지성 고객의 주문 내역을 확인하려면?- 조인을 사용할 경우 : Customer 테이블과 Orders 테이블의 고객번호로 조인한 후 필요한 데이터 추출- 부속질의를 사용할 경우 : Customer 테이블에서 박지성 고객의 고객번호를 찾고, 찾은 고객번호를 바탕으로 Orders 테이블에서 확인한다.부속질의는 위치와 역할에 따라 3가지로 구분된다...

오라클로 배우는 데이터베이스 개론과 실습 2판 (박우창, 남송휘, 이현룡 지음, 한빛 아카데미)를 읽고 공부하며 기록한 내용입니다. 모든 내용이 담겨 있지 않으며, 오류가 있을 수 있습니다.  📍 1. SQL 소개SQL이란 IBM이 개발한 관계형 데이터베이스 언어데이터 정의어(DDL, Definition) : 테이블이나 관계의 구조를 생성하는 데 사용, ex CREATE 생성, ALTER 변경, DROP 삭제데이터 조작어(DML, Manipulation) : 테이블에 데이터를 검색, 삽입, 수정, 삭제하는 데 사용, ex) SELECT 검색, INSERT 삽입, DELETE 삭제, UPDATE 수정데이터 제어어(DCL, Control) : 데이터의 사용 권한을 관리하는 데 사용, ex) GRANT, R..

오라클로 배우는 데이터베이스 개론과 실습 2판 (박우창, 남송휘, 이현룡 지음, 한빛 아카데미)를 읽고 공부하며 기록한 내용입니다.오류가 있을 수 있습니다.  📍 1. 관계 데이터 모델의 개념릴레이션: 행과 열로 구성된 테이블릴레이션 스키마: 관계 데이터 베이스의 릴레이션이 어떻게 구성되는지 어떤 정보를 담고 있는지에 대한 기본적인 구조를 정의릴레이션 인스턴스: 릴레이션 스키마에 실제로 저장되는 데이터의 집합관계 데이터베이스 시스템: 관계 데이터 모델을 컴퓨터 시스템에 구현한 것 📍 2. 무결성 제약조건키: 슈퍼키, 후보키, 기본키, 대리키, 외래키릴레이션은 데이터의 변경이 일어날 때마다 제약조건을 체크(도메인 -> 개체 -> 참조 순)도메인 무결성 제약조건 (도메인 제약)..

핵심 질문: 주소 변환 속도를 어떻게 향상할까? 🔹 흐름 정리 지난 블로깅에서 페이징 기법에 대해 알아보았다. 페이징은 프로세스 주소 공간을 작은 고정된 크기(page)로 나누고, 각 페이지의 실제 위치를 메모리에 저장한다. 매핑 정보를 저장하는 자료 구조를 페이지 테이블이라 한다. 매핑 정보 저장을 위해서는 더 큰 메모리 공간이 요구된다. 그런데 여기서 문제가 생겼었다. 가상 주소에서 물리 주소로의 주소 변환을 하려면 메모리에 존재하는 매핑 정보를 읽어야 한다. 모든 load/store 명령어 실행이 추가적인 메모리 읽기를 수반하는 것이다. 이 문제를 해결하기 위해서 하드웨어의 도움을 받는다. TLB에 대해 알아보자. 🔹 TLB란? TLB는 Translation-lookaside buffer의 약자로 ..