하수하따 록기장

언어 모델의 사이즈와 data는 어마어마하게 커져왔다. 이렇게 Pretrainied된 언어모델로서 기초적인(agents, beliefs, actions) 언어 모델링을 수행할 수 있다.여기서 우리는 그 이상의 문제들(math, code, medicine 등) 까지 다룰 수 있는 multitask assistants로서 언어모델을 사용하고자 한다.Prompt란 모델에게 주어지는 입력텍스트이고, Prompting이란 언어 모델이 특정 작업을 수행하도록 유도하는 방법이다. 텍스트 기반의 입력을 제공하여 이를 바탕으로 task를 수행하도록 한다. Prompting 방법으로는 Zero-shot 과 Few-shot 등 여러가지가 있는데, 이에 대해 자세히 알아보자.Generative Pretrained Transf..

🌟  Motivating model pretraining from word embeddings  🖇️ Where we were: pretrained word embeddings우리는 지금까지 사전학습된 워드 임베딩을 사용했다. 하지만 워드 임베딩은 문맥을 고려하지 않는다. 따라서 문맥적 의미는 task를 학습하면서 같이 학습할 수 있는데, 모든 문맥적 의미를 학습할 수 있을만큼의 많은 훈련 데이터를 필요로 하게 된다. 또한 모델의 파라미터들은 랜덤 초기화된다. 🖇️ Where we're going: pretraining whole models그래서 현대 NLP에서는 전체 모델을 사전학습하는 방식을 사용한다. 이렇게 하면 모델의 파라미터들이 사전학습을 통해 초기화된다. 사전 학습은 입력의 일부분을 가..

두둥 .. 진짜 transformer 시작! 내일이 시험인데 블공이 맞나..? 싶지만 일단 하겠음목차1. From recurrence(RNN) to attention based NLP models - RNN에서 attention 기반의 NLP 모델까지2. The Transformer model3. Great results with Transformers4. Drawbacks and variants of Transformers우리는 지난 시간에 Multi-layer RNN for machine translation에 대해 배웠다. 하지만 Source Sentence의 마지막 인코딩만을 디코더의 입력으로 넣어준다는 점에서 문제가 생긴다. Source sentence의 마지막 인코딩은 Source Senten..

오라클로 배우는 데이터베이스 개론과 실습 2판 (박우창, 남송휘, 이현룡 지음, 한빛 아카데미)를 읽고 공부하며 기록한 내용입니다.오류가 있을 수 있습니다. ROWNUMWHERE문을 ORDER BY보다 먼저 처리하기 때문에 부속질의로 처리해 주어야 함📍02. 부속질의SQL문 안에 다른 SQL문이 중첩된 질의, 내부 질의라고도 한다.(⭤주 질의, 외부 질의)EX) 박지성 고객의 주문 내역을 확인하려면?- 조인을 사용할 경우 : Customer 테이블과 Orders 테이블의 고객번호로 조인한 후 필요한 데이터 추출- 부속질의를 사용할 경우 : Customer 테이블에서 박지성 고객의 고객번호를 찾고, 찾은 고객번호를 바탕으로 Orders 테이블에서 확인한다.부속질의는 위치와 역할에 따라 3가지로 구분된다...

오라클로 배우는 데이터베이스 개론과 실습 2판 (박우창, 남송휘, 이현룡 지음, 한빛 아카데미)를 읽고 공부하며 기록한 내용입니다. 모든 내용이 담겨 있지 않으며, 오류가 있을 수 있습니다.  📍 1. SQL 소개SQL이란 IBM이 개발한 관계형 데이터베이스 언어데이터 정의어(DDL, Definition) : 테이블이나 관계의 구조를 생성하는 데 사용, ex CREATE 생성, ALTER 변경, DROP 삭제데이터 조작어(DML, Manipulation) : 테이블에 데이터를 검색, 삽입, 수정, 삭제하는 데 사용, ex) SELECT 검색, INSERT 삽입, DELETE 삭제, UPDATE 수정데이터 제어어(DCL, Control) : 데이터의 사용 권한을 관리하는 데 사용, ex) GRANT, R..

오라클로 배우는 데이터베이스 개론과 실습 2판 (박우창, 남송휘, 이현룡 지음, 한빛 아카데미)를 읽고 공부하며 기록한 내용입니다.오류가 있을 수 있습니다.  📍 1. 관계 데이터 모델의 개념릴레이션: 행과 열로 구성된 테이블릴레이션 스키마: 관계 데이터 베이스의 릴레이션이 어떻게 구성되는지 어떤 정보를 담고 있는지에 대한 기본적인 구조를 정의릴레이션 인스턴스: 릴레이션 스키마에 실제로 저장되는 데이터의 집합관계 데이터베이스 시스템: 관계 데이터 모델을 컴퓨터 시스템에 구현한 것 📍 2. 무결성 제약조건키: 슈퍼키, 후보키, 기본키, 대리키, 외래키릴레이션은 데이터의 변경이 일어날 때마다 제약조건을 체크(도메인 -> 개체 -> 참조 순)도메인 무결성 제약조건 (도메인 제약)..

핵심 질문: 주소 변환 속도를 어떻게 향상할까? 🔹 흐름 정리 지난 블로깅에서 페이징 기법에 대해 알아보았다. 페이징은 프로세스 주소 공간을 작은 고정된 크기(page)로 나누고, 각 페이지의 실제 위치를 메모리에 저장한다. 매핑 정보를 저장하는 자료 구조를 페이지 테이블이라 한다. 매핑 정보 저장을 위해서는 더 큰 메모리 공간이 요구된다. 그런데 여기서 문제가 생겼었다. 가상 주소에서 물리 주소로의 주소 변환을 하려면 메모리에 존재하는 매핑 정보를 읽어야 한다. 모든 load/store 명령어 실행이 추가적인 메모리 읽기를 수반하는 것이다. 이 문제를 해결하기 위해서 하드웨어의 도움을 받는다. TLB에 대해 알아보자. 🔹 TLB란? TLB는 Translation-lookaside buffer의 약자로 ..

앞장에서 세그멘테이션에서 발생할 수 있는 문제를 제기하며 끝났다. 첫 번째 문제는 외부 단편화(external fragmentation)였다. 아무리 세그멘테이션으로 물리 메모리를 관리하더라도 빈 공간이 단편화되어 사실 상 사용하기 어렵게 된다는 문제가 발생한다. 두 번째 문제는 세그멘테이션이 아직 유연하지 못해서 sparse한 구조에서 비효율적이라는 것이다. 이번 장에서는 외부 단편화를 해결하기 위한 방법으로 free list에 대해 알아볼 것이다. 17장의 핵심 질문 : 빈 공간을 어떻게 관리하는가? • 가변 크기의 요구를 충족시켜야 할 때, 빈 공간은 어떻게 관리되어야 하는가? • 단편화를 최소화하기 위해 어떤 전략을 사용할 수 있는가? • 여러 대안들의 시간과 공간의 오버헤드는 어떻게 되는가? 1..

Korean translation of Operating Systems: Three Easy Pieces Remzi H. Arpaci-Dusseau and Andrea C. Arpaci-Dusseau(University of Wisconsin-Madison), translation by Youjip Won, Minkyu Park, Sungjin Lee 위 교재를 읽고 공부하며 작성한 글으로, 잘못된 내용이 있을 수 있습니다. 글에서 사용된 이미지의 출처는 위 교재입니다. 07장의 핵심 질문 : 스케줄링 정책은 어떻게 개발하는가? 📍 워크로드에 대한 5가지 가정 다음에 어떤 프로세스를 실행할 지는 스케줄링 정책(Scheduling policy)에 의해 결정된다. 먼저 프로세스에 대해 5가지의 가정을 하고,..

18장의 핵심 질문 : 페이지를 사용하여 어떻게 메모리를 가상화할 수 있을까? 🔹 흐름 정리 우리는 메모리 공간 관리를 위해 세그멘테이션 기법을 도입하였다. 세그멘테이션에서는 세그멘트 단위(예, 코드, 힙, 스택)로 주소 공간을 나눴기 때문에 다양한 크기의 덩어리로 구분해주어야 했는데, 이로 인해 외부 단편화(external fragmentation)문제가 발생했다. 외부 단편화 문제는 공간이 할당되는 것을 점점 더 어렵게 했다. 그래서 나온 새로운 방식이 페이징(paging)이다. 우리는 이번 글에서 페이징 기법에 대해 알아볼 것이다. 🔹 페이징(paging)이란? 세그멘테이션에서 발생한 외부 단편화의 근본적인 원인은 공간을 다양한 크기의 덩어리로 분할한다는 것에 있다. 그래서 페이징은 공간을 동일한 ..