하수하따 록기장

Marchisio, K., Dash, S., Chen, H., Aumiller, D., Üstün, A., Hooker, S., & Ruder, S. (2024). How Does Quantization Affect Multilingual LLMs?. arXiv preprint arXiv:2407.03211 https://arxiv.org/abs/2407.03211 How Does Quantization Affect Multilingual LLMs?Quantization techniques are widely used to improve inference speed and deployment of large language models. While a wide body of work examines th..

더보기목차1. Greedy 알고리즘이란2. MST란3. Kruskal 알고리즘- 이론, 구현4. Prim 알고리즘- 이론, 구현1. Greedy 알고리즘이란Greedy 알고리즘이란 욕심장이 기법으로 당장 이 순간에서 최적이 되는 해를 구하는 것에, 즉 현재에 집중하는 알고리즘입니다. 과거와 미래는 전혀 신경쓰지 않습니다. Greedy 알고리즘의 핵심 단계는 다음과 같습니다.  1) Selection Procedure (선택)현재를 기준으로 가장 최적이 되는 해를 선택하는 단계입니다. 최적 해를 선택하여 집합에 추가합니다. 이 과정을 위해 선행되는 핵심은 어떤 값을 먼저 볼 것인지에 대한 우선순위 결정입니다. 2) Feasibility Check (유효성 검사)앞에서 선택한 해를 포함한 집합이 문제를 해결..

* 아래 블로그를 보고 공부하며 작성했습니다.https://gaussian37.github.io/dl-concept-quantization/#quantization-%EC%9D%B4%EB%9E%80-1 딥러닝의 Quantization (양자화)와 Quantization Aware Traininggaussian37's bloggaussian37.github.io  양자화란 모델의 파라미터를 lower bit로 표현함으로서 계산과 메모리 access 속도를 높이는 경량화 기법이다. 실수형 변수를 정수형 변수로 변환하는데, 보통 FP32 타입을 INT8 타입 형태로 변환하는 방법을 사용한다.  Weight Quantization 5가지 전제조건Inference Only양자화는 inference에서만 사용한다...

마이페이지 화면에서 사용자 닉네임이 표시되고, 이를 변경가능하게 구현하려고 함.이름 옆에 edit Icon을 넣고 edit Icon을 누르면 텍스트로 표시되었던 사용자 이름이 TextField로 편집가능하게 구현하고 싶음대충 이런 느낌! 톱니바퀴 아이콘을 아직 안빼서 위젯들이 좀 겹쳤지만아래와 같이 코드 구현IconButton( onPressed: () { isEditing.value = true; print(isEditing);},edit Icon을 눌렀을 때 isEditing bool 변수 값이 바뀌게 함if (isEditing.value) SizedBox( width: 150, child: TextField( controller: usernameController, ..

Llama3 모델을 이용해서 기사를 요약하는 task를 수행한 후 성능을 테스트해보았다. colab 환경에서 실습한 내용은 아래 링크에서 볼 수 있다. https://colab.research.google.com/drive/1e5e0EJnuidpxwalJ3rVgcbpy2TRgJZD9?usp=sharing 아래 블로그의 코드를 따라 실습을 진행하였다.https://velog.io/@judy_choi/NLP-LLaMA3%EB%A5%BC-%EC%9D%B4%EC%9A%A9%ED%95%9C-%EB%AC%B8%EC%9E%A5-%EC%9A%94%EC%95%BD-%EC%8B%A4%EC%8A%B5-HuggingFace LLaMA3를 이용한 문장 요약 실습 (HuggingFace 🤗)Code 라이브러리 설치 Huggin..