2024/09 6

[논문 읽기] Gemma: Open Models Based on GeminiResearch and Technology

📍 AbstractGemma는 Gemini 모델을 만드는 데 사용된 연구 및 기술로 구축된 가벼운 sota 오픈 모델이다. Gemma는 언어 이해, 추론 및 안정성에 대한 벤치마크에서 강력한 성능을 보여주며 2B, 7B 두 가지 크기의 모델을 제공한다. 18개의 벤치마크 중 11개에서 비슷한 크기의 오픈 모델보다 뛰어난 성능을 보였다.📍 IntroductionGemma는 Gemini 모델과 유사한 아키텍처, 데이터, 훈련 방법을 사용하여 최대 6T 토큰의 텍스트에서 학습되었다. 모델의 크기는 2B, 7B가 제공되었다.7B Gemma 70억 개의 파라미터 모델GPU 및 TPU에서 효율적인 배포 및 개발을 위함2B Gemma20억 개의 파라미터 모델CPU 및 온디바이스 애플리케이션을 위함 📍 Model..

엣지컴퓨팅 2024.09.25

[Flutter] 프로필 설정 UI 구성하기

앱 개발 프로젝트 중 프로필 설정 UI를 구성해야 하는데, 유튜브에 좋은 샘플이 있어서 따라해봤다. 하지만 유튜브 영상을 보면서 했을 때 마냥 코드만 따라치게 되는 경향이 있다. 뼈대가 없으면 스스로 구현하기 어려워지므로 유튜브에서 구성한 UI의 코드를 리뷰해보고 뜯어본 다음 내 앱에 맞게 변형하는 작업까지 기록해보려 한다. 왜 이 위젯을 사용해서 왜 이렇게 레이아웃을 구성했는지 초점을 두어 분석해보려고 한다.내가 본 유튜브 영상은 아래 링크이다. 맨 아래에 전체 코드가 있다.https://www.youtube.com/watch?v=AS183vv0xxU  📍 GestureDetector 위젯GestureDetector는 사용자의 제스처(클릭, 더블클릭, 오래 누르기, 드래그 등)를 감지하는 위젯이다. ..

Flutter 2024.09.23

[Boj] 백준 C++ #1914 하노이탑

📍 문제링크 : https://www.acmicpc.net/problem/1914📍 알고리즘 분류 : 재귀📍 문제 풀이 : 알고리즘 시간에 배운 내용과 코드를 기반으로 하노이탑 문제를 풀었다. 옮긴 횟수를 출력하는 것 때문에 시간이 오래 걸렸다. 처음에는 재귀함수가 호출될 때마다 카운트를 해가며 구했는데, N📍 코드 :#include #include #include using namespace std;void Hanoi(int n, int a, int b, int c){ if(n>0){ Hanoi(n-1, a, c, b); cout>N; string tmp = to_string(pow(2,N)); // 결과값 double을 string으로 변환하여 저장 ..

Boj 2024.09.20

[MIT 6.5940] EfficientML.ai Lec03: Pruning and Sparsity

MIT 6.5940 송한 교수님의 강의를 참고하며 pruning과 sparsity에 대해 정리해보고자 한다. 강의 영상은 아래와 같다. 이해하기 어려운 부분이 많아서 모든 슬라이드를 확실히 짚기보다는 중요한 슬라이드만 부분적으로 정리할 것이다.https://www.youtube.com/watch?v=95JFZPoHbgQ&list=PL80kAHvQbh-pT4lCkDT53zT8DKmhE0idB&index=6우리는 이 강의에서 Pruning에 대해서 학습할 것이다. Pruning(가지치기) 이란 neural network를 경량화할 때 사용하는 방법이다. 중요도가 낮은 파라미터는 제거하여 모델의 크기를 줄이고 계산의 효율성을 높인다. 위 슬라이드의 그림에서 가지치기가 된 모습을 시각적으로 이해할 수 있다. g..

엣지컴퓨팅 2024.09.18

[논문읽기] Mobile LLM: Optimizing Sub-billion Parameter Language Models for On-Device Use Cases

MobileLLM: Optimizing Sub-billion Parameter Language Models for On-Device Use Caseshttps://arxiv.org/abs/2402.14905 MobileLLM: Optimizing Sub-billion Parameter Language Models for On-Device Use CasesThis paper addresses the growing need for efficient large language models (LLMs) on mobile devices, driven by increasing cloud costs and latency concerns. We focus on designing top-quality LLMs with ..

엣지컴퓨팅 2024.09.15