Llama3 모델을 이용해서 기사를 요약하는 task를 수행한 후 성능을 테스트해보았다. colab 환경에서 실습한 내용은 아래 링크에서 볼 수 있다.
https://colab.research.google.com/drive/1e5e0EJnuidpxwalJ3rVgcbpy2TRgJZD9?usp=sharing
아래 블로그의 코드를 따라 실습을 진행하였다.
https://velog.io/@judy_choi/NLP-LLaMA3%EB%A5%BC-%EC%9D%B4%EC%9A%A9%ED%95%9C-%EB%AC%B8%EC%9E%A5-%EC%9A%94%EC%95%BD-%EC%8B%A4%EC%8A%B5-HuggingFace
LLaMA3를 이용한 문장 요약 실습 (HuggingFace 🤗)
Code 라이브러리 설치 HuggingFace Token 설정 토크나이저 및 모델 설정 템플릿 설정 및 모델 변수 설정 현재 하드웨어 체크 텍스트 요약 요약할 원본 텍스트 배경: 현재 대변검경검사에서는 적절한 정
velog.io
아래 기사의 원문을 넣어 요약을 해보았다.
https://news.heraldcorp.com/view.php?ud=20241108050173
“이 정도면 한 몸”…비트코인은 트럼프 승리 알고 있었다? [투자360]
비트코인은 미국 대선 기간 도널드 트럼프 후보의 당선 가능성과 밀접한 상관관계를 나타냈다. 여느 자산과 마찬가지로 경기 흐름에 영향을 받았지만 트럼프 당선인은 가격의 주된 변수였다.
news.heraldcorp.com
출력 결과
비트코인은 미국 대선 기간 도널드 트럼프 후보의 당선 가능성과 밀접한 상관관계를 나타냈다. 트럼프 당선 가능성이 강화되면 비트코인 가격이 상승하고, 반면 바이든 당선 가능성이 강화되면 비트코인 가격이 하락했다. 트럼프 당선인은 가상자산 규제완화에 대한 선명성을 강화했고, 이를 통해 비트코인 가격이 상승했다. 또한 트럼프 당선인은 "미국이 가상자산 수도" 발언을 하여 비트코인 가격을 상승시켰다. 대선 결과 트럼프가 승리하자 비트코인은 급등했고, 10만달러를 돌파할 것이라는 예상이 나왔다. 스탠다드차타드의 디지털 자산 글로벌 책임자는 "트럼프가 암호화폐에 부정적인 게리 겐슬러 증권거래위원회(SEC) 위원장을 해임하고 비트코인을 국가 준비금으로 조성하면 비트코인은 날개를 달 것"이라고 전망했다.
원문과 비교해 읽으면서 요약문의 성능을 분석해보았다. 큰 틀에서의 맥락을 완전히 이해하지 못해 틀린 정보가 있으며 원문의 여러 문장을 하나로 합치는 과정에서 사용한 연결어미가 자연스럽지 못하고 능피동에 대한 이해가 떨어진다.
"트럼프 당선 가능성이 강화되면 비트코인 가격이 상승하고, 반면 바이든 당선 가능성이 강화되면 비트코인 가격이 하락했다."에서부터 바이든 당선 가능성이라는 단어가 잘못 되었고 올바르지 않은 부분들이 많이 보였다. "트럼프 당선인은 가상자산 규제완화에 대한 선명성을 강화했고, 이를 통해 비트코인 가격이 상승했다."라는 문장은 어색하다. 먼저 트럼프가 선명성을 강화한 것이 아닌, 트럼프에 의해 강화"된" 것이다. 선명성이 강화된 것은 트럼프가 가상자산에 대한 규제 완화 의지를 명확히 밝혔기 때문이다. 이에 의해 선명성이 강화된 것이다. 선명성 강화는 트럼프의 행동으로 인해 따라오는 결과이기에 트럼프를 직접적인 주체로 표현한 것도 어색하고, 강화"했"다는 능동적 표현도 어색하다.
"또한 트럼프 당선인은 "미국이 가상자산 수도" 발언을 하여 비트코인 가격을 상승시켰다."라는 문장이 있다. 트럼프가 어떤 발언을 하여 비트코인 가격을 상승시켰다 라는 표현이 마치 트럼프가 비트코인 가격을 조정할 수 있는 것처럼 느껴진다. 트럼프가 스위치를 올리고 내리듯 조정을 하는 것이 아닌, 트럼프의 발언이나 정책으로 비트코인 가격이 영향을 받는 것이다. 따라서 해당 문장은 어색하다. "이를 통해"는 직접적인 인과를 나타내므로, "이로 인해" 로 바꾸면 더 좋겠다. 예를 들면 "트럼프 당선인은 가상자산에 대한 규제 완화 의지를 명확히 밝혔고, 이로 인해 비트코인 가격이 상승했다." 가 더 적합한 문장이겠다.
다른 모델들과 비교하기
비트코인은 미국 대선 기간 도널드 트럼프 후보의 당선 가능성과 밀접한 상관관계를 나타냈다. 트럼프 당선인은 가상자산 규제완화, 암호화폐에 부정적인 세력 약화와 상승을 이끌었다. 트럼프 당선 직후 8% 가까이 상승한 후, 바이든 대통령에 조차 사퇴 압박이 거셌던 시점에는 하락했다가 다시 상승세를 탔다. 트럼프는 대선 기간 동안 가상자산에 대한 정책 강화를 언급하지 않다가 대통령이 되자 가상자산 지지자들의 기대감이 커졌다. 결과적으로 트럼프 당선인은 10만달러를 돌파할 것이라고 예상되는 등 가상자산 시장에 긍정적이다.
한국어로 파인튜닝된 Instruction model을 사용하면 연결어미나 문맥의 개선이 가능할 줄 알았는데, 애초에 사건들의 순서나 인과관계도 틀린 결과가 나왔다. 요약 결과가 더 좋지 못했다.
결론적으로 다 성능이 너무 낮았다. 그래서 한국어 요약 모델로 파인튜닝을 해보았다. 파인튜닝 관련해서는 예전에 gemma 모델으로 한국어 요약 파인튜닝 실습을 해본 적이 있었는데, 그 때 공부했던 내용과 코드를 참고했다. 링크는 아래와 같다.
Gemma 한국어 요약 모델 파인튜닝 빠르게 해보기
devocean.sk.com
어쩌다보니 Llama1은 논문으로 공부를 했고, Llama2는 오픈소스로 제공된 코드를 보면서 공부했고, Llama3는 Colab 환경에서 문장 요약 task 실습을 해보면서 Llama를 모두 다루어보았다.
'엣지컴퓨팅' 카테고리의 다른 글
| [논문 읽기] How Does Quantization Affect Multilingual LLMs? (1) | 2024.11.27 |
|---|---|
| 딥러닝의 양자화 Quantization (2) | 2024.11.19 |
| LLaMA2의 GQA 코드 살펴보기 (1) | 2024.10.30 |
| [논문 읽기] LLaMA: Open and Efficient Foundation Language Models (4) | 2024.10.14 |
| [논문읽기] GQA: Training Generalized Multi-Query Transformer Models fromMulti-Head Checkpoints (0) | 2024.10.07 |