LLM

LLM (Large Language Model)

텍스트를 인식하고 생성하는 등의 작업을 수행할 수 있는 일종의 인공지능 프로그램.
고급 딥러닝 기술을 기반으로, 패턴을 분석하고 의미를 추출하며 텍스트를 생성할 수 있다.

예시
OpenAI의 ChatGPT
Google의 Bard -> Gemini
Meta의 LLAMA
Microsoft의 Bing Chat
Github의 Copilot
네이버의 HyperCLOVA X

투표
https://huggingface.co/spaces/lmarena-ai/chatbot-arena-leaderboard

우리 플젝에서 중요한 기능
- 언어 생성 (특정 말투 모방)
- 한국어 지원

로컬 LLM

로컬 LLM은 말 그대로 모든 것이 로컬로 실행되므로 구독이나 API 호출시 비용을 지불해야할 필요가 없다.

그 외에 로컬 LLM이 필요한 추가적인 이유로는
보안 / 커스터마이징(특정 도메인에 특화된 데이터로 모델을 튜닝 가능) / 비용 절감 / 오프라인 사용 등이 있다.

예시
LMStudio (데스크탑 앱)
Ollama
Llama.cpp

 

엄청 쉽게 설치 가능한 Ollama

 

 

 

기본적으로 다운 받은 모델이 설치되는 위치는

macOS 기준 ~/.ollama/models

 

 

 

단, 위와 같이 llama 3.2는 한국어에 약하므로 이를 보완하기 위해서는

한국어로 fine tuning한 모델을 Hugging Face에서 받아서 업로드하면 된다.

 

예시

Bllossom 모델 (Bllossom 팀에서 개발한 한국어-영어 이중 언어 모델)

소개는 다음과 같다.

 

저희 Bllossom 팀에서 Bllossom-3B 모델을 공개합니다.
llama3.2-3B가 나왔는데 한국어가 포함 안되었다구?? 이번 Bllossom-3B는 한국어가 지원되지 않는 기본 모델을 한국어-영어로 강화모델입니다.
 - 100% full-tuning으로 150GB의 정제된 한국어로 추가 사전학습 되었습니다. (GPU많이 태웠습니다)
 - 굉장히 정제된 Instruction Tuning을 진행했습니다.
 - 영어 성능을 전혀 손상시키지 않은 완전한 Bilingual 모델입니다.
 - LogicKor 기준 5B이하 최고점수를 기록했고 6점 초반대 점수를 보입니다.
 - Instruction tuning만 진행했습니다. DPO 등 성능 올릴 방법으로 튜닝해보세요.
 - MT-Bench, LogicKor 등 벤치마크 점수를 잘받기 위해 정답데이터를 활용하거나 혹은 벤치마크를 타겟팅 해서 학습하지 않았습니다. (해당 벤치마크 타게팅해서 학습하면 8점도 나옵니다...)

언제나 그랬듯 해당 모델은 상업적 이용이 가능합니다.

1. Bllossom은 AAAI2024, NAACL2024, LREC-COLING2024 (구두) 발표되었습니다.
2. 좋은 언어모델 계속 업데이트 하겠습니다!! 한국어 강화를위해 공동 연구하실분(특히논문) 언제든 환영합니다!!

 

 

https://huggingface.co/Bllossom/llama-3.2-Korean-Bllossom-3B-gguf-Q4_K_M

Bllossom/llama-3.2-Korean-Bllossom-3B-gguf-Q4_K_M · Hugging Face

 

 

 

참고
https://brunch.co.kr/@b2439ea8fc654b8/66

15화 로컬LLM 실행도구 - 올라마

https://brunch.co.kr/@b2439ea8fc654b8/28

16화 Ollama + Llama 3 사용법

https://hyunicecream.tistory.com/126

Ollama(올라마) Huggingface 모델 다운로드 방법 - 한국어 Llama 3.2-3B with Modelfile

 

 

프롬프트 엔지니어링

https://chucoding.tistory.com/m/145

HyperCLOVA X로 나만의 캐릭터 챗봇 만들기: LLM 활용부터 데이터셋 자동화까지

LLM이 원하는 출력을 생성하도록 안내하는 프롬프트를 만드는 것.

 

예시

당신은 지극히 시니컬하고 현실적인 직장인 모힛입니다. 모힛이 되어서 사용자와 대화를 진행합니다. 아래의 대화 시점과 대화 패턴을 참고해서 질문에 대해 답변해주세요.

###대화 시점###
모힛은 현재 과중한 업무로 인해 일주일만에 퇴근해서 집에 온 지친 상태이다.

###대화 패턴###
- 상대방을 “프로야” 라고 부른다.
- 과거회상을 자주한다.
- 답변은 반말로 한다.
- 감정이 무미건조하고 시니컬하다.
- 말 끝에 ..을 자주 사용한다.
- “했지..”, “..했니..”, "하라.."와 같은 말투를 자주 사용한다.

 

 

 

특정 말투 구현 방법

특정 말투를 구현하려면 모델을 Fine-Tuning하거나 프롬프트 엔지니어링을 활용할 수 있다.

- Fine-Tuning : 최적화 가능 / 자원이 많이 필요

- 프롬프트 엔지니어링 : 경량 모델에서 빠르게 구현 가능 / 구현에 한계