llm5 Colab으로 LLM 돌리기 학습 한 번 돌리려면 6시간이 걸리는 사태로 인해 Colab을 사용하기로 했다.유튜브 프리미엄도 안 쓰는 내가!! 너무 답답할 정도라 쓰다가 모자라면 유료 버전으로 쓰려고 했는데학습용으로 조금 돌려보는 정도로는 전혀 모자라지 않았다. 런타임 유형 변경 창에서 하드웨어 가속기는 T4 GPU로 선택해주었다. 에러 제거를 위해 요고 먼저 실행해주고!pip install datasets==2.14.5!pip install -U bitsandbytes 그동안 로컬에서 테스트했던 코드를 그대로 실행하니 로그에 wandb 어쩌구 API key를 입력하라고 했다. 조금 찾아보니 Weights & Biases(W&B)라는 머신러닝용 툴이었다. 해당 설정을 off하려면 TrainingArguments를 선언할때 repor.. 2025. 3. 6. Instruction Tuning (2) 지난 글에 이어서 계속... Loading checkpoint shards: 100%|█████████████████████████████| 2/2 [00:14/opt/homebrew/lib/python3.11/site-packages/bitsandbytes/cextension.py:34: UserWarning: The installed version of bitsandbytes was compiled without GPU support. 8-bit optimizers, 8-bit multiplication, and GPU quantization are unavailable. warn("The installed version of bitsandbytes was compiled without GPU su.. 2025. 2. 12. Instruction Tuning (1) Instruction TuningFine Tuning과 In-Context Learning의 장점을 결합하여 모델을 특정 데이터셋으로 학습 시키는 방법이다.단, 데이터셋의 구성이 사용자의 구체적인 지시(instruction)과 응답(output)으로 구성되어 있는 것이 특징이다. LLM에 Instruction Tuning을 적용한 대표적인 사례로는 스탠포드에서 개발한 Alpaca 모델이 있다.Llama 7B를 기본 모델로 하여 Instruction Tuning을 통해 추가 학습을 진행했는데Instruction-Output의 샘플을 만든 후 그 데이터로 LLM을 학습시켜, 튜닝을 위한 데이터셋을 모델이 자가수급하도록 했다.(self instruction) Python으로 Instruction Tuning .. 2025. 2. 6. Tuning LLM의 기본 모델 자체는 언어 이해와 생성에 초점을 맞추고, 특정한 답을 하게끔 설계된 것은 아니다.따라서 모델을 재학습시켜 답변 스타일을 최적화하거나, 지시를 이해하고 따르는 능력을 강화해야 한다. 1. Fine-tuning모델이 특정 분야에서 더욱 정교하고 전문적인 답변을 할 수 있게 개선하는 방법이다.예를 들어, 의학 분야에 대한 데이터로 파인 튜닝을 하면 특정 상황에 대한 정확한 답변이 가능해진다. PEFT (Parameter Efficient Fine-tuning)파인 튜닝을 진행할 때 일부 파라미터만 업데이트 하더라도 큰 성능 개선을 기대할 수 있는 방식으로,요즘에는 LoRA (Low Rank Adaptation) 혹은 QLoRA 기법이 제시되고 있다. 2. Instruction-tuning.. 2025. 1. 20. 이전 1 2 다음
