QLORA2 Instruction Tuning (2) 지난 글에 이어서 계속... Loading checkpoint shards: 100%|█████████████████████████████| 2/2 [00:14/opt/homebrew/lib/python3.11/site-packages/bitsandbytes/cextension.py:34: UserWarning: The installed version of bitsandbytes was compiled without GPU support. 8-bit optimizers, 8-bit multiplication, and GPU quantization are unavailable. warn("The installed version of bitsandbytes was compiled without GPU su.. 2025. 2. 12. Tuning LLM의 기본 모델 자체는 언어 이해와 생성에 초점을 맞추고, 특정한 답을 하게끔 설계된 것은 아니다.따라서 모델을 재학습시켜 답변 스타일을 최적화하거나, 지시를 이해하고 따르는 능력을 강화해야 한다. 1. Fine-tuning모델이 특정 분야에서 더욱 정교하고 전문적인 답변을 할 수 있게 개선하는 방법이다.예를 들어, 의학 분야에 대한 데이터로 파인 튜닝을 하면 특정 상황에 대한 정확한 답변이 가능해진다. PEFT (Parameter Efficient Fine-tuning)파인 튜닝을 진행할 때 일부 파라미터만 업데이트 하더라도 큰 성능 개선을 기대할 수 있는 방식으로,요즘에는 LoRA (Low Rank Adaptation) 혹은 QLoRA 기법이 제시되고 있다. 2. Instruction-tuning.. 2025. 1. 20. 이전 1 다음