개발/LLM
Tuning
개발자 구리
2025. 1. 20. 23:02
LLM의 기본 모델 자체는 언어 이해와 생성에 초점을 맞추고, 특정한 답을 하게끔 설계된 것은 아니다.
따라서 모델을 재학습시켜 답변 스타일을 최적화하거나, 지시를 이해하고 따르는 능력을 강화해야 한다.
1. Fine-tuning
모델이 특정 분야에서 더욱 정교하고 전문적인 답변을 할 수 있게 개선하는 방법이다.
예를 들어, 의학 분야에 대한 데이터로 파인 튜닝을 하면 특정 상황에 대한 정확한 답변이 가능해진다.
PEFT (Parameter Efficient Fine-tuning)
파인 튜닝을 진행할 때 일부 파라미터만 업데이트 하더라도 큰 성능 개선을 기대할 수 있는 방식으로,
요즘에는 LoRA (Low Rank Adaptation) 혹은 QLoRA 기법이 제시되고 있다.
2. Instruction-tuning
지침-응답의 쌍으로 다양한 데이터셋을 준비한다.
chatGPT도 Instruction-tuning 방식으로 튜닝되었다.