Tuning

LLM의 기본 모델 자체는 언어 이해와 생성에 초점을 맞추고, 특정한 답을 하게끔 설계된 것은 아니다.

따라서 모델을 재학습시켜 답변 스타일을 최적화하거나, 지시를 이해하고 따르는 능력을 강화해야 한다.

 

1. Fine-tuning

모델이 특정 분야에서 더욱 정교하고 전문적인 답변을 할 수 있게 개선하는 방법이다.

예를 들어, 의학 분야에 대한 데이터로 파인 튜닝을 하면 특정 상황에 대한 정확한 답변이 가능해진다.

 

PEFT (Parameter Efficient Fine-tuning)

파인 튜닝을 진행할 때 일부 파라미터만 업데이트 하더라도 큰 성능 개선을 기대할 수 있는 방식으로,

요즘에는 LoRA (Low Rank Adaptation) 혹은 QLoRA 기법이 제시되고 있다.

 

2. Instruction-tuning

지침-응답의 쌍으로 다양한 데이터셋을 준비한다.

chatGPT도 Instruction-tuning 방식으로 튜닝되었다.

 

 

https://blog.sionic.ai/finetuning_llama