koalpaca1 Instruction Tuning (1) Instruction TuningFine Tuning과 In-Context Learning의 장점을 결합하여 모델을 특정 데이터셋으로 학습 시키는 방법이다.단, 데이터셋의 구성이 사용자의 구체적인 지시(instruction)과 응답(output)으로 구성되어 있는 것이 특징이다. LLM에 Instruction Tuning을 적용한 대표적인 사례로는 스탠포드에서 개발한 Alpaca 모델이 있다.Llama 7B를 기본 모델로 하여 Instruction Tuning을 통해 추가 학습을 진행했는데Instruction-Output의 샘플을 만든 후 그 데이터로 LLM을 학습시켜, 튜닝을 위한 데이터셋을 모델이 자가수급하도록 했다.(self instruction) Python으로 Instruction Tuning .. 2025. 2. 6. 이전 1 다음
