LIMA : Less is More for Alignment

 

 

Large language model을 두 단계 스텝으로 학습 비교

• (1) raw text에서 비지도 학습을 통해 일반적인 대화 문장(general-purpose) 학습
• (2) large scale instruction tuning과 강화 학습을 통해 human preference modeling

 

[Experiment] 

• 테스트를 위해 1000개의 실제 유저 프롬프트와 high-quality 응답을 선별.
• 750개의 질문과 답변을 Community forum에서 선별(Stack Exchang, wikiHow)
• 추가로 250개의 질문과 답변을 수동으로 작성 (Alignment style)
• LLaMa [Touvron et al., 2023] 65B parameter model에 fine-tuning

 

[Result] 

• LIMA는 이 두 스텝을 중점으로 측정
• LIMA는 1,000개의 신중히 선별된 프롬프트와 응답에 대해서만 standard supervised loss로 65B 파라미터 LLaMa를 fine-tuning, 강화 학습 또는 human preference modeling도 사용하지 않음.
• LIMA는 training data의 소수의 예제에서만 특정 응답 형식을 따르는 것(ex, 여행 일정 계획, 역사에 대한 추측 등)을 학습하며 복잡한 질의를 처리 할 수 있다. (training data에 등장하지 않은 새로운 작업에 대해서도 generalize 하기 좋음)
• 통제된 실험에서 LIMA의 응답은 GPT-4 와 비교해 43% Bard 와 비교했을 때 58%이상 DaVinci003 65%로 human feedback으로 훈련된 model과의 비교했을 때 결과로 large scale model의 대부분이 거의 모든 지식이 pretraining 중에 train된다는 것을 강력하게 시사함. 따라서, 고품질 출력을 생성하기 위해서는 limited instruction tuning data 만으로도 충분하다.

---

 

[Concept] 

Superficial Alignment Hypothesis 

 Superficial Alignment Hypothesis를 정의한다. 모델의 지식과 능력은 pretraining 중에 거의 완전히 학습되며, alignment는 사용자와 상호작용할 때 어떤 subdistribution의 format을 사용해야 하는지를 모델에게 가르친다. 만약 이 가설이 맞다면, alignment는 주로 style을 배우는 것이므로, pretraining된 언어 모델을 매우 작은 예제 data(1000)로 충분히 튜닝할 수 있다는 것이 Superficial Alignment Hypothesis [Kirstain et al., 2021] 이다.

 

 

 

 

중복이 없고 다양성을 확보한 일반적인 작은 데이터만으로 instruction이 Alignment style로 학습이 가능하다. 

 

궁금점 

• LIMA는 RLHF 모델과 비교시 모델들은 LIMA와 같은 dataset을 학습 하지 않았다는 점
• 본 논문에서 비교 모델들의 Response들에 대한 정답에 대한 평가가 공정한지 알수 없음. (metric)
• RLHF가 정말로 필요한지에 대한 실험 여부 case가 적은 데이터에서만 유효한지 아니면 엄청나게 많은 RLHF 작업 수행시 결과가 달라 질지 궁금