LIMA

Large language model을 두 단계 스텝으로 학습 비교 (1) raw text에서 비지도 학습을 통해 일반적인 대화 문장(general-purpose) 학습 (2) large scale instruction tuning과 강화 학습을 통해 human preference modeling [Experiment] 테스트를 위해 1000개의 실제 유저 프롬프트와 high-quality 응답을 선별. 750개의 질문과 답변을 Community forum에서 선별(Stack Exchang, wikiHow) 추가로 250개의 질문과 답변을 수동으로 작성 (Alignment style) LLaMa [Touvron et al., 2023] 65B parameter model에 fine-tuning [Resu..