#chatgpt

ChatGPT 是怎麼煉成的？解密大型語言模型的三階段訓練流程

ChatGPT 的能力來自第一階段的海量自監督預訓練；但『會回答問題、聽得懂指令、不亂講』則來自後面兩階段的指令微調與 RLHF。能力與對齊，是兩件分開煉成的事。