Transformer 怎麼知道詞的順序？從 Self-Attention 的排列不變性到 Sinusoidal 位置編碼
Self-Attention 本質上分不出 Token 的先後順序，所以要靠位置編碼把順序補回來。這篇從最早的 Absolute Positional Embedding 講到 Sinusoidal 位置編碼，並拆解它為何能隱含相對位置資訊。
Tag
#nlp
2 篇文章
ChatGPT 是怎麼煉成的？解密大型語言模型的三階段訓練流程
ChatGPT 的能力來自第一階段的海量自監督預訓練；但『會回答問題、聽得懂指令、不亂講』則來自後面兩階段的指令微調與 RLHF。能力與對齊，是兩件分開煉成的事。