#self-attention

Transformer 怎麼知道詞的順序？從 Self-Attention 的排列不變性到 Sinusoidal 位置編碼

Self-Attention 本質上分不出 Token 的先後順序，所以要靠位置編碼把順序補回來。這篇從最早的 Absolute Positional Embedding 講到 Sinusoidal 位置編碼，並拆解它為何能隱含相對位置資訊。