訓練資料還沒用完:Jeff Dean 談合成資料與 RL rollouts
Jeff Dean 在一場訪談中回應「LLM 快沒訓練資料了」的說法:其實還有大量影片資料、合成資料,以及對既有資料更聰明的利用空間。他也用 RL rollouts 解程式題為例,說明合成資料要靠層層過濾才真正有用。
Tag
1 篇文章
Jeff Dean 在一場訪談中回應「LLM 快沒訓練資料了」的說法:其實還有大量影片資料、合成資料,以及對既有資料更聰明的利用空間。他也用 RL rollouts 解程式題為例,說明合成資料要靠層層過濾才真正有用。