訓練資料還沒用完：Jeff Dean 談合成資料與 RL rollouts
Jeff Dean 在一場訪談中回應「LLM 快沒訓練資料了」的說法：其實還有大量影片資料、合成資料，以及對既有資料更聰明的利用空間。他也用 RL rollouts 解程式題為例，說明合成資料要靠層層過濾才真正有用。
Tag
#training-data
3 篇文章
機器人的資料荒漠：四層資料金字塔，與真機資料為什麼這麼貴
機器人的瓶頸不在模型而在資料，因為動作資料網路上不存在、必須人工採集。業界用『遙操 / 仿真 / 動捕 / 影片』四層金字塔混搭，各有品質與規模的取捨；本文以《硅谷101》走訪上海數採工廠與多家機器人公司的內容，拆解每一層的技術現況與難題。
AI 影片的動作為什麼總是怪怪的？答案不是更多資料，而是更少
用 optical flow 把『動作』從『外觀』中分離，並把它套在 AI 的內部學習訊號上，就能反查某個動作是從哪些訓練影片學來的；再用 Johnson–Lindenstrauss 投影把十億級參數壓到 512 維讓比對變得可行。最後剔除教壞模型的爛資料、用乾淨資料微調，動作品質在使用者研究中拿下 74.1% 勝率。