- Sonic 是機器人的『控制軟體』,不是機器人本身;重點在把任意輸入轉成關節動作。
- 多模態輸入(人體動作影片、語音、音樂、文字)→ 通用 token → 馬達指令的一條 pipeline。
- 訓練吃 128 GPU × 3 天,但成品只有約 4200 萬參數,手機就能跑,且開源免費。
目錄
一支示範影片裡,有人假裝在割草、耙落葉,旁邊的人形機器人就跟著把草割了、把葉子耙了。看起來像雜耍,但真正的重點不在那台機器人,而在控制它的軟體——一個叫做 Sonic 的通用機器人控制器。
這篇整理以 Two Minute Papers 的介紹影片為事實依據,把它拆成幾個技術重點。
Sonic 到底做了什麼
先講清楚定位:Sonic 的貢獻是「控制軟體」,不是硬體。
在示範影片裡,有一個人在做各種動作,機器人能夠理解這些動作,並把它翻譯成一連串 3D 空間中的關節位置。也就是說,這是一套遙控(teleoperation)控制器——人怎麼動,機器人就怎麼跟著動,而且是全身層級的理解,不是單純複製手臂軌跡。
因為它理解的是「整個身體的動作」,所以你可以叫它爬進你不想進去的狹小空間。這件事本身就很有用:探勘那些人類難以進入、或危險的區域。影片舉的想像應用包括協助救出被瓦礫壓住的人,或未來在不讓人類冒險的前提下探索其他星球。
它甚至能做功夫——前提是「示範的人自己會功夫」。
它是一套多模態系統
Sonic 真正誇張的地方,是輸入幾乎可以是任何東西。影片列出的輸入型態包括:
- 人體動作影片:拍你自己做動作
- 語音:用講的下指令
- 音樂:可以讓它跟著音樂跳舞(影片因版權沒放配樂,但確實能做)
- 文字:對比較簡單的任務(移動、模仿猴子之類),直接打字叫它做就行
而且它的動作很有「表情」。你可以要它「開心地走」「偷偷摸摸地走」或「像受傷的人一樣走」。
這裡有一個容易被低估的成就:它站得穩、不會跌倒。影片特別點出,過去就算是模擬世界裡的簡單角色,光是教它「走路不跌倒」都要成千上萬次嘗試;現在能直接做到這種穩定度,是一大跳躍。
它是怎麼學會的
Sonic 先看了 1 億幀(100 million frames)的人類動作,來理解人類怎麼動、動作之間怎麼銜接。
關鍵在於:它不需要人工標註的動作標籤。你不用去解釋「這個動作叫什麼、代表什麼意思」,它就是看原始動作,自己學會如何在不同任務之間平順地切換,中間不會出現不自然的停頓。
從輸入到馬達指令的 pipeline
整條處理流程可以這樣看:多模態輸入進來,先被轉成「人類動作」的表示,再被編碼、量化成一組通用 token(universal tokens),最後由 decoder 翻成馬達指令。
graph LR
A["多模態輸入<br/>影片 / 語音 / 音樂 / 文字"] --> B[Motion Generator<br/>生成人類動作]
B --> C[Human Encoder<br/>轉成 latent space]
C --> D[Quantizer<br/>量化]
D --> E["Universal Tokens<br/>通用 token"]
E --> F[Decoder<br/>翻成馬達指令]
F --> G[機器人執行]
這裡的「universal tokens」是整個設計的樞紐——不管輸入是影片、聲音還是文字,都會先被壓成同一種抽象的 token 表示,後面才統一解碼成動作。
難點:機器人不是人
把「人類動作」對應到「機器人動作」其實非常難,因為機器人的身體構造跟人類根本不一樣。
舉個影片裡的例子:你叫它「轉身」,它當然要轉身。但——要轉多快?如果想在瞬間轉 180 度,機器人會把自己甩壞。
為了解決這個問題,研究提出了 root trajectory spring model:對使用者那些突然、劇烈的指令做阻尼(damping),避免機器人受傷。(是的,機器人也會「受傷」。)
其中有一個隨時間變化的指數項,扮演「物理煞車」的角色:隨著時間增加,這一項會迅速趨近於 0,逼使整個數學式平滑地衰減。它同時達成兩件事:
- 機器人不會因為指令太猛而弄傷自己
- 動作會穩定落在目標位置,不會在附近來回震盪個沒完
當然,阻尼也不能過頭——阻尼加太重,機器人就變成一隻慢吞吞、什麼都做不了的鼻涕蟲。要拿捏得剛好很不容易。
最反直覺的一點:訓練很貴,成品很輕
整套訓練用了 128 顆 GPU、跑了 3 天,成本不低。
但重點來了:訓練完成後的成品極度輕量,只有大約 4200 萬(42 million)參數。這個規模小到可以輕鬆在手機上跑,幾乎不吃資源。你不需要那種訓練等級的硬體才能使用它。
而且影片裡展示的所有模型,都會免費、永久地釋出給所有人——是公開研究,不是封閉的專有技術。
誰做的
這個專案由 professor Zhu 與 Jim Fan 主導。Jim Fan 大約在兩年前於 NVIDIA 創立了人形機器人實驗室,此後持續產出突破性的研究。
影片作者也點出一個有意思的類比:這個模型把「一鍋雜亂、五花八門的輸入」壓縮成一種純粹、抽象的 token——就像人在向很多人徵詢意見時,會聽到各種說法甚至互相矛盾的建議,但把它們並排來看,往往能找到底層共通的那個道理。
需要提醒的是,這只是一個新興領域的早期成果,不是終點。但它已經證明了一件事:把龐雜的人類動作知識,壓縮進一個小到人人都能用的 AI 控制器裡,是可行的。
參考資料
AI 只根據這篇文章內容回答。點下方任一問題,或直接開右下對話框。
相關標籤
相關文章
拆解人形機器人的「肉身」:從骨架、執行器到晶片的量產工程
人形機器人這兩年動作突飛猛進,關鍵不在 AI,而在本體硬體。本文依《硅谷101》對業內人士的訪談,拆解骨架、關節(執行器)、感測器、電氣與計算四大系統,說明為什麼「能動」和「好用」之間隔著一道量產的鴻溝。
NVIDIA 的效率怪獸:一個 30B 開源多模態模型,如何用五招把影音處理做到又快又便宜
NVIDIA 一個 30B 參數的開源多模態模型,主打的不是「最聰明」,而是吞吐量與成本效率——影音處理又快又便宜。它用五個設計把影像、影片、音訊的處理成本壓下來,代價是純文字推理與程式碼能力不是頂尖。
高通的端側 AI 佈局:從手機、機器人到 6G,藏在 AI 週期水面下的贏家
當前沿大模型在水面上廝殺,高通在水面下靠通訊 + 晶片 + 端側 AI 的組合,成為 Physical AI 時代邊緣裝置的核心供應商。這篇整理自高通全球副總裁徐晧在「驍友會五週年」現場的對談,拆解高通對手機、機器人、汽車、XR 眼鏡、PC 與 6G 的佈局邏輯。