科技 個股卡馬克與Sutton聯手打造機械手，讓AI在真實世界打Atari遊戲

2026年初，成都一商場內人形機器人與老人發生碰撞致其受傷，再次暴露了機器人在不可預測的真實世界中面臨的可靠性挑戰。實驗室裡的流暢演示，一旦進入現實，往往狀況不斷。這背後是一個更深層的技術難題：讓AI在模擬器裡學會一件事，和讓它在真實世界裡穩定執行，是完全不同的兩關，模擬與現實的微小差異就可能導致訓練好的策略失靈。

就在行業為“能否站穩”反覆交學費時，由傳奇程序員約翰·卡馬克領導的Keen Technologies，聯合阿爾伯塔大學和Openmind研究所的研究者發表了一篇論文，試圖從一個更基礎的角度回應這個問題：能否讓強化學習算法在真實世界裡，長時間不間斷地自主學習，而無需人類照看。為此，他們造了一套名為Physical Atari的系統，專門用來打Atari遊戲。

Atari遊戲在AI領域並不陌生，但此前所有經典算法的測試均在模擬器中進行，遊戲世界會等待算法做出決策。論文將真實世界“世界不會等你”的設定稱為“實時強化學習”，這正是機器人面臨的真實處境。目前機器人訓練主要有三條路徑：在模擬器訓練後遷移到真機、通過人類遠程操控採集數據離線訓練，以及讓機器人在真實世界邊幹邊學。第三條路省去了建模擬器和採數據的成本，也從根本上避免了模擬與現實的差異問題，但代價是需要一臺足夠耐用、便宜且能支撐數週高強度運轉的機器人。Physical Atari正是為填補這一空白而生。

該團隊第一作者是Keen Technologies的研究科學家Khurram Javed，作者名單中還包括卡馬克與強化學習奠基人之一、阿爾伯塔大學教授理查德·薩頓。卡馬克是id Software聯合創始人，主導開發了《毀滅戰士》等劃時代遊戲，後加入Oculus擔任CTO。2022年他創立Keen Technologies瞄準通用人工智能，次年邀請薩頓加入。Physical Atari正是他們“讓智能體在現實中學習”理念的具體落地。

整套系統由兩個核心部件構成：一個名為Atari Devbox的設備，本質是塞進3D打印外殼的樹莓派5，連接5英寸屏幕運行Atari遊戲模擬器；另一個名為Robotroller的機械手，通過三個伺服電機控制一支未經改裝的Atari CX40+搖桿，完成上下、左右移動和開火動作。攝像頭拍攝屏幕畫面，算法據此決策並指令機械手操作。這一設計讓AI完全通過“看屏幕、動搖桿”這種人類交互方式與遊戲對話，無需額外仿真接口。

論文大量篇幅講述瞭如何讓機械手在數週內不壞。研究者先後解決了螺絲鬆動、伺服電機塑料齒輪磨損等問題，並因搖桿被“用壞”而調整控制參數使動作更柔和。最關鍵的一項修復是為伺服電機加入“高電流反射”機制：一旦檢測到電流超閾值，系統會讓電機瞬間停住、鬆開扭矩再重新鎖緊，類似人體的腱反射，避免電機燒壞。這成為系統能連續運轉數週不出故障的關鍵。遊戲得分也未通過代碼傳輸，而是由屏幕上顯示的視覺標記讓攝像頭直接“看”出加減分，感知方式與人類玩家無異。整套硬件成本控制在1000美元以內。

研究者讓該系統在Pong、Seaquest、Ms Pacman等六款遊戲上分別學習五個半小時，每款遊戲重複4到5次實驗，累計運行近145小時，期間無任何人工干預。另一組實驗中，研究者先讓智能體在一臺Robotroller上學習6小時，再將策略部署到原機器人和另一臺按相同圖紙製造的機器人上測試。結果顯示，即便設計圖紙和零件完全相同，策略在“陌生身體”上的表現也明顯更差。在需要精準卡點的Pong遊戲中，策略能判斷球的方向並移動球拍，卻總是差一點沒接住，因為同型號零件間的微小公差足以讓時機錯位。隨後讓智能體在“陌生身體”上繼續學習，表現才逐漸回升。這印證了論文的判斷：哪怕差異小到同款機器人換一臺，也足以拖累表現，直接在目標身體上持續學習是修復偏差的最直接辦法。系統約165毫秒的端到端響應延遲也落在人類反應速度區間內，說明硬件反應能力並非瓶頸。

Physical Atari並不打算讓機器人學會走路或疊衣服，它解決的是一個更基礎的問題：為驗證“機器人能否在現實世界自主學習”提供了一套足夠便宜、耐用且可復刻的實驗臺。在真實世界連續運轉145小時無需人工干預，或許比發佈會上的精心演示更能檢驗強化學習算法的真正可靠性。