谷歌人工智能公司最近宣布了機(jī)器人變壓器2，這是一種用于控制機(jī)器人的視覺(jué)-語(yǔ)言-行動(dòng)人工智能模型。RT-2使用微調(diào)的LLM來(lái)輸出運(yùn)動(dòng)控制命令。它可以執(zhí)行未明確包含在訓(xùn)練數(shù)據(jù)中的任務(wù)，并在緊急技能評(píng)估中將基線模型改進(jìn)多達(dá) 3 倍。

　　人工智能公司使用兩種不同的底層視覺(jué)LLM基礎(chǔ)模型訓(xùn)練了RT-2的兩種變體：基于PaLM-E的12B參數(shù)版本和基于PaLI-X的55B參數(shù)版本。LLM在一般視覺(jué)語(yǔ)言數(shù)據(jù)集和機(jī)器人特定數(shù)據(jù)的混合上共同微調(diào)。該模型學(xué)習(xí)輸出機(jī)器人運(yùn)動(dòng)命令的向量，該向量被視為簡(jiǎn)單的整數(shù)字符串：實(shí)際上，它是模型學(xué)習(xí)的一種新語(yǔ)言。最終模型能夠接受機(jī)器人工作空間的圖像和用戶命令，例如“撿起即將從桌子上掉下來(lái)的袋子”，并從中生成運(yùn)動(dòng)命令來(lái)執(zhí)行任務(wù)。根據(jù)人工智能公司的說(shuō)法，

　　RT-2不僅展示了人工智能的進(jìn)步如何迅速級(jí)聯(lián)到機(jī)器人技術(shù)中，還展示了對(duì)更多通用機(jī)器人的巨大前景。雖然在以人為中心的環(huán)境中啟用有用的機(jī)器人仍有大量工作要做，但RT-2向我們展示了機(jī)器人技術(shù)令人振奮的未來(lái)。

　　Google Robotics和人工智能公司已經(jīng)發(fā)布了幾個(gè)使用LLM進(jìn)行機(jī)器人控制的系統(tǒng)。2022 年，InfoQ 報(bào)道了谷歌的 SayCan，它使用 LLM 為機(jī)器人生成高級(jí)行動(dòng)計(jì)劃，以及代碼即政策，它使用 LLM 生成用于執(zhí)行機(jī)器人控制的 Python 代碼。兩者都使用純文本LLM來(lái)處理用戶輸入，視覺(jué)組件由單獨(dú)的機(jī)器人模塊處理。今年早些時(shí)候，InfoQ報(bào)道了谷歌的PaLM-E，它處理來(lái)自機(jī)器人傳感器的多模態(tài)輸入數(shù)據(jù)，并輸出一系列高級(jí)動(dòng)作步驟。

　　RT-2 建立在以前的實(shí)現(xiàn) RT-1 之上。RT系列的關(guān)鍵思想是訓(xùn)練模型直接輸出機(jī)器人命令，這與以前輸出更高層次的運(yùn)動(dòng)抽象的努力相反。RT-2 和 RT-1 都接受任務(wù)的圖像和文本描述作為輸入。然而，雖然RT-1使用不同視覺(jué)模塊的管道來(lái)生成視覺(jué)令牌以輸入LLM，但RT-2使用單一視覺(jué)語(yǔ)言模型，如PaLM-E。

　　人工智能公司在6000多次試驗(yàn)中評(píng)估了RT-2。特別是，研究人員對(duì)其緊急能力感興趣：即執(zhí)行機(jī)器人特定訓(xùn)練數(shù)據(jù)中不存在的任務(wù)，但從其視覺(jué)語(yǔ)言預(yù)訓(xùn)練中出現(xiàn)的任務(wù)。該團(tuán)隊(duì)在三個(gè)任務(wù)類別上測(cè)試了RT-2：符號(hào)理解，推理和人類識(shí)別。與基線相比，RT-2實(shí)現(xiàn)了最佳基線的“超過(guò)3倍的平均成功率”。但是，該模型沒(méi)有獲得機(jī)器人訓(xùn)練數(shù)據(jù)中未包含的任何物理技能。

　　在Hacker News關(guān)于這項(xiàng)工作的討論中，一位用戶評(píng)論道：

　　看起來(lái)這項(xiàng)工作仍然停留在位置/速度控制而不是阻抗控制上。這本質(zhì)上是輸出去哪里，要么是帶有控制器的閉環(huán)，要么是帶有運(yùn)動(dòng)規(guī)劃器的開(kāi)環(huán)。這似乎大大降低了數(shù)據(jù)需求，但它感覺(jué)像是我們可以完成的任務(wù)的基本限制。機(jī)器人操縱之所以困難，是因?yàn)槲覀儾粌H需要考慮世界上正在發(fā)生的事情，還需要考慮我們的互動(dòng)如何改變它以及我們需要如何對(duì)此做出反應(yīng)。

　　雖然RT-2還沒(méi)有開(kāi)源，但RT-1的代碼和數(shù)據(jù)已經(jīng)開(kāi)源。