公司免费网站制作,高质量的南昌网站建设,北京工信部网站,做彩票网站用什么服务器前言
随着对视觉语言机器人研究的深入#xff0c;发现Google的工作很值得深挖#xff0c;比如RT-2
想到很多工作都是站在Google的肩上做产品和应用#xff0c;Google真是科技进步的核心推动力#xff0c;做了大量大模型的基础设施#xff0c;服
故有了本文#xf…前言
随着对视觉语言机器人研究的深入发现Google的工作很值得深挖比如RT-2
想到很多工作都是站在Google的肩上做产品和应用Google真是科技进步的核心推动力做了大量大模型的基础设施服
故有了本文单独汇总Google在机器人领域的重大结果、进展 第一部分 从RT-1到RT-2
1.1 RT-1首个Transformer机器人
RT-1(项目地址https://robotics-transformer1.github.io/paper地址RT-1: Robotics Transformer for Real-World Control at Scale)
// 待更 1.2 RT-2给VLM加上动作模态RT1从而变成VLA
尽管之前的研究在包括机器人学在内的各种问题和设置上研究了VLMs但Google
一方面为了赋予VLMs预测机器人动作的能力以来扩展其在机器人闭环控制中的能力从而利用VLMs中已有的知识实现新的泛化水平(While prior works study VLMs for a wide range of problems and settings including in robotics, our focus is on how the capabilities of VLMs can be extended to robotics closed-loop control by endowing them with the ability to predict robot actions, thus leveraging the knowledge already present in VLMs to enable new levels of generalizatio)二方面更为了使得模型权重可以完全共享在语言和动作任务之间而不需要引入仅针对动作的模型层组件(we leverage VLMs that generate language, and the unified output space of our formulation enables model weights to be entirely shared across language and action tasks, without introducing action-only model layer components)
故于23年7 月Google DeepMind宣布推出RT-1的进化版(使用上一代机器人模型RT-1的数据进行训练数据上虽然没变但训练方法大大增强了)RT-2其将视觉文本多模态大模型VLM具备的数学、推理、识别等能力和机器人比如RT-1的操作能力结合到一块了 为了实现对「VLM之看听想」与「RT-1之操控」两者能力上的结合
Google给视觉-文本大模型(VLM比如5B和55B的PaLI-X、3B的PaLI以及12B的PaLM-E)增加了一个模态叫做“机器人动作模态”从而把它变成了视觉-文本-动作大模型(VLA)比如RT-2-PaLM-E和RT-2-PaLI-X随后将原本非常具体的机器人动作数据转变成文本token例如将转动度数、放到哪个坐标点等数据转变成文本“放到某个位置”这样一来机器人数据也能被用到视觉-语言数据集中进行训练同时在进行推理的过程中原本的文本指令也会被重新转化为机器人数据实现控制机器人等一系列操作
1.2.1 RT-2的三大能力符号理解、推理、人类识别
其具备三大能力
符号理解(Symbol understanding)或者叫物体理解 能将大模型预训练的知识直接延展到机器人此前没见过的数据上 例如机器人数据库中虽然没有“红牛”但它能根据大模型预训练识所具备的知识中理解并掌握“红牛”的外貌从而最终拿捏到所需物品推理(Reasoning)这也是RT-2的核心优势要求机器人掌握数学、视觉推理和多语言理解三大技能比如 技能一包含数学逻辑推理的命令“将香蕉放到21的总和的位置” 技能二视觉推理像是“将草莓放进正确的碗中” 技能三多语言理解即使不用英语也能完成指令例如用西班牙语命令它“从一堆物品中挑出最与众不同的那个” 甚至能主动思考比如给定指令「选择灭绝的动物」之后它可以完成多个阶段的推理从而最终抓取桌子上的塑料恐龙 人物识别(Human recognition) 比如只需要向对话一样下达命令“将水递给泰勒·斯威夫特”它就能在一堆图片中辨认出霉霉(Taylor Swift美国当代歌手)送给她一罐可乐
1.2.2 机器人动作微调(Robot-Action Fine-tunin)
为了使视觉-语言模型能够控制机器人将行动表示为模型输出中的token这些token与语言token的处理方式相同
行动编码基于RT-1模型提出的离散化方法 行动空间包括机器人末端执行器的6自由度位置和旋转位移以及机器人夹持器的伸展程度和用于终止情节的特殊离散命令该命令应由策略触发以表示成功完成连续维度(除了离散终止命令之外的所有维度)均均匀地离散为256个箱子因此机器人行动可以使用离散箱子的序数表示为8个整数The continuous dimensions (all dimensions except for the discrete termination command) are discretized into 256 bins uniformly. Thus, the robot action can be represented using ordinals of the discrete bins as 8 integer numb为了将这些离散化的行动用于将视觉-语言模型微调为视觉-语言-行动模型我们需要将模型的现有token化与离散行动箱子相关联(we need to associate tokens from the model’s existing tokenization with the discrete action bins)。这需要保留256个token作为动作token而选择哪些token取决于每个VLM使用的特定分词方式为了定义VLM微调的目标我们通过简单地将每个维度的动作token用空格字符连接起来将动作向量转换为单个字符串 这样一个目标的可能实例是“1 128 91 241 5 101 127” 再比如“指令我饿了” 、计划挑选rxbar巧克力、行动1 128 124 136 121 158 111255
我们在实验中微调的两个VLMsPaLI-X和PaLM-E使用不同的分词方式。 对于PaLI-X模型每个整数最多可以有一个唯一的token因此我们只需将动作区间与表示相应整数的token相关联
对于PaLM-E模型它没有提供这种方便的数字表示因此我们只需覆盖最不常用的256个token来表示动作词汇。 值得注意的是训练VLMs以覆盖现有token与动作token是symbol tuning的一种形式在先前的工作中已经证明对VLMs非常有效
最终通过采取上述行动表示我们将机器人数据转换为适合于VLM模型微调的形式其中我们的输入包括机器人摄像头图像和文本任务描述(使用标准的VQA格式“Q机器人应该采取什么行动来完成[任务指令]A”我们的输出格式为表示机器人行动的数字/最不常用的标记的字符串(and our output is formatted as a string of numbers/least frequently used tokens representing a robot action)
值得注意的是同时使用原始的VLM训练数据和机器人数据对VLM微调得到的效果相对最好(we use both the original VLM training data as well as robotic data for VLM fine-tuning) 此外推理的时候用的最大模型是55B参数的RT-2-PaLI-X-55B模型可以以1-3 Hz的频率运行而该模型的较小版本由5B参数组成可以以约5 Hz的频率运行
1.2.3 训练数据PaLI-X/PaLM-E和RT-1的机器人演示数据
对于训练数据我们利用了
Pali-x: On scaling up a multilingual vision and language model和Palm-e: An embodied multimodal language model(一作为Driess)的原始网络规模数据其中包括视觉问答、字幕和非结构化交织的图像和文本示例然后将其与RT-1的机器人演示数据相结合(该数据在办公室厨房环境中使用13台机器人在17个月内收集而来) 每个机器人演示轨迹都用自然语言指令进行了注释描述了执行的任务包括描述技能的动词(例如“拾取”“打开”“放入”和描述操作对象的一个或多个名词(例如“7up罐”“抽屉”“餐巾纸”)
对于RT-2训练过程中的参数设置采用了原始PaLI-X和PaLM-E论文中的超参数包括学习率调度和正则化
1.2.4 Q-Transformer与Open X-Embodiment 数据集
在 RT-2 之后谷歌 DeepMind 又提出了 Q-Transformer机器人界也有了自己的 Transformer 。Q-Transformer 使得机器人突破了对高质量的演示数据的依赖更擅长依靠自主「思考」来积累经验
RT-2 发布仅两个月又迎来了机器人的 ImageNet 时刻。谷歌 DeepMind 联合其他机构推出了 Open X-Embodiment 数据集改变了以往需要针对每个任务、机器人具体定制模型的方法将各种机器人学的知识结合起来创造出了一种训练通用机器人的新思路。
想象一下只需向你的机器人小助理发出「为我打扫房子」或「为我们做一顿美味健康的饭菜」等简单的要求它们就可以完成这些工作。打扫房间或做饭这种任务对于人类来说很简单但对于机器人来说可真不容易需要它们对世界有深度理解。 第二部分 AutoRT、SARA-RT 和 RT-Trajectory
基于在机器人 Transformer 领域深耕多年的研究基础 近期谷歌宣布了一系列机器人研究进展AutoRT、SARA-RT 和 RT-Trajectory它们能够帮助机器人更快地做出决策更好地理解它们身处于怎样的环境更好地指导自己完成任务。
谷歌相信随着 AutoRT、SARA-RT 和 RT-Trajectory 等研究成果的推出能为现实的世界机器人的数据收集、速度和泛化能力带来增益。
接下来让我们回顾一下这几项重要研究。
2.1 AutoRT极大利好机器人数据的收集
在高层次上AutoRT(对应论文为AutoRT: Embodied Foundation Models for Large Scale Orchestration of Robotic AgentsSubmitted on 23 Jan 2024)通过开放词汇表对象检测器收集数据
首先对场景进行理解和描述然后LLM解析该描述在给定高层目标的情况下生成明智且安全的语言目标最后使用LLM确定如何执行这些目标
AutoRT采用了一个带有摄像头、机械臂和移动基座的移动机械手作为机器人平台。在此处我们仅考虑操作数据的收集因此导航只用于获取不同操作设置——然而值得注意的是该系统对其他机器人实现和收集模式也具有通用性 AutoRT 结合了大型基础模型(如LLM或VLM和机器人控制模型RT-1/RT-2创建了一个可以在新环境中部署机器人用以收集训练数据的系统。AutoRT 可以同时指导多个配备了视频摄像机和末端执行器的机器人在各种各样环境中执行多样化的任务
2.1.1 探索阶段导航到目标
第一步是对空间进行探索并找到有趣的场景进行操作(The first stage of AutoRT is to explore the space and find interesting scenes for manipulation) 为了绘制环境我们采用了 Chen 等人提出的自然语言地图方法该方法利用 VLM 构建将物体检测编码为视觉语言嵌入 相应位置由机器人的深度传感器和 SLAM 确定Tomap the environment, we use the natural language map approach proposed by Chen et al. (Open-vocabulary queryable scene representations for real world planning),which is built using a VLM to encode object detections into visual-language embeddings φi, with corresponding position (xi,yi,zi) determined by the robot’s depth sensor and SLAM. 因此给定一个类似于“海绵”的文本目标 我们可以通过查询接近 文本嵌入的 来引导机器人走向海绵Thus, givena textual target q like “sponge”, we can direct the robot towards a sponge by querying for a φithat is close to the text embedding for q.为了确定导航目标在感兴趣区域中采样状态时我们根据之前看到对象的平均嵌入与潜在距离成比例进行采样To determine navigation goals we sample this map forregions of interest via sampling states proportional to their latent distance to an average embeddingof previously seen objects (see Appendix B for more details) 每个环境只生成一次该地图并复制到所有收集机器人所在空间中并从缓存中加载以节省未来情节时间For each environment, this map isgenerated once, then copied to all robots collecting in the space and loaded from cache to save timein future episodes.
总之机器人先在环境中进行探索(场景和物体由VLM描述)然后随机选择导航目标并靠近物体(并提供LLM文本作为机器人生成操纵任务的依据)最终机器人能有效执行任务且对结果进行评分并重复该过程这种方法不需要事先了解环境布局或其中包含的物体
具体来说
每个机器人将根据 AutoRT使用视觉语言模型VLM来「看看四周」了解其环境和视线内的物体接下来大型语言模型会为其提出一系列创造性任务例如「将零食放在桌子上」并扮演决策者的角色为机器人选择需要执行的任务
下图图呈现了 AutoRT 系统的运作过程(绿色部分是本工作的贡献) 自主轮式机器人找到了一个有多个物体的位置VLM 向 LLM 描述场景和物体LLM 为机器人提出各种操作任务并决定哪些任务机器人可以独立完成哪些任务需要人类远程控制哪些任务不可能完成然后做出选择机器人尝试选择要做的任务收集实验数据并对数据的多样性和新鲜度进行评分 机器人将不断重复这个过程
2.1.2 任务列表的生成
在机器人操作场景之前需要生成一个操纵任务列表。这个过程包括两个步骤
场景描述根据机器人摄像头拍摄的图像VLM会输出文本来描述机器人观察到的场景以及其中存在的五个物体。例如在给定场景中VLM列出了肥皂、餐巾、零食、布和海绵 Given an image from the robot camera, a VLM outputs text describing thescene the robot observes, and 5 objects that exist in that scene. For example, as shown in Fig. 5,the VLM lists soap, napkin, snack, cloth, sponge in the given scene. 任务建议在这一步中AutoRT会提示生成任务列表。提示首先提供系统角色说明比如“我是在办公环境中操作的机器人”以指导LLM扮演相应角色。然后通过由机器人constitution编写的任务生成规则列表结束Task proposal: In this step, AutoRT is prompted to generate a list of tasks. This prompt beginswith a system prompt, such as: “I am a robot operating in an office environment”, which describesthe role the LLM should play. It continues with a list of rules that should be followed for taskgeneration, codified by the robot constitution. 提示部分还可以注入之前VLM调用中得到的场景和对象描述信息。基于这些提示LLM会生成一个潜在的操纵任务列表。值得注意的是为了保持底层模型通用性并没有针对我们特定用例进行LLM微调The prompt ends with a section, where we can inject the scene and object description from the prior VLM call. Given this prompt, an LLMgenerates a list of potential manipulation tasks (see Fig. 5). We note, the LLM is not fine-tuned toour specific use case to maintain the generality the underlying model.
研究人员在现实世界中对 AutoRT 进行了长达七个月的广泛评估。实验证明AutoRT 系统能够同时安全地协调多达 20 个机器人最多时共能协调 52 个机器人。通过指导机器人在各种办公楼内执行各种任务研究人员收集了涵盖 77,000 个机器人试验6,650 个独特任务的多样化数据集
2.2 SARA-RT让机器人 TransformerRT变得更快、更精简
另一项成果 SARA-RT可将机器人 TransformerRT模型转换为更高效的版本。
谷歌团队开发的 RT 神经网络架构已被用于最新的机器人控制系统包括 RT-2 模型。最好的 SARA-RT-2 模型在获得简短的图像历史记录后比 RT-2 模型的精确度高 10.6%速度快 14%。谷歌表示这是首个在不降低质量的情况下提高计算能力的可扩展注意力机制。
虽然 Transformer 功能强大但它们可能会受到计算需求的限制从而减慢决策速度。Transformer 主要依赖于二次复杂度的注意力模块。这意味着如果 RT 模型的输入增加一倍例如为机器人提供更多或更高分辨率的传感器处理该输入所需的计算资源就会增加四倍从而导致决策速度减慢。
SARA-RT 采用了一种新颖的模型微调方法称为「向上训练」来提高模型的效率。向上训练将二次复杂性转换为单纯的线性复杂性从而大幅降低了计算要求。这种转换不仅能提高原始模型的速度还能保持其质量。
谷歌希望许多研究人员和从业人员能将这一实用系统应用于机器人技术及其他领域。由于 SARA 提供了加快 Transformer 速度的通用方法无需进行计算成本高昂的预训练因此这种方法具有大规模推广 Transformer 技术的潜力。SARA-RT 不需要任何额外的代码因为可以使用各种开源的线性变体。
当 SARA-RT 应用于拥有数十亿个参数的 SOTA RT-2 模型它能在各种机器人任务中实现更快的决策和更好的性能 用于操纵任务的 SARA-RT-2 模型。机器人的动作以图像和文本指令为条件。
凭借其坚实的理论基础SARA-RT 可应用于各种 Transformer 模型。例如将 SARA-RT 应用于点云 Transformer用于处理来自机器人深度摄像头的空间数据其速度能够提高一倍以上。
2.3 RT-Trajectory帮助机器人泛化
人类可以直观地理解、学会如何擦桌子但机器人需要许多可能的方式将指令转化为实际的物理动作。
传统上对机械臂的训练依赖于将抽象的自然语言擦桌子映射到具体的动作关闭抓手、向左移动、向右移动这使得模型很难推广到新任务中。与此相反RT - 轨迹模型通过解释具体的机器人动作如视频或草图中的动作使 RT 模型能够理解 「如何完成」任务。
RT-Trajectory 模型能自动添加视觉轮廓描述训练视频中的机器人动作。RT-Trajectory 将训练数据集中的每段视频与机器人手臂执行任务时抓手的 2D 轨迹草图叠加在一起。这些轨迹以 RGB 图像的形式为模型学习机器人控制策略提供了低层次、实用的视觉提示。
在对训练数据中未见的 41 项任务进行测试时由 RT-Trajectory 控制的机械臂的性能比现有的 SOTA RT 模型高出一倍多任务成功率达到 63%而 RT-2 的成功率仅为 29%。
该系统的用途十分广泛RT-Trajectory 还可以通过观看人类对所需任务的演示来创建轨迹甚至可以接受手绘草图。而且它还能随时适应不同的机器人平台。 左图只使用自然语言数据集训练的 RT 模型控制的机器人在执行擦桌子这一新任务时受挫而由 RT 轨迹模型控制的机器人在经过 2D 轨迹增强的相同数据集训练后成功规划并执行了擦拭轨迹。右图训练有素的 RT 轨迹模型在接到新任务擦桌子后可以在人类的协助下或利用视觉语言模型自行以多种方式创建 2D 轨迹。
RT 轨迹利用了丰富的机器人运动信息这些信息存在于所有机器人数据集中但目前尚未得到充分利用。RT-Trajectory 不仅代表着在制造面向新任务高效准确移动的机器人的道路上又迈进了一步而且还能从现有数据集中发掘知识 参考文献与推荐阅读
的的关于RT-2的报道机器人ChatGPT来了大模型进现实世界DeepMind重量级突破谷歌AGI机器人大招54人天团憋7个月强泛化强推理DeepMind和谷歌大脑合并后新成果 关于Google家务机器人的报道谷歌DeepMind机器人成果三连发两大能力全提升数据收集系统可同时管理20个机器人量子位谷歌家务机器人单挑斯坦福炒虾机器人端茶倒水逗猫连甩三连弹开打新智元大模型正在重构机器人谷歌Deepmind这样定义具身智能的未来机器之心
