OpenAI人形机器人亮相 - 传媒教育网

当地时间 3 月 13 日，美国机器人创业公司 Figure发布首个基于 OpenAI 多模态大模型的人型机器人 Figure 01。根据演示视频， Figure 01 能够识别出自己面前一张桌子上的唯一食物——苹果，并将其递给一旁自称“想吃点东西”的人类；随后它一边根据人类指令收好桌面的垃圾，一边用语音解释了自己刚刚递苹果的原因；最后，机器人根据桌面的情况，判断出接下来应该把散落的餐具放在一旁的沥水架上晾干。这表明 Figure 01 能够实时通过视觉输入理解周围的环境，结合人类用语音发出的信号，实现特定的物理操作，并用简单的英语回答它的推理过程与结论。

Figure 机器人操作高级工程师表示，该机器人能够“描述其视觉体验、规划未来行动、反思自身记忆、口头解释推理过程”。在具体实现过程中，他们将机器人摄像头中的图像输入，并将机载麦克风捕获的语音文本转录到由 OpenAI 训练的大型多模态模型中，该模型可以理解图像和文本。该模型对整个对话记录进行处理，包括过去的图像，从而获得语言响应，然后通过文本到语音的方式将其回复给人类。此外，该模型负责决定在机器人上运行哪些学习到的闭环行为以完成给定的命令，从而将特定的神经网络权重加载到 GPU 上并执行策略。