NEWS CENTER
新闻中心
思想操纵机器人成真!李飞飞的团队可以做家务和游戏
日期:2023-11-21 18:31:35   浏览:7188次

西风 发自 凹非寺。思想
量子位 | 公众号 QbitAI  。操纵

斯坦福李飞飞 、机器吴佳俊带队让《阿凡达》。人成意念操控 。真李照进现实!飞飞

现在 ,团队操纵机器人只需要动动脑筋。游戏

如果你想吃寿喜锅,思想你不必自己做。操纵切菜备菜,机器倒入配料。人成机器人一次完成:



做饭和煮茶:



忙完后,真李你可以顺便清理桌面:



你认为已经结束了吗 ?这个机器人也是飞飞玩游戏的好手:



甚至可以帮你熨衣服:



关键是旁边的操作员只需要坐在那里“冥想” ,不需要手摇摇杆 。团队



由于研究团队最新开发的脑机接口系统,所有这些都可以做到。NOIR。 。

这是一个通用的智能系统 ,用户不需要佩戴侵入性设备,机器人可以从脑电信号中解码人类意图 。

而且还配备了一个“技能库”,可以随意组合各种技能完成人类指令,轻松应对高达。日常任务20项。 。

要知道 ,常规的脑机接口系统一般只专注于一个或几个任务。

目前,本研究已收录在机器人顶会CoRL中 2023  :



围观网友一个一个哦买嘎:

  • 哦买嘎,游戏规则变化者!



清华叉院助理教授徐华哲也来到评论区支持 :

  • 哦买嘎 ,赛博朋克!



什么是这个NOIR系统?为什么机器人能完成这么多任务?

轻松拿下20项任务 。

就像上面说的 ,这个机器人能做的事情很多 。

奶酪粉的任务也可以很容易地完成 :



拆卸包装和整理桌面 :





它背后的NOIR系统可以分为两部分:模块化解码管道和具有原始技能库的机器人系统。

专注于让机器人自动学习预测人类的意图。



具体来说,模块化管道将解码人类意图过程分为三个模块 :

1)选择什么对象?

方法是在屏幕上显示任务场景  ,利用对象的闪烁刺激产生SSVEP信号;每个对象以不同的频率闪烁。当人类观察某个对象时 ,脑电信号中的频率成分增加 。

然后使用Canonical Correlation Analysis(CCA)方法,分析不同频率的相关性,确定人类注视的对象  。

2)如何互动 ?

这部分是通过提示人类想象执行某些技能(左手、右手等)来产生运动图像信号,然后使用滤波器和Common Spatial Pattern (CSP)算法预处理信号。

最后,使用Quadratic使用 Discriminant Analysis (QDA)识别4类,确定技能选择 。

3)在哪里互动?

选择技能执行的具体参数 ,人类想象控制光标的左右运动 。脑电信号也通过CSP和QDA处理和解码来判断人类是左还是右 。

研究人员还建立了确认或拒绝脑电信号解码结果的安全机制,以避免解码错误造成的风险。



之后,机器人配备了Pick等一系列基本参数技能(x  ,y ,z) 、Place(x,y,z) 、Push(x,y,z,d)。

这些技能可以结合起来完成人类指定的任务。



在这个过程中,解码人类的意图既费时又费钱。因此,研究团队选择让机器人基于检索的少样本学习人类的对象 、技能和参数选择。

这样 ,当给出新的任务时 ,机器人会在记忆中找到最相关的经验 ,并选择相应的技能和对象。



例如 ,假设人类正在执行抓取杯子的任务,并选择在杯子的某个特定位置抓取杯子(例如杯子的把手)。机器人会记录当时的图像和人类选择的抓取点。

在随后的任务中 ,当机器人看到新的杯子图像时 ,它首先根据预训练模型分析新图像,提取图像的语义特征 。

然后计算新图像特征与之前记录的训练图像特征之间的相似性 ,找出最相似的点作为其预测的抓取位置。

通过这种匹配图像特征的方式 ,机器人可以在未来预测自己的参数 ,而不是每次都完全重新选择。



三名人类参与者使用NOIR系统完成了上述20项日常活动任务 ,包括16项桌面操作任务和4项移动操作任务。



在测试中,每项任务平均需要尝试1.8次才能成功,平均完成时间为20.3分钟  ,主要是人类决策和解码耗时  ,占总耗时的80% 。



实验各阶段的解码精度与其他脑机接口研究相似,但使用这种方法可以将对象和技能的选择时间从45.7秒减少到18.1秒。



作者简介。

除李飞飞教授、吴佳俊教授带队外 ,共有四篇论文 :

Ruohan Zhang 。



Ruohan Zhang是斯坦福视觉与学习实验室(SVL)博士后研究员也是Wu Tsai Human Performance Allliance研究员 。

主要研究方向是机器人技术、人机交互 、脑接口 、认知科学和神经科学。

Sharon Lee。



Sharon Lee是斯坦福大学的视觉与学习实验室(SVL)研究生研究员。

Minjune Hwang 。



Minjune Hwang是斯坦福大学计算机科学研究生 ,在加州大学伯克利分校获得计算机科学与统计学学士学位,曾在亚马逊、微软和苹果学习 。

Ayano Hiranaka。

伊利诺伊大学香槟分校毕业于斯坦福大学研究生。

论文链接 :https://arxiv.org/abs/2311.0145。

参考链接 :
[1]https://twitter.com/drjimfan/status/1722674119794434187。
[2]https://twitter.com/ruohanzhang76/status/1720525179028406492。

Copyright © 2003~2023 欧亿体育·中国科技有限公司 版权所有. All Rights Reserved.     /   网站地图     /    友情链接:欧亿体育app官网欧亿体育app下载欧亿体育平台欧亿体育app欧亿体育    /