西风 发自 凹非寺。思想
量子位 | 公众号 QbitAI 。操纵
斯坦福李飞飞 、机器吴佳俊带队让《阿凡达》。人成意念操控 。真李照进现实 ！飞飞
现在 ，团队操纵机器人只需要动动脑筋。游戏
如果你想吃寿喜锅 ，思想你不必自己做。操纵切菜备菜 ，机器倒入配料。人成机器人一次完成 ：
做饭和煮茶 ：
忙完后 ，真李你可以顺便清理桌面：
你认为已经结束了吗 ？这个机器人也是飞飞玩游戏的好手:
甚至可以帮你熨衣服:
关键是旁边的操作员只需要坐在那里“冥想” ，不需要手摇摇杆 。团队
由于研究团队最新开发的脑机接口系统 ，所有这些都可以做到 。NOIR。 。
这是一个通用的智能系统 ，用户不需要佩戴侵入性设备 ，机器人可以从脑电信号中解码人类意图 。
而且还配备了一个“技能库”，可以随意组合各种技能完成人类指令 ，轻松应对高达 。日常任务20项 。 。
要知道 ，常规的脑机接口系统一般只专注于一个或几个任务 。
目前 ，本研究已收录在机器人顶会CoRL中 2023 ：
围观网友一个一个哦买嘎:
- 哦买嘎 ，游戏规则变化者！
清华叉院助理教授徐华哲也来到评论区支持 ：
- 哦买嘎 ，赛博朋克 ！
什么是这个NOIR系统 ？为什么机器人能完成这么多任务？
就像上面说的 ，这个机器人能做的事情很多 。
奶酪粉的任务也可以很容易地完成 ：
拆卸包装和整理桌面 ：
它背后的NOIR系统可以分为两部分：模块化解码管道和具有原始技能库的机器人系统。
专注于让机器人自动学习预测人类的意图。
具体来说 ，模块化管道将解码人类意图过程分为三个模块 ：
1）选择什么对象？
方法是在屏幕上显示任务场景 ，利用对象的闪烁刺激产生SSVEP信号；每个对象以不同的频率闪烁 。当人类观察某个对象时 ，脑电信号中的频率成分增加 。
然后使用Canonical Correlation Analysis(CCA)方法 ，分析不同频率的相关性 ，确定人类注视的对象 。
2)如何互动 ？
这部分是通过提示人类想象执行某些技能(左手、右手等)来产生运动图像信号 ，然后使用滤波器和Common Spatial Pattern (CSP)算法预处理信号 。
最后 ，使用Quadratic使用 Discriminant Analysis (QDA)识别4类 ，确定技能选择 。
3)在哪里互动？
选择技能执行的具体参数 ，人类想象控制光标的左右运动 。脑电信号也通过CSP和QDA处理和解码来判断人类是左还是右 。
研究人员还建立了确认或拒绝脑电信号解码结果的安全机制，以避免解码错误造成的风险。
之后 ，机器人配备了Pick等一系列基本参数技能（x ，y ，z） 、Place（x，y，z） 、Push（x ，y ，z ，d） 。
这些技能可以结合起来完成人类指定的任务 。
在这个过程中 ，解码人类的意图既费时又费钱 。因此，研究团队选择让机器人基于检索的少样本学习人类的对象 、技能和参数选择 。
这样 ，当给出新的任务时 ，机器人会在记忆中找到最相关的经验 ，并选择相应的技能和对象 。
例如 ，假设人类正在执行抓取杯子的任务 ，并选择在杯子的某个特定位置抓取杯子(例如杯子的把手)。机器人会记录当时的图像和人类选择的抓取点。
在随后的任务中 ，当机器人看到新的杯子图像时 ，它首先根据预训练模型分析新图像 ，提取图像的语义特征 。
然后计算新图像特征与之前记录的训练图像特征之间的相似性 ，找出最相似的点作为其预测的抓取位置 。
通过这种匹配图像特征的方式 ，机器人可以在未来预测自己的参数 ，而不是每次都完全重新选择 。
三名人类参与者使用NOIR系统完成了上述20项日常活动任务 ，包括16项桌面操作任务和4项移动操作任务 。
在测试中 ，每项任务平均需要尝试1.8次才能成功，平均完成时间为20.3分钟 ，主要是人类决策和解码耗时 ，占总耗时的80% 。
实验各阶段的解码精度与其他脑机接口研究相似，但使用这种方法可以将对象和技能的选择时间从45.7秒减少到18.1秒 。
除李飞飞教授 、吴佳俊教授带队外 ，共有四篇论文 ：
Ruohan Zhang 。
Ruohan Zhang是斯坦福视觉与学习实验室（SVL）博士后研究员也是Wu Tsai Human Performance Allliance研究员 。
主要研究方向是机器人技术 、人机交互 、脑接口 、认知科学和神经科学。
Sharon Lee。
Sharon Lee是斯坦福大学的视觉与学习实验室（SVL）研究生研究员。
Minjune Hwang 。
Minjune Hwang是斯坦福大学计算机科学研究生 ，在加州大学伯克利分校获得计算机科学与统计学学士学位 ，曾在亚马逊 、微软和苹果学习 。
Ayano Hiranaka。
伊利诺伊大学香槟分校毕业于斯坦福大学研究生 。
论文链接 ：https://arxiv.org/abs/2311.0145 。
参考链接 ：
[1]https://twitter.com/drjimfan/status/1722674119794434187。
[2]https://twitter.com/ruohanzhang76/status/1720525179028406492。
