智东西(公众号:zhidxcom)
编 | 云鹏
智东西11月27日消息,据外媒报道,莫斯科物理技术学院(MIPT)和Neurobotics公司的研究人员,通过使用计算机视觉神经网络可以将人的脑波还原为图像,图像形状和色彩两方面具有一定准确度。
MIPT相关负责人表示,该项技术的突破,可以为研究中风、瘫痪等病人使用的“神经控制设备”提供借鉴和参考。这项研究的结果已在知名生物学期刊《bioRxiv》上发表。
AI在阅读人类思维方面的表现已经越来越好。现在AI可以完全凭借人们的脑波来猜测人们正在观看哪些视频并初步还原图像。
MIPT和Neurobotics公司的研究员们组成的团队,使用不同物体的视频片段以及观看者当时的脑电波记录来训练AI 。脑波通过脑电图(EEG)帽来进行记录,视频片段包括极限运动、人脸、抽象形状,瀑布和运动几何体这五类。
AI仅根据EEG数据对视频进行分类和重新创建。在234次尝试中,有210次AI通过脑波判断出了视频类型并打上正确的类型标签。
▲AI对人脸表情的还原
▲AI对赛车运动的还原
▲AI对滑雪运动的还原
▲AI对运动几何体的还原
在视觉上,AI似乎在重建图像的大概形状和色彩方面比较成功,而更细微的细节(如人脸上的表情细节)就比较难以呈现,其中大多数看上去失真并且无法识别。
整个实验分为两个阶段。首先,他们让每个参与者观看20分钟长度为10秒的视频片段。每个片段的主题分为五类之一,研究人员发现,仅通过查看他们的EEG数据,他们就能分辨出参与者正在观看的视频类别。
对于下一阶段的研究,科学家们选择了五类视频中的三类,并开发了两个神经网络。他们训练其中一个神经网络从视觉“噪声(noise)”中生成三种测试类别的图像,然后训练另一个神经网络将EEG数据转换为可比较的噪声。
当噪声配对在一起时,AI能够仅从其实时EEG数据中得出令人惊讶的准确图像,即人们在看什么。研究人员表示,起初他们以为脑电波的数据比较少,不足以支撑图像的重建,但事实证明这是完全可行的。
▲论文中对神经反馈模型流程的图示说明
▲论文中对图像解码器模型结构(a)及常规训练(b)的说明
亚利桑那大学的Victor Sharmas说,阅读思维的AI仍然只是在看人类思想的表层。现在我们看到的只是对人类思维大概地、维粗浅地绘制呈现,距离精准重现还差的非常遥远。
MIPT神经机器人实验室负责人Vladimir Konyshev解释说,虽然研究团队目前致力于为残疾人提供辅助技术,但他们正在研究的AI技术可以用于为某些人群创建神经控制设备,例如中风患者可以通过神经控制外骨骼手臂进行康复训练、瘫痪者通过神经控制轮椅。
“初级”“AI读心术”目前已经实现,AI解读脑波的出色能力连研究员们也为之惊讶。但目前AI通过脑波还原的视频,还原度还较低,并且只能对已知类型进行判断和还原,电影中的科幻场景离我们还依然遥远。
但是此次研究给了人们信心,因为AI解读脑波并转化为我们已知的内容已成为现实。同时,这一技术在医疗领域的广泛应用前景,也值得我们去不断探索。
原文来自:newscientist
http://zhidx.com/p/180848.html
Created by Tan KW | Aug 17, 2024
Created by Tan KW | Aug 17, 2024
Created by Tan KW | Aug 17, 2024