脑机融合综述课件.pptx

1、脑机融合综述脑机接口 脑：指有机生命形式的脑或神经系统，目前对大脑的运动皮层、感觉皮层和视觉皮层研究的比较充分 机：任何处理或计算的设备 从信息传输的角度分为四类：脑到机 机到脑 脑到脑 脑机融合脑机接口原理 脑到机 基本原理：通过脑信号检测技术获取神经系统的活动变化，在对这些信号进行分类识别，分辨出引发脑信号变化的动作意图，再用计算机把思维活动变成命令信号驱动外部设备，从而达到脑对外部环境的直接控制。机到脑 基本原理：通过对生物的大脑或者其他神经系统的特定部位施加精细编码的外部刺激（如微电刺激、光刺激），来唤醒或控制生物的某些特定感受和行为。脑到脑 大脑与大脑之间的网络通信是通过将一个大脑的

2、神经信号实时解码，并将解码结果重新编码直接传输到另一个大脑。脑机融合 是脑机接口技术发展的必然趋势。脑机接口应用 脑到机 浙江大学研究团队成功实现猴子通过脑信号控制机械手完成抓、握、勾、捏四种不同的手部运作。机到脑 日本大学医学本部尝试采用深部脑刺激治疗植物状态的患者。脑到脑 华盛顿大学的研究者将检测到的实验者A想象右手动的头皮脑电信号转化为颅磁刺激，作用到实验者B大脑的左运动皮质区，令B的右手动起来。脑机融合 2011年，Nicolelis团队在Nature杂志上发表了一种新型的脑-机-脑信息通路的双向闭环系统，在对猴子大脑神经信息进行解码的同时将猴子触觉信息转化为电刺激信号反馈到大脑，实现

3、了脑与机的相互融合。脑机接口VEP类型 SSVEP（VEP：visual evoked potential）SSVEP简单来说就是屏幕上一堆方块以固定频率（一般8-15Hz）闪烁，受试者“选择”将视线集中在这个方块上，比如以12Hz闪烁的方块，则视觉区收集到的脑电信号中可以识别出12Hz及其谐波，这样控制端就知道，受试者就完成了一次选择选择。这一“选择”转化为命令操控输出设备，就是BCI的一般用途了。成绩虽然突出，SSVEP仍存在很多问题。眼睛盯着闪烁的方块看极易疲劳，对视力不好的尤甚。TVEP（暂态视觉诱发电位）CVEP脑机接口运动想象类型 MI（motor imagery）运动想象是一种自

4、发性脑电信号。截至目前的研究表明，人的脑电信号存在几种节律，其中mu和beta节律被认为与人的运动有关。实际运动的时候可以检测到这两种节律，但即便只是但即便只是“想象想象”着运动一下着运动一下，运动区也可能会产生这两种节律酷！酷！因为这回应了最初研发BCI的目的：为无法使用大脑为无法使用大脑-肌肉通路与外界交肌肉通路与外界交流的人提供新的交流通道流的人提供新的交流通道。2014巴西世界杯开场时小男孩在“机械盔甲”的帮助下一脚开球，国内没有提技术方面的信息，应该就是使用该种方式的成果。最大的问题是，MI能做到的任务数太少了，而随着任务数增加准确率下降得可怕。由两分类到三（加脚部活动）、四（加舌头

5、活动）分类任务，十多年时间过去了，MI方向依然在苦苦挣扎。四分类的准确率目前只有70%左右，这还是用户训练用户训练+数据优化数据优化+高复杂度算法高复杂度算法+长时间调参长时间调参的结果。脑机融合系统：概念 脑机融合系统是通过脑机接口技术，以综合利用生物（包括人类和非人类生物体）和机器能力的计算系统。与传统的计算系统相比，脑机融合计算系统有三个重要特征：（1）对生物体的感知更加全面，包含观行为理解和神经信号解码（2）生物体也作为系统的感知体、计算体和执行体（3）多层次、多粒度的综合利用生物体和机器的能力，达到系统智能的极大增强 近半个多世纪的人工智能研究表明，机器在搜索、计算、存储、优化等方面

6、具有人类无法比拟的优势，然而在感知、推理、归纳和学习等方面尚无法与人类智能相匹敌。鉴于机器智能与人类智能的互补性，我们多年前提出了混合智能(Cyborg Intelligence，CI)的研究新思路（来自 吴校长的混合智能概念与新进展）脑机融合系统：应用前景 神经康复 借助脑机融合计算系统，直接建立脑部与外部设备之间的信息互动和交互控制，高效的实现残障人士的机能补偿和功能重建。动物机器人 相比传统的机器人，动物机器人在能量供给、运动灵活性、隐蔽性、机动性和适应性方面具有更大优势，更加适合在军事基地、核辐射区和灾区等危险环境执行复杂的环境搜索、空间检测和反恐侦查等各种任务。脑机融合系统：面临问题

7、 如何获取稳定的神经信号 目前国内外已经研发出各种微电极、光成像系统来克服这一困难。如何有效地对生物的神经系统进行干预 因为大脑是一个神经元连接的巨型复杂系统。（这个问题不需要咱们考虑）如何设计植入式设备并提高其生物兼容性 设备植入通常导致炎症和生物排斥反应。（这个问题不需要咱们考虑）如何充分融合机器智能和生物智能 机器端的智能可以极大提高脑机融合系统的能力，同样，生物体的接入也能提高系统的各种能力，如何将两者融合在一起，并在智能层面形成一股合力，相互增强依然是个难题。需要我们在系统层面进行考虑。EEG应用案例 神经技术提升情报分析 神经技术提升情报分析（Neurotechnology for

8、 Intelligence Analysts）计划的目标是利用非侵入式脑电位记录，开发新型脑机接口系统，以显著提高图像情报分析的效率。卫星和无人机侦查能力的不断提升，产生了庞大的图像数据，因此带来了利用有限的分析资源进行快速有效图像搜索和分析的挑战。在大范围俯拍照片上寻找目标的现行操作流程极为费时费力，并且目前的计算机视觉方案对比人类视觉系统的目标检测能力，还有相当大的差距。当人看到感兴趣目标时候，会产生事件相关电位P300，一般延迟在300毫秒。把卫星图片切割成小部分，以每秒钟0.5-10张的速度播放给图像分析员，通过EEG记录脑活动。随后目标可能性最高的图片进行最终审查和评估。NIA的工作

9、流程：对于俯拍图像进行分割，通过脑电快速检测筛选目标。脑机接口系统基本构件 信号采集 受试者头部带一个电极帽，采集EEG信号，放大10000倍，预处理转化为数字信号。信号分析 利用FFT、小波分析等算法从经过预处理的EEG信号中提取能够表达受试者意图的特征向量。特征向量提取后交给分类器，分类器的输出作为控制器的输入。控制器 将已分类的信号转化为实际的动作。深度学习有一些成果表现在基于大数据的语音识别、人脸识别。在人工智能模拟人类的各个智能当中，感知能力依然很初步。解决方案是，人和机相互协同，基于脑机结合的基础上，使得认知在更高层面上得到发展。我目前正在看的就是基于卷积神经网络的EEG信号识别技术技术调研（斯坦福的2030年的人工智能与生活）深度学习深度学习是一类学习方法，促进了在图像、视频标记和运动中的目标识别，并且在其他感知领域都有重大影响，比如音频、语音和自然语言处理。强化学习强化学习是一个框架，能将机器学习的重点从模式识别转变到经验驱动的序列决策上。它有望推动人工智能应用的前进，在现实世界中做出决策。虽然在过去数十年，强化学习限制于学术界，但如今我们也看到了一些实际的成果。神经形态计算神经形态计算是一系列寻求模拟生物神经网络从而改进计算机系统硬件效率和稳健性的技术，它取代了用独立的输入/输出、处理指令、存储模块的旧方法。谢谢！