4月18、19两天的Facebook F8年度开发者大会上有许多看点,比如VR技术和“沟通让生活更美好”的社交帝国愿景。其中最让我感动的是第二天Keynote(主题报告)中,Regina Dugand的感性而丰富的压轴演讲。最开始没有想写这个,但是最近看到很多一些公众号的报道有些偏差,微博介绍的内容也不尽准确,所以我就组织一起运营微博的小妹妹整理了讲稿并写成文章,分享给大家。
Dugand的演讲流畅自然,并且以“沟通和交流”为主线,引出了Facebook希望打造的两个产品①无创式光学成像系统 编码神经元活动,即无声语言系统,使瘫痪者能够打字;② 触觉震动传感器 将不同波段的震动编码语言并被被受试者理解,为聋哑盲人服务。
首先,Dugand提出说话是一种有损的压缩算法:我们的大脑有860亿个神经元,每秒触发上千次运作;由于并非所有神经元都同时触发,所以将其除以一个系数100,每秒能够产生大约1太字节的信息,相当于你的大脑中每秒在传输大约40部高清电影。如果你没有喝咖啡,现在你的大脑运转速度可能会慢十倍,所以,不妨说,你的大脑每秒在传输4部高清电影。而问题在于,如何将大脑中的所有信息输出到这个世界,我们有哪些选择?
比如,当你说话时,每秒大约在传输100字节数据,换算成带宽,相当于1980年代的拨号调制解调器。所以,这就是我们目前的情况,每秒4部高清电影的传输需求,却使用1980年代的拨号调制解调器来传输。 (这是什么感觉?相当的卡啊!)这也许是我们热爱伟大作家和诗人的原因,因为他们在将思想的丰富内容压缩成文字时,做得更出色。
既然将无尽的思绪用有限的语言在短时间组织、表达这么困难,那如果能直接从大脑打字,岂不方便多了?彼此少了一些语言上的拘谨和组织问题上的烦恼,这就解决了无法很好地表达自自己想法的人,在说了一大堆之后别人更糊涂了的尴尬:“反正就是那个意思嘛”。
而科技想要帮助的,更是那些无法表达的人。
通过大脑直接打字
Dugand播放了斯坦福大学Shenoy实验室与多家单位合作[1]的实验:
视频里的女性患有肌萎缩侧索硬化症,她的身体完全不能动。她不能行动或讲话,但是她能够用自己的意念打字。一系列豌豆大小的电极植入用于控制运动的运动皮层。当她想象自己在移动鼠标时,电极会记录她的神经元动作,然后电脑会学着代她移动鼠标。使用这个系统,她每分钟能打八个单词。她正在直接用大脑打字,每分钟打八个单词,虽然这个速度不到智能手机打字速度的三分之一,但是相比沉默无言,这个速度快如闪电。
虽然额妹子嘤,但毕竟这是很多年前的脑机接口技术了,Facebook团队不会仅限于此。于是,Dugand提出,如果不使用想象中的手臂移动, 直接解码语言 呢?也就是说,你都不用集中精力去想怎么去打字了——机器会直接输出你的想法,并且是只输出你想表达的部分。(内心深处的小秘密是不会被曝光哒。)这是建立在他们假定你决定要分享的内容才会被传递到大脑的语言中枢的前提下。
有了强大的IDEA,再+强大的团队+强大的设备,事情应该就能实现。于是约翰霍普金斯大学的物理学家兼神经科学教授Mark Chevillet带领超过60名科学家、工程师准备通过构建一套拥有极高的空间和时间分辨率的光学神经成像系统。这套系统的优势在于:
(1)无创
我们知道,目前成功的脑机接口大部分都是有创的,需要在大脑某区域植入电极。除了开颅,电极的损耗、免疫系统的影响体现着植入电极记录的不足。而这套光学神经成像系统采用无创传感器。这些电信业都在努力实现无创传感器的性能、成本和微型化,可以借科技的东风飞一会。
(2)精度
时间精度:当前的光学成像主要是功能性核磁共振(FMRI)和近红外成像(NIRS),但遗憾的是,这两种成像原理都只是测量到血氧含量的变化;用来捕捉较快的单词就捉襟见肘了。以近红外成像为例,产生神经活动时,该脑区的血流量和耗氧量都将增加;脱氧血红蛋白和含氧血红蛋白对光的吸收程度不同;由此可以通过对光的吸收来反映大脑皮层的血氧代谢情况,从而耦合脑区的活动。而神经活动的基本单位——以毫秒为单位的动作电位,反应的是钠离子进入细胞、钾离子排出细胞的过程。这套成像系统的优点在于可以追踪测量的是动作电位中钠钾离子浓度变化时的光学特征。而这,就可以达到毫秒级。
空间精度:小时候玩过的红色激光笔,贴近手指的时候会发红光,没有看到激光笔的原始解析度,是因为大多数光子在通过手指的时候因为散射而导致成像精度下降。准弹道光子因为不会散射而保持了非常高的精度,因此即使是无创的设备,也能够通过毛发、头皮和1cm厚的头骨解码每一个单词。
如果开发成功了这个实时的无声语言系统,目标希望实现每分钟打100个单词。对于又需要的患者来说,这种神经假体能够提高增强现实的输入自然性,也可以无创地测量与语言相关的神经活动。在此基础上也能够开发规模化应用的系统。此外,语言的内容不仅包括发音、拼写,还包括语义。到时候,也许不同语言的患者交流时,机器也会自动解码成对方能够理解的词语。
通过皮肤听别人说话
19世纪法国科学家发明的Braille盲文点字,使得盲人可以通过指尖接触凸点来阅读信息。20世纪早期发明的Tadoma识字法,通过与海伦•凯勒的合作,通过植入皮肤的触觉震动传感器感知讲话时气流压力的改变,声带的振动,下颚的变化,从而理解复杂的语言输入,并为盲聋儿童提供一种可规模化应用的沟通方法。
Dugand播放了一段视频,视频中,一个盲聋患者通过 植入手部皮肤下的传感器 来“听对方说话”,并且竟然可以处理、理解甚至重现老师所讲的话。这些话他无法看见、听见,仅仅通过触觉去感知,就重复出“请等一下”“你是不是忘了关水?”的原话。
我们明白,大脑关于听觉的加工大致是通过耳蜗对声音执行傅里叶变化,将声音以不同频域的信息进行编码,再由神经元进行计算。而如果能够模仿耳蜗的作用,仅通过皮肤来传输分解后的频率信息,又会如何?
Dugand又放了一段视频:项目负责人(左)在软件上点击动词、名词、形容词,通过电气工程师(右)手臂上的频率感受器将这些信息以不同的频率的震动进行编码,女不到一个小时学习了9个触觉词汇,测试时她甚至可以非常准确地说出词语的组合(扔+白色+方块)。
全球有7.8亿既不能讲话又无法写字的患者,如果这两项技术能够实现,那将是多么美好啊。
在整理文稿的时候,不止一次地想起读大学时看到google的发布会时的感受: 情怀使得科技更进一步。