实验性脑控助听器解码 识别您想听的人


实验性脑控助听器解码 识别您想听的人

文章插图
我们的大脑具有非凡的诀窍,可以在嘈杂的环境中挑选出个人的声音,比如拥挤的咖啡馆或繁忙的城市街道 。这是即使是最先进的助听器也很难做到的事情 。但现在,哥伦比亚大学的工程师们正在宣布一项实验技术,该技术可模仿大脑检测和放大许多声音的天生能力 。这种由大脑控制的助听器由人工智能驱动,可作为自动过滤器,监控佩戴者的脑电波并增强他们想要关注的声音 。
虽然仍处于早期开发阶段,但该技术是迈向更好助听器的重要一步,使佩戴者能够无缝,高效地与周围的人交谈 。今天在Science Advances中描述了这一成就 。
哥伦比亚的Mortimer B. Zuckerman Mind的首席研究员Nima Mesgarani博士说:“处理声音的大脑区域非常敏感和强大;它可以放大一个声音而不是其他人,看似毫不费力,而今天的助听器仍然比较苍白 。”脑行为研究所和该论文的资深作者 。“通过创造一种利用大脑本身力量的设备,我们希望我们的工作能够带来技术改进,使全球数亿听障人士能够像他们的朋友和家人一样轻松地进行交流 。”
现代助听器在放大语音的同时抑制某些类型的背景噪声(例如交通)非常出色 。但他们努力提高个人声音的音量而不是其他声音 。科学家称这是鸡尾酒会的问题,以喧闹的声音在喧闹的派对中混合在一起而命名 。
哥伦比亚工程公司电气工程副教授梅斯卡拉尼博士说:“在拥挤的地方,像派对一样,助听器会立刻放大所有发言人 。” “这严重阻碍了佩戴者有效交谈的能力,基本上将他们与周围的人隔离开来 。”
哥伦比亚队的脑控助听器是不同的 。它不仅仅依赖于外部声音放大器,如麦克风,还可以监听听众自己的脑电波 。
“以前,我们发现当两个人互相交谈时,说话者的脑电波开始类似于听众的脑电波,”梅斯加拉尼博士说 。
利用这些知识,该团队将强大的语音分离算法与神经网络,模仿大脑自然计算能力的复杂数学模型相结合 。他们创建了一个系统,首先从一个组中分离出各个说话者的声音,然后将每个说话者的声音与听者的脑电波进行比较 。其声音模式与听众的脑电波最匹配的说话者随后被放大 。
研究人员在2017年发布了该系统的早期版本,虽然很有希望,但却有一个关键的限制:它必须预先训练才能识别出特定的扬声器 。
“如果你和家人在一家餐馆,那个设备会为你识别并解码这些声音,”Mesgarani博士解释说 。“但是,一旦服务员等新人到达,系统就会失败 。”
今天的进展很大程度上解决了这个问题 。在哥伦比亚科技风险投资公司的资助下,改进其原始算法,Mesgarani博士和第一作者丛汉和James O'Sullivan博士再次利用深度神经网络的力量构建了一个更复杂的模型,可以推广到任何潜在的发言人听众遇到的 。
“我们的最终结果是一种语音分离算法,其表现与先前版本相似,但有重大改进,”Mesgarani博士说 。“它可以识别和解码一个声音 - 任何声音 - 立即开始 。”
为了测试该算法的有效性,研究人员与Northwell Health Institute for Neurology and Neurosurgery的神经外科医生Ashesh Dinesh Mehta合作,并与今天的论文合着 。Mehta博士治疗癫痫患者,其中一些人必须接受定期手术 。
梅斯加拉尼博士说:“这些患者自愿听取不同的发言者,同时我们通过植入患者大脑的电极直接监测他们的脑电波 。” “然后我们将新开发的算法应用于该数据 。”