神经解码器最新进展:可将对话脑活动实时转为文字

明星八卦 浏览(1111)

张梦然/科技日报

科技日报,北京,7月30日根据英国《自然通讯》杂志30日发表的一项神经学研究,旧金山加利福尼亚大学的科学家报告了神经解码器的最新发展,这可能与问答对话的大脑活动。实时转换为文本记录。

大脑皮层包含不同的区域,其中神经活动编码语音感知和生成。以前的研究表明,这种大脑活动可以被解码,但以前的研究主要集中在分别解读听力和说话任务。

这一次,研究员Edward Zhang及其同事在模拟的问答对话实验中通过大脑活动解码了语音感知和生成。研究的受试者是三名正在接受癫痫治疗的患者。他们必须听一系列问题,并通过一系列规定的答案口头回答问题。研究小组在此过程中记录了大脑皮质活动,然后将数据用于训练语音检测和解码模型。之后,参与者听取了一系列问题并用他们选择的答案大声回答。

结果表明,仅使用会话中记录的神经信号,研究团队可以检测主体何时正在倾听,何时正在讲话,并且可以预测特定内容被听到或说出的内容。通过解码问题,他们可以使用所获得的信息来提高解码答案的准确性。此外,对于生成的语音和感知语音的解码,准确度分别增加到61%和76%。

在这个阶段,需要进一步的工作来解码假想的语音响应,因此在实际应用中,因伤或神经退行性疾病而不能说话的患者可以顺利地使用这种技术。

今年4月,该研究小组首次报道了将大脑活动转化为语音的解码器的开发。当时,科学界认为它是“一个非常有力的概念证明”,但“系统距离确实成为临床。可行设备面临许多挑战。”

主编首席

科幻电影中的另一项技术即将实现。在过去十年中,科学家们已经能够解码人脑中的运动信号,让失去肢体的人通过脑电感应装置控制电动假肢和轮椅。这已经太棒了。语音是一个更复杂的代码,它从脑电图中恢复,这让我们意想不到。可以检测未来人类大脑中的视觉印象吗?如果这没关系,那将是惊人的!