一項新研究發(fā)現(xiàn),通過分析神經(jīng)信號,腦機接口 (BCI) 現(xiàn)在幾乎可以即時合成因神經(jīng)退行性疾病而失去聲音的患者的語音。
研究人員提醒說,這種能夠幫助癱瘓患者恢復(fù)語言能力的設(shè)備要應(yīng)用于日常交流仍需很長時間。盡管如此,加州大學(xué)戴維斯分校神經(jīng)義肢實驗室的項目科學(xué)家 Maitreyee Wairagkar 表示,他們希望這項研究“能夠開辟一條進一步改進這些系統(tǒng)的途徑——例如,通過技術(shù)轉(zhuǎn)讓給產(chǎn)業(yè)”。
腦機接口的一個主要潛在應(yīng)用是幫助因疾病或受傷而無法說話的人恢復(fù)溝通能力。例如,科學(xué)家已經(jīng)開發(fā)出多種腦機接口,可以幫助將神經(jīng)信號轉(zhuǎn)換為文本。
然而,單靠文本無法捕捉人類語音的許多關(guān)鍵方面,例如有助于傳達含義的語調(diào)。此外,Wairagkar 表示,基于文本的交流速度很慢。
現(xiàn)在,研究人員開發(fā)了一種名為“腦轉(zhuǎn)語音”的神經(jīng)假體,可以實時將神經(jīng)活動解碼為聲音。他們于 6 月 11 日在《自然》雜志上詳細介紹了他們的研究成果。
“因神經(jīng)系統(tǒng)疾病而失去說話能力是毀滅性的,”Wairagkar 說?!伴_發(fā)一種能夠繞過受損神經(jīng)系統(tǒng)通路來恢復(fù)說話能力的技術(shù),將對失語人士的生活產(chǎn)生重大影響?!?/p>
用于言語恢復(fù)的神經(jīng)映射
新的腦機接口 (BCI) 使用四個微電極陣列來映射神經(jīng)活動??茖W(xué)家們總共在三個大腦區(qū)域放置了 256 個微電極陣列,其中最主要的是腹側(cè)中央前回,它在控制說話肌肉方面發(fā)揮著關(guān)鍵作用。
“這項技術(shù)并不能‘讀懂’或‘讀懂內(nèi)心的想法’,”Wairagkar 說。 “我們從控制言語肌肉的大腦區(qū)域進行記錄。因此,系統(tǒng)僅在參與者主動嘗試說話時才會發(fā)出聲音。”
研究人員將腦機接口(BCI)植入一位45歲的肌萎縮側(cè)索硬化癥(ALS)志愿者體內(nèi),ALS是一種神經(jīng)退行性疾病,也稱為盧伽雷氏癥。雖然這位志愿者仍然可以發(fā)出聲音,但在植入BCI之前的幾年里,他一直無法獨自發(fā)出清晰的語音。
神經(jīng)假體記錄了患者嘗試大聲朗讀屏幕上的句子時產(chǎn)生的神經(jīng)活動。隨后,科學(xué)家們利用這些數(shù)據(jù)訓(xùn)練了一個深度學(xué)習(xí)人工智能模型,使其能夠生成患者想要表達的語音。

研究人員還利用患者患病前的錄音訓(xùn)練了一個語音克隆人工智能模型,以便BCI能夠合成患者患病前的聲音。研究指出,患者表示,聽到合成的聲音“讓我感到快樂,感覺就像我真實的聲音一樣”。
在實驗中,科學(xué)家發(fā)現(xiàn)腦機接口 (BCI) 能夠檢測到預(yù)期語音語調(diào)的關(guān)鍵方面。他們讓患者嘗試將一組句子以陳述句(音調(diào)不變)或疑問句(句末音調(diào)上升)的形式說出來。他們還讓患者通過改變音調(diào)來強調(diào)“我從未說過她偷了我的錢”這句話中七個單詞中的一個。(這個句子有七種不同的含義,取決于強調(diào)哪個單詞。)這些測試表明,在問題結(jié)尾和強調(diào)單詞之前,神經(jīng)活動有所增強。反過來,這使得患者能夠控制自己的腦機接口 (BCI) 聲音,從而能夠提出問題、強調(diào)句子中的特定單詞或唱出三音調(diào)旋律。

“我們說什么,怎么說也同樣重要,”Wairagkar 說?!罢Z調(diào)有助于我們有效地溝通?!?/p>
總而言之,新的腦機接口 (BCI) 可以獲取神經(jīng)信號并以 25 毫秒的延遲發(fā)出聲音,從而實現(xiàn)近乎即時的語音合成,Wairagkar 說道。事實證明,BCI 足夠靈活,能夠說出自創(chuàng)的假詞,以及諸如“啊”、“呃”、“哦”和“嗯”之類的感嘆詞。
最終的聲音通常清晰易懂,但并非始終如一。在測試中,人類聽眾需要轉(zhuǎn)錄 BCI 的話語,他們理解患者話語的準確率約為 56%,而未使用 BCI 時僅為 3%。
“我們并非聲稱這套系統(tǒng)已經(jīng)準備好供失去說話能力的人使用,并進行對話,”Wairagkar 說道。“相反,我們只是展示了當(dāng)前 BCI 技術(shù)所能實現(xiàn)的概念驗證。”
未來,科學(xué)家們計劃提升該設(shè)備的準確性,例如,增加電極數(shù)量和改進AI模型。他們還希望腦機接口公司能夠開展臨床試驗,將這項技術(shù)融入其中?!澳壳吧胁磺宄@種腦機接口是否適用于完全閉鎖(locked in)的人”——也就是說,除了眼球運動和眨眼之外,幾乎完全癱瘓,Wairagkar補充道。
另一個有趣的研究方向是研究這種語音腦機接口是否能幫助語言障礙患者,例如失語癥患者?!拔覀兡壳暗哪繕嘶颊呷后w是由于肌肉麻痹而無法說話,”Wairagkar說道。“然而,他們產(chǎn)生語言和認知的能力仍然完好無損?!?她指出,與此相反,未來的研究可能會研究如何恢復(fù)大腦中負責(zé)說話的區(qū)域受損或因殘疾而自幼無法學(xué)習(xí)說話的人的語言能力。