
“提筆忘字”是許多人日常生活中的常見煩惱,它常在書寫時造成困擾。然而,對于那些因脊髓損傷、肌萎縮側(cè)索硬化癥(ALS)等疾病完全喪失書寫能力的人群,情況遠(yuǎn)不止于此。他們面臨的“無法提筆”不僅是物理上的障礙,更蘊(yùn)含著深刻的無奈力感,因為這些患者無法通過書寫表達(dá)自己的思想和情感。如何讓這些人的內(nèi)心世界也能躍然紙上,實現(xiàn)自由而流暢的表達(dá),成為一個迫切需要社會關(guān)注和解決的挑戰(zhàn)。
近日,南湖腦機(jī)交叉研究院的郝耀耀/王躍明研究團(tuán)隊聯(lián)合浙江大學(xué)在國際頂級期刊《Advanced Science》上發(fā)表了一項開創(chuàng)性成果:成功開發(fā)了一種全新的腦機(jī)接口(BCI)解碼技術(shù),實現(xiàn)了僅憑大腦“想象”書寫,即可高精度還原復(fù)雜漢字軌跡并轉(zhuǎn)化為可識別文本,在包含1000個漢字的測試庫中,系統(tǒng)識別正確率高達(dá)91.1%!這項被譽(yù)為“腦寫漢字”的技術(shù),為非拉丁語系,特別是中文使用者的意念溝通,點(diǎn)亮了前所未有的曙光。

想象一下這樣的場景:一位癱瘓患者看著屏幕上播放的標(biāo)準(zhǔn)漢字書寫動畫,努力在腦海中“跟隨”書寫。這就是臨床BCI訓(xùn)練“意念寫字”的常見模式。然而,一個核心難題始終存在:患者大腦產(chǎn)生書寫意圖的時間點(diǎn)(“所思”),與看到的引導(dǎo)動畫中筆跡運(yùn)動的時間點(diǎn)(“所示”),常常難以實現(xiàn)精確同步!這種“信號錯位”(Misalignment)在書寫過程中還可能時快時慢,呈現(xiàn)動態(tài)變化。傳統(tǒng)的解碼模型(如廣泛使用的MSE損失函數(shù))就像一個“刻板的校對員”,要求大腦神經(jīng)信號必須與外部引導(dǎo)標(biāo)簽在每一瞬間都嚴(yán)絲合縫地對齊。這種錯位導(dǎo)致模型訓(xùn)練混亂,最終解碼出的書寫軌跡往往“形神俱散”,難以辨識——尤其對于結(jié)構(gòu)復(fù)雜的漢字,更是雪上加霜。

團(tuán)隊的核心創(chuàng)新在于引入了名為 DILATE 的智能解碼“指揮官”。它不再苛求每一刻的精確對齊,而是具備兩大智慧:DILATE的核心之一是“柔性動態(tài)時間規(guī)整”(Soft DTW)。它如同深諳書法的鑒賞家,專注于筆畫軌跡的整體走勢與關(guān)鍵特征(起筆、轉(zhuǎn)折、頓挫、收筆)。它能智能地“拉伸”或“壓縮”神經(jīng)信號的時間軸,尋找與目標(biāo)書寫動作在“神韻”和“骨架”上最為匹配的路徑,不拘泥于每一毫秒的絕對位置。這完美契合了漢字書寫講究“筆意連貫、氣韻生動”的特質(zhì)。為防止這種柔性對齊過于“放飛自我”,DILATE的另一部分會對時間軸的扭曲程度進(jìn)行適度約束,確保對齊路徑不會過度偏離正常的時間節(jié)奏。
研究在一名因C4脊髓損傷導(dǎo)致肩部以下完全癱瘓的老年患者身上展開。團(tuán)隊在其控制手部運(yùn)動的腦區(qū)植入微電極陣列,記錄他“想象”用粉筆在黑板上書寫180個常用漢字時的神經(jīng)信號。
應(yīng)用DILATE框架訓(xùn)練的模型(LSTM神經(jīng)網(wǎng)絡(luò)),解碼出的漢字軌跡在形態(tài)和筆畫動態(tài)上高度逼近目標(biāo),效果遠(yuǎn)優(yōu)于傳統(tǒng)MSE方法。衡量整體相似度的關(guān)鍵指標(biāo)(歸一化DTW距離)顯著降低。即使使用常規(guī)手寫識別軟件(對“一筆畫”軌跡識別存在局限),DILATE解碼的字符識別率也顯著提升,達(dá)到37.2%(單日)和52.2%(多日融合)。

更重要的是,團(tuán)隊開發(fā)了獨(dú)家的“速度指紋”識別法:利用每個漢字獨(dú)一無二的書寫速度變化曲線作為識別“密碼”。采用這種基于動態(tài)時間規(guī)整(DTW)的模板匹配,在浩如煙海的1000個漢字庫中,DILATE的識別正確率高達(dá)91.1%(多日融合)!這充分證明了該技術(shù)的強(qiáng)大魯棒性和實用潛力。
團(tuán)隊將該技術(shù)應(yīng)用于已發(fā)表的英語字母書寫數(shù)據(jù)集,同樣顯著提升了單次書寫軌跡的還原質(zhì)量和字母識別率,有力證明了其跨語言、跨書寫系統(tǒng)的強(qiáng)大通用性。
這項“腦寫漢字”技術(shù)的突破,其意義遠(yuǎn)超單一成果:
首次為中文使用者提供了高效“腦寫”BCI的可行路徑,填補(bǔ)了該領(lǐng)域的關(guān)鍵空白。
02、攻克臨床核心瓶頸
DILATE智能地繞開了臨床BCI訓(xùn)練中最大的“攔路虎”——信號錯位,為開發(fā)穩(wěn)定可靠的實用化系統(tǒng)掃清了關(guān)鍵障礙。
03、擁抱全球文字
基于軌跡重建(而非字符庫分類)的策略,使其天然適用于全球所有書寫系統(tǒng),無論是字母、漢字還是其他復(fù)雜符號,真正實現(xiàn)“所思即所寫,無問西東”。
04、“意念創(chuàng)作”新篇章
高精度軌跡解碼能力,為未來的“腦控繪圖”、“意念簽名”乃至更精細(xì)的腦控交互開啟了廣闊想象空間。
這項研究是“腦寫”范式從字母邁向象形/意音文字的關(guān)鍵一步,旨在助力因疾病或傷殘而“失語”“失寫”的人群,重新以最熟悉的文字、最自由的方式,與世界進(jìn)行心與心的對話。未來,團(tuán)隊將加速推進(jìn)該技術(shù)的在線實時驗證與臨床應(yīng)用轉(zhuǎn)化。
浙江大學(xué)腦機(jī)智能全國重點(diǎn)實驗室/南湖腦機(jī)交叉研究院郝耀耀研究員、浙江大學(xué)計算機(jī)學(xué)院/南湖腦機(jī)交叉研究院王躍明教授為論文的通訊作者。浙江大學(xué)生物醫(yī)學(xué)工程專業(yè)博士研究生徐廣祥為論文第一作者,本研究得到了浙江大學(xué)附屬第二醫(yī)院神經(jīng)外科張建民主任、朱君明主任在臨床腦機(jī)接口平臺上的大力支持,南湖腦機(jī)交叉研究院李響工程師承擔(dān)了軟件開發(fā)工作。本研究獲科技創(chuàng)新2030-“腦科學(xué)與類腦研究”重大項目、國家自然科學(xué)基金、浙江省“尖兵”項目等的支持。