研究團(tuán)隊(duì)要解決的核心問(wèn)題是:在非侵入式 EEG 條件下,信噪比較低、維度有限,傳統(tǒng)的解碼器很難提供足夠穩(wěn)定和精準(zhǔn)的二維運(yùn)動(dòng)控制。如果想進(jìn)一步讓用戶完成實(shí)際生活任務(wù)(例如光標(biāo)點(diǎn)擊、機(jī)械臂抓放),就必須找到一種方法,讓 AI 幫助用戶把“粗糙意圖”轉(zhuǎn)化為精確動(dòng)作。

圖1: AI-BCI 框架示意。 展示傳統(tǒng) BCI 與 AI-BCI 的對(duì)比:AI 助手如何利用任務(wù)先驗(yàn)、歷史軌跡與 CV 等信息推斷目標(biāo)并共享控制,從而提高性能與減少參與者代價(jià)。
方法層面有三個(gè)關(guān)鍵創(chuàng)新。
第一,解碼器設(shè)計(jì)。研究團(tuán)隊(duì)提出了CNN-KF混合解碼器。具體做法是先用EEGNet(一種輕量化卷積神經(jīng)網(wǎng)絡(luò))對(duì)64通道EEG信號(hào)進(jìn)行特征提取,輸入為1秒窗口的連續(xù)數(shù)據(jù),采樣率1 kHz,經(jīng)4–40 Hz帶通和Laplacian空間濾波后,每通道歸一化,再以100 Hz的時(shí)間分辨率輸入CNN。
CNN的最后一層隱藏狀態(tài)被送入卡爾曼濾波器作為觀測(cè)量。這樣的設(shè)計(jì)既能捕捉EEG中非線性特征,又能保留卡爾曼濾波器在在線自適應(yīng)中的可解釋性和穩(wěn)定性。CNN在訓(xùn)練后被凍結(jié),閉環(huán)實(shí)驗(yàn)中只調(diào)整卡爾曼參數(shù)(包括解碼偏置和速度增益),這樣能抵消EEG漂移帶來(lái)的影響。
第二,訓(xùn)練范式。為了避免CNN僅僅學(xué)習(xí)到眼動(dòng)偽跡而非真正的運(yùn)動(dòng)皮層信號(hào),實(shí)驗(yàn)分為兩個(gè)階段:首先是開(kāi)環(huán)階段,參與者根據(jù)提示執(zhí)行或企圖執(zhí)行上、下、左、右的動(dòng)作;隨后是去相關(guān)閉環(huán)階段,在這一階段中,視覺(jué)目標(biāo)位置與動(dòng)作提示被解耦,使得模型不得不依賴運(yùn)動(dòng)相關(guān)腦電特征而不是眼動(dòng)信號(hào)。研究團(tuán)隊(duì)還使用ReFIT-like卡爾曼策略,通過(guò)創(chuàng)新項(xiàng)和充分統(tǒng)計(jì)量來(lái)迭代更新卡爾曼濾波器參數(shù),使解碼器更貼合用戶的真實(shí)控制。

圖2:解碼器及訓(xùn)練范式設(shè)計(jì)
第三,AI助手的引入。這里又分為兩類(lèi)。其一是光標(biāo)助手,研究人員在模擬環(huán)境中用近端策略優(yōu)化訓(xùn)練深度強(qiáng)化學(xué)習(xí)模型,輸入為CNN-KF輸出的速度與位置,輸出為每個(gè)候選目標(biāo)的概率分布。助手并不是直接“接管”控制,而是通過(guò)勢(shì)場(chǎng)的方式,把自己的速度貢獻(xiàn)與用戶解碼出的速度向量疊加,從而持續(xù)修正光標(biāo)的運(yùn)動(dòng)軌跡。
其二是機(jī)器人助手,使用實(shí)時(shí)計(jì)算機(jī)視覺(jué)算法對(duì)場(chǎng)景中的物體進(jìn)行檢測(cè)和定位;當(dāng)機(jī)械臂到達(dá)預(yù)設(shè)閾值距離(2.54 cm)時(shí),助手自動(dòng)執(zhí)行抓取或放置動(dòng)作。這大大降低了對(duì)用戶提供高維連續(xù)指令的需求。
結(jié)果方面,論文報(bào)告了多個(gè)量化數(shù)據(jù)。
在光標(biāo)任務(wù)中,健康被試和脊髓損傷參與者(S2)均表現(xiàn)出顯著提升。對(duì)健康被試,AI助手使目標(biāo)獲取速率平均提高約2.1倍;對(duì)S2,提升幅度更大,約為3.9倍。S2在沒(méi)有助手時(shí),命中率和成功率都非常有限,而接入助手后,命中率和成功率顯著提升(p<<0.01)。
在任務(wù)時(shí)間分解分析中,助手最顯著的作用是縮短了最后階段的小范圍微調(diào)時(shí)間。健康被試的微調(diào)時(shí)間中位數(shù)下降至0.38秒,而S2在無(wú)助手條件下微調(diào)時(shí)間往往需要數(shù)秒,有助手后顯著降低,部分試次幾乎接近健康水平。路徑分析顯示,助手條件下的軌跡更直、更高效。

圖3:AI助手大幅提升光標(biāo)任務(wù)表現(xiàn)
在機(jī)器人任務(wù)中,設(shè)置了一次性和序列性兩種形式。一次性任務(wù)要求用戶抓取后立即放置;序列性任務(wù)則要求用戶按順序完成多個(gè)抓放。健康被試在助手條件下幾乎所有試次都能成功,完成率接近100%。而S2在沒(méi)有助手狀態(tài)下完全無(wú)法完成成功試次;在助手條件下則能夠完成任務(wù),在序列性任務(wù)中最終正確放置率達(dá)到約93%,平均完成時(shí)間也明顯縮短(與健康被試相比稍慢,但仍然在可接受范圍內(nèi))。

圖4: AI助手大幅提升機(jī)器人任務(wù)表現(xiàn)
此外,研究團(tuán)隊(duì)還分析了CNN輸出的敏感圖,發(fā)現(xiàn)左右移動(dòng)激活主要集中在對(duì)側(cè)半球的感覺(jué)運(yùn)動(dòng)區(qū),符合已知的皮層功能定位。這說(shuō)明CNN-KF的確在利用可靠的運(yùn)動(dòng)皮層信息,而不是簡(jiǎn)單依賴眼動(dòng)或其他偽跡。
03、重要意義