只要一個人的大腦神經活動還在，科學家們就有可能幫助失語癱瘓患者（由於嚴重聲帶和肢體癱瘓而交流受限）恢復應該有的交流能力。
腦機介面被寄予厚望，是近年來神經科學中最前沿的研究領域之一。在一項最新研究中，來自美國加州大學舊金山分校的科研團隊設計了一個神經假體，這種神經假體可以將腦活動轉譯為單個字母，實時拼出完整句子，展示在一名失語癱瘓患者面前。
據介紹，由該神經假體能構成的拼寫系統能夠以每分鐘 29.4 個字元的速度生成句子，平均字元錯誤率僅為 6.13%，且可以推廣到包含 9000 多個詞的詞匯表中。
相關研究論文以“Generalizable spelling using a speech neuroprosthesis in an individual with severe limb and vocal paralysis”為題，已於今日發表在科學期刊 Nature Communications 上。 神經外科醫生、加州大學舊金山分校神經外科和生理學副教授 Edward Chang 為該論文的通訊作者。
這一研究成果凸顯了無聲控制的語言神經假體通過基於拼讀的方法生成句子的巨大潛力。
曾讓癱瘓15年男子恢復「說話」能力
理論上，透過在人（或動物）與外部設備之間建立信息傳輸通路，並利用人工智慧等技術構建映射關系，就可以將人（或動物）的意識顯示在機器上。
此前，來自斯坦福大學的科研團隊就成功開發出一套腦機介面系統，該系統利用大腦運動皮層的神經活動可解碼「手寫」筆跡，並使用循環神經網路（RNN）將筆跡實時翻譯成文本，成功呈現在電腦屏幕上。
同樣，早在去年 7 月，Chang 團隊就曾首次使用腦機介面幫助一位癱瘓超過 15 年的失語男子 BRAVO1 恢復了「說話」的能力。
據瞭解，BRAVO1 在 20 歲時因嚴重的腦乾中風癱瘓並失語，只有頭、脖子和四肢能進行極為有限的活動，但其大腦的認知功能完好無損。
他們為 BRAVO1 開發了一個包含 50 個單詞的系統，該系統每分鐘可以解碼 15.2 個單詞，準確率中值為 75%。
在獨立單詞任務中，BRAVO1 先會看到 50 個常用單詞中的一個。當屏幕上的單詞變成綠色時，BRAVO1 便開始用意念「說」出這個單詞，進而讓電極記錄下他的神經活動。據論文描述，研究團隊共計進行了 9000 次單詞任務，有效數據時長為 22 個小時。
然而，這一系統受限於特定詞匯表，參與者必須嘗試大聲說出這些詞，這對於失語癱瘓的患者來說，是一項非常困難的任務。
在此次工作中，研究團隊通過設計其系統解碼與音標字母相關的腦活動，將此前的方法拓展到了更大的詞匯量，並提高了拼寫速度和準確性。
「會說話」的神經假體
神經假體是一種可以替代缺失的神經系統功能的設備，有望為因失語癱瘓而無法說話或打字的患者恢復交流能力。
然而，人們尚不清楚是否可以通過無聲地嘗試說話來控制交流神經假體。
在測試中，在參與者嘗試無聲地說出每個字母發音時，新系統能夠解碼參與者的腦活動，整個拼寫過程如下圖所示。
在句子拼寫試驗開始時，參與者試圖默念一個單詞來主動激活拼寫器（圖 a），在整個任務過程中，新系統從電極記錄的皮層數據中實時提取神經特徵（高伽馬活動和低頻信號），麥克風信號表明在執行任務期間沒有聲音輸出（圖 b）。
據論文描述，語音檢測模型由 RNN 和閾值計算構成，通過處理神經特徵來檢測無聲語音嘗試，一旦檢測到，拼寫過程就會開始（圖 c）。
在拼寫過程中，參與者在每 2.5 秒發生一次的字母解碼周期中拼寫想要表達的信息，在每個周期內，都會看到一個倒計時，最後看到一個代表“開始”的提示，然後試圖默念出代表所需字母的代碼字（圖 d）；在整個拼寫過程中計算所有電極通道的高伽馬活動和低頻信號，並將其分成 2.5 秒的非重疊時間視窗（圖 e）。
隨後，基於 RNN 的字母分類模型會處理每一個神經時間窗，預測參與者試圖默念 26 個可能的代碼字或者試圖執行一個手動命令的概率，如果預測手動命令的概率達到了 80% 以上，則拼寫過程結束，否則預測的字母概率繼續由波束搜索演算法進行實時處理，並將最有可能的句子顯示給參與者（圖 f）。
最後，當參與者拼出想要表達的信息後，可以通過握緊右手來結束拼寫過程，最後完成整個句子（圖 g），與手動指令相關的神經時間窗會被傳遞給分類模型（圖 h），如果分類模型收到了參與者的手動命令，基於神經網路的語言模型（DistilGPT-2）就會對有效句子重新評分，評分後最有可能的句子被用作最終的預測（圖 i）。
測試結果顯示，參與者從一個1152 個單詞的詞匯表裡，能夠以每分鐘 29.4 個字元的速度生成句子，平均字元錯誤率僅為 6.13%。
在進一步的實驗中，研究團隊發現，這一方法可以推廣到包含9000多個單詞的詞匯表中，平均錯誤率也只有8.23%。
以上研究結果表明，基於拼讀方法利用語音編碼詞匯生成句子的無聲控制語言神經假體具有相當大的應用潛力。
未來，研究團隊還需要繼續研究該方法是否能在更多患者中達到同樣或者更好的效果。
本文授權轉載自：36Kr
責任編輯：何汶、林美欣
