描述

背景

在過去十年中，由于仿生假肢在改善中風后患者和截肢者生活質量方面的重要應用，其研究和開發取得了顯著增長。根據 Grand View 研究數據庫 [1]，2020 年全球假肢和矯形器市場規模為 61.1 億美元，預計 2021 年至 2028 年將以 4.2% 的復合年增長率增長。截肢，殘余肌肉和假肢之間的控制接口（即神經機器接口）對于仿生假肢的自然運動至關重要。如圖 1 所示，基于肌電圖 (EMG) 的控制界面已廣泛應用于醫學以及一些娛樂應用，如假肢控制、康復手套、或者為VR游戲提供另一種交互方式。基于 EMG 的神經機器接口可以測量電活動以響應神經對肌肉的刺激，以識別人體運動意圖并將記錄的 EMG 信號轉換為有效的控制信號以驅動外部假肢。最近，由于從許多用戶那里收集的大量 EMG 數據以及學習算法和計算設備的進步，深度學習在進一步提高基于 EMG 的控制界面設計的準確性和魯棒性方面顯示出巨大的潛力。然而，深度學習方法臨床部署的一個關鍵挑戰和障礙是它們的高計算成本，因為大多數控制組件都是使用具有有限功率和計算能力的便攜式嵌入式系統構建的。在這個項目中，

圖 1 基于 EMG 的神經機器接口

?

方法

該項目旨在在 Sony Spresense 微控制器上部署一個深度神經網絡，用于實時仿生手臂控制。我們使用 2D 卷積神經網絡 (CNN) 作為 EMG 模式識別算法，該算法在部署到 Sony Spresense 之前已經過微調和壓縮。我們的 EMG 數據收集基于 Myo Armband 和 ESP32 Board。這個項目有4個主要部分：

• EMG 信號采集和預處理
• 離線 CNN 模型訓練和微調
• 設備端 CNN 模型部署和推理
• 實時仿生手臂控制

圖 2 系統概述：EMG 數據收集、CNN 模型推斷和仿生手臂控制。

?

系統概述：圖 2 顯示了系統概述。我們首先通過藍牙將 Myo Armband 與 ESP32 連接起來。其次，Myo Armband 可以獲取 EMG 數據，同時 ESP32 通過 UART 串??行通信向 Sony Spresense 傳輸信號。第三，Sony Spresense 對傳輸的 EMG 數據進行預處理，并實時進行手勢預測。最后，預測的手勢被轉換為 PWM 信號以控制仿生手臂，其中 3 個伺服系統控制不同的手指。

在接下來的會議中，我們將詳細分析每個部分。

圖 3 EMG 模式識別：傳統機器學習 VS 深度學習算法

?

EMG模式識別： EMG信號是人體皮膚表面肌肉收縮過程中產生的電信號的記錄。EMG 信號模式識別是非侵入式神經機接口應用的技術核心。如圖 3 所示，8 個傳感器 Myo Armband 將用于收集人體皮膚的 EMG 信號。然后，收集的信號可以輸入深度學習（例如，CNN）或機器學習（例如，LDA、SVM）模型以執行模式識別，返回不同手勢的輸出概率。與需要特征工程的傳統機器學習相比，深度學習在特征提取方面表現出色，例如從 EMG 信號中獲取平均絕對值 (MAV) 或過零 (ZC)。

在這個項目中，我們利用 CNN 模型直接學習原始 EMG 特征，而無需任何額外的特征工程。但是，深度學習模型可能會比機器學習模型引入額外的計算開銷。如圖 3 所示，CNN 模型通常由高性能 GPU 進行預訓練，計算成本高、內存占用大、能耗高。將它們部署到計算資源有限的低功耗設備上非常具有挑戰性。為了在 Sony Spresense 上實現實時接口，我們將利用 TensorFlow Lite 來加速 CNN 模型。

圖 4 目標：在 Sony Spresense 微控制器上部署深度神經網絡，用于實時仿生手臂控制。

?

EMG 數據預處理：如圖 5 所示，Myo Armband 包括 8 個傳感器/通道，因此每個 EMG 陣列為 1x8（每個通道一個 EMG 樣本）。為了從原始 EMG 信號中提取空間域特征，我們結合了 32 個 EMG 樣本來創建一個 EMG 窗口（8×32）。在 EMG 信號收集過程中，我們以 16 步長重疊 EMG 窗口，以便下一個 EMG 窗口包含來自先前 EMG 窗口的最后 16 個樣本，以便進一步結合時域特征。此外，原始 EMG 值是一個 0 - 255 范圍內的 8 位無符號數，因此如果 EMG 值大于 127，我們通過將值減去 256 將 EMG 值從無符號數更改為有符號數。最后，我們將有一個給定從 NinaPro DB5 數據集獲得的 7 個手勢，從 EMG 樣本計算的 8 個通道中的每個通道的一組平均值和標準偏差。

圖 5 肌電數據預處理

?

圖 6 深度神經網絡模型和訓練數據

?

深度神經網絡模型與訓練：如圖 6 所示，我們的 CNN 模型由 2 個卷積層和一個全連接層組成。第一個卷積層由 32 個濾波器組成，然后是 PReLU 激活函數、用于加速模型訓練的批量歸一化、用于對抗過度擬合的空間 2D dropout 和最大池化。第二個卷積層與第一層相同，只是它使用 64 個過濾器而不是 32 個。最后，我們將以 N 個神經元全連接層結束，這取決于 N 個手勢進行預測。在我們的項目中，我們利用來自名為 NinaPro DB5 [3] 的大型開源 EMG 數據集的 7 個手勢來訓練我們的模型。然后，我們使用從 Myo 臂章收集的實時 EMG 信號對其進行微調，將模型學習從較大的數據集推廣到更具體的下游數據集。

Fig.7 3D – Printed Bionic Arm：來自 Mission ARM JAPAN 非營利組織的 HACKberry Hand 項目

?

3D - 打印仿生手臂：如圖 7 所示，我們的仿生手臂是基于 Mission ARM JAPAN 非營利組織 [2] 的名為 HACKberry hand 的開源社區項目進行 3D 打印的。

該仿生手臂使用了 3 個伺服系統。SG90 伺服控制中指、無名指和小指。平行伺服控制食指。第二個SG90控制拇指。在我們的項目范圍內，我們利用仿生手臂執行 4 個手勢：休息手勢、豎起大拇指手勢、握拳手勢和確定手勢。

圖 8 未來工作

?

未來工作：在這個項目中，我們成功地將CNN模型部署在Sony Spresense板上，實現了實時仿生控制。未來，我們將通過以下方法進一步增強我們的系統。首先，中間的 ESP32 導致延遲。通過將藍牙直接部署到 Sony Spresense 上，我們可以最大限度地減少這種情況。其次，我們可以通過使用 RNN 等其他架構來提高模型的魯棒性。此外，我們可以使用 GAN 增強噪聲 EMG 數據。第三，我們可以利用更高維度的 EMG 采集傳感器，嵌入更多的特征。（比如 192 個頻道而不是 8 個）最后，我們還可以通過在 Sony Spresense 上實現設備上的培訓來改善我們的用戶體驗。

?