具有移動能力和采樣機構的可口服機器人膠囊在胃腸道無創診斷和介入治療方面具有巨大的潛力。實時跟蹤膠囊位置和運行狀態對于臨床應用是必要的，但這仍然是一個重大挑戰。

據麥姆斯咨詢報道，近日，加拿大多倫多大學（University of Toronto）和美國范德堡大學（Vanderbilt University）的研究人員組成的團隊在Scientific Reports期刊上發表了題為“Capsule robot pose and mechanism state detection in ultrasound using attention-based hierarchical deep learning”的最新論文，提出了一種基于注意力的分層深度學習方法，以用于在超聲圖像中對毫米尺度機器人膠囊進行2D姿態估計和機構狀態檢測。實驗結果表明，膠囊狀態分類的準確率為97%，方位和質心位置的平均估計誤差為2.0°和0.24mm（膠囊體長的1.7%）。提出的方法有望推進無線膠囊機器人技術的發展。

無線膠囊機器人在靶向給藥、活檢取樣和胃腸道（GI）局部診斷等任務中顯示出巨大的潛力。盡管內窺鏡手術通常被用于胃腸道的診斷和治療，但內窺鏡檢查需要麻醉，并存在腸道破裂的風險?；谖撃z囊機器人的技術有望替代內窺鏡。對于使用無線膠囊機器人進行活檢或靶向治療等手術，需要準確和實時地跟蹤膠囊位置和運行狀態。

磁定位技術作為一種用于無線膠囊內窺鏡（WCE）姿態估計的無遮擋跟蹤方案已被廣泛研究。典型的配置是將一個或多個小永磁體封裝在膠囊中，并使用外部傳感器根據感測到的磁場數據確定膠囊的姿態?，F有方法以高定位精度實現了實時精度，但是由于執行器對定位系統的干擾，因此無法實現對膠囊的同步磁驅動。

為了解決這個問題，研究人員已經提出了一種約束在3 x 3平面內的線圈系統，以最小化執行器對傳感器的影響。Y. Xu等實現了WCE的同步磁驅動和定位，并通過使用積分濾波器消除了磁干擾。然而，這種系統受限于相對較低的姿態更新頻率（約0.5~1.0Hz）。此外，磁跟蹤無法對胃腸道生理學方面進行定位，而這對于許多應用（例如靶向取樣、活檢或治療遞送等）來說是必需的。超聲引導的膠囊機器人將通過使用安全、無創成像模式跟蹤膠囊來解決這些障礙，該成像模式還有潛力定位膠囊的胃腸道位置。

與磁共振成像（MRI）和X射線等其他醫學成像技術相比，超聲成像技術因其結合了高時間分辨率和無電離輻射成像，成本較低，且更容易實現，因此受到人們青睞。盡管超聲成像已在許多臨床應用中使用，但使用GI超聲成像膠囊仍存在一些挑戰。胃腸道由5個管狀組織層組成，這些組織層是交替產生回聲和消聲的材料，在超聲B模式掃描中表現為亮層和暗層。此外，胃腸道內部充滿了空氣、水和消化物質的混合物，這在超聲B模式圖像中表現為許多斑點和明暗對比的區域。在這種環境下，膠囊機器人的精確檢測和跟蹤是非常具有挑戰性的。

雖然超聲成像被熟練的超聲醫師手動使用作為診斷工具，但仍需要對膠囊機器人進行基于計算機的自動跟蹤，因為（1）具有移動或機構驅動能力的膠囊機器人必須同時被跟蹤和控制，這對操作員來說是一個重大的挑戰，因為這要求操作員對膠囊和超聲系統的動力學和操縱具有良好的了解；以及（2）在B模式圖像中，通過手動從背景組織中識別設備和膠囊機載機構狀態來進行精確的圖像判讀是特別困難的。研究人員提出了一種自動檢測方法用于幫助臨床醫生進行膠囊操縱，可在無需超聲醫師持續關注的情況下進行膠囊跟蹤，并提供更標準化的反饋。這種自動跟蹤將使臨床醫生通過解剖工作空間指定的路徑實現完全閉環控制。

在本論文中，作者們提出了一種基于注意力的分層深度學習方法，并在非醫學數據集上采用訓練有素的CNN模型，以在離體豬胃腸道中使用超聲成像對毫米級機器人膠囊進行2D姿態估計和機構狀態檢測。該膠囊機器人由封裝在軟彈性體樣品室中的兩個永磁體構成。它具有一個磁力驅動的取樣機構，當被施加磁場時，該機構會使膠囊打開以進行取樣或治療給藥。膠囊的直徑和長度分別設計為8mm和14.5mm。在臨床使用期間，膠囊在口服給藥后通過胃腸道，并在移動期間保持關閉，只有在到達目標位置時才被激活以打開進行取樣或藥物釋放。最后，膠囊可以通過常規的糞便通道取回。

他們考慮了膠囊機器人的三種可能的機構狀態：閉合、打開和消失在視場（FOV）中（由于周圍組織引起的離面運動或閉塞），如圖1b–d所示。膠囊機器人在超聲圖像坐標系U中的2D姿態定義為（xU，yU，θU），超聲成像平面內的質心位置和方向如圖1b所示。

圖1 膠囊機器人的三種可能的機構狀態

為了訓練神經網絡，他們在離體豬胃內生成了機器人膠囊的代表性數據集。實驗結果表明，在測試集上，膠囊狀態分類的準確率為97%，方位和質心位置的平均估計誤差為2.0°和0.24mm（膠囊體長的1.7%）。在豬胃和結腸中通過外部磁體操縱膠囊機器人時，對膠囊的精確檢測也得到了證實。結果表明，通過在臨床場景中提供膠囊機器人的精確檢測，提出的方法有望推進無線膠囊機器人技術的發展。

圖2 離體豬胃實驗設置

圖3 膠囊機器人的離體姿態估計和機構狀態檢測結果

本論文研究工作的主要貢獻包括：

（1）這項研究工作演示了在離體豬胃腸道超聲B模式成像下對無線膠囊機器人的姿態和運行狀態的檢測。這允許將超聲引導的臨床手術整合到常規工作流程中，以協助臨床醫生使用膠囊機器人。

（2）這項研究工作提出了一種新的基于注意力的分層深度學習方法，以增強特征表示能力，并首次將在非醫學數據集上預訓練的CNN模型應用于目標跟蹤任務的臨床數據集?；陔x體超聲圖像開發的訓練模型具有很大的臨床價值，可以作為超聲引導的醫療器械在體內跟蹤的預訓練模型。

（3）這項研究工作提供了一個在離體臨床相關環境中的超聲圖像的大型標記數據集，用于對微尺度膠囊機器人跟蹤算法的開發進行基準測試。

審核編輯：劉清