描述

從 1992 年到 2007 年，美國國家公園每天進行大約 11 次搜救 (SAR) 行動。每次事件的成本約為 895 美元，總計 58、572、164 美元。此外，每年約有 700 人因海岸警衛隊的搜救任務而喪生。更好的培訓和技術進步幫助降低了死亡人數和成本，但仍然相對昂貴。因此，需要一種能夠最大限度地降低搜尋與援救行動的死亡率和成本的新型裝置。

該設備是一種無人機，可以成功地在任何地形上自主飛行并搜索丟失的對象。操作員只需插入電池，撥動開關，即可按照可配置為任何搜索區域和模式的編程 SAR 模式起飛。攝像機拍攝下方地面的視頻，并將輸入輸入計算模塊以運行卷積神經網絡 (CNN)。這個 CNN 能夠檢測到人類、汽車和其他幾個物體，這些物體可以為 SAR 團隊找到失蹤的對象提供線索。當無人機檢測到人時，如果它移動，它將跟隨對象，同時將帶有時間戳的 GPS 坐標發送給 SAR 團隊。操作員還可以查看實時視頻，以協調如何以最安全的方式到達失蹤對象。電池電量不足時，無人機將自動飛回它起飛的地方。使用無人機而不是使用直升機或陸地團隊是執行搜尋與援救行動的一種更便宜、更安全的方式。團隊可以使用多架這樣的無人機，快速自主地搜索大片區域。

代碼：

請克隆我的 GitHub存儲庫以跟隨本教程。

第 1 步，設置您的 Raspberry Pi

在本教程中，我使用了 Raspberry Pi 4 Model B 4GB。如果您有 8GB 版本，請隨意使用它以獲得更好的性能（您將獲得更多 fps，從而實現更好的跟蹤功能）。但是，我從未使用 8GB 版本對其進行過測試。該項目確實適用于 Raspberry Pi 3 Model B+，但 fps 較慢。

如果這是您第一次使用 Raspberry Pi，請確保使用最新的 Raspberry Pi 操作系統進行設置。請按照本教程獲取指導。如果您過去使用過 Raspberry Pi，請確保使用全新的 RPI 操作系統刷新您的 SD 卡。

啟動并設置好所有內容后，在終端中輸入：

$ sudo raspi-config

使用箭頭鍵導航到該Interface Options部分并按enter。

您將需要通過此菜單打開相機、SSH 和串行：

完成后，您可以退出并重新啟動。

啟用相機將使我們能夠執行必要的計算機視覺以檢測失蹤人員。SSH 將允許您通過筆記本電腦/PC 遠程編程和控制 RPI，而無需將兩者連接在一起。這只是為了方便和安全。Serial 將允許 RPI 通過MAVLink與我們的機載飛行控制器進行通信。

啟用攝像頭、SSH 和串行后，您現在可以通過 SSH 連接到 RPI。

首先，通過在 RPI 的終端中鍵入以下內容來找出您的 RPI 的 IP 地址：

$ hostname -I

如果您使用的是 Windows 筆記本電腦/PC，請確保您已安裝 OpenSSH 客戶端。轉到設置 > 應用程序 > 應用程序和功能 > 可選功能 > 在文本字段中搜索 OpenSSH 客戶端，如果尚未安裝，請選擇安裝 OpenSSH 客戶端。

然后在您的終端（對于 Linux 或 Windows 用戶）中輸入：

ssh pi@

替換為您的 RPI 的 IP 地址。

然后將提示您輸入pi登錄密碼。Raspberry Pi OS 上的默認密碼是raspberry.

然后，確保在終端中使用以下兩個命令更新 RPI：

$ sudo apt-get update
$ sudo apt-get upgrade

第 2 步，設置您的珊瑚 TPU

現在，我們可以開始安裝必要的軟件包和程序，通過 Google Coral Edge TPU USB 加速器啟用計算機視覺。

首先，添加 Coral Edge TPU 包存儲庫：

$ echo "deb https://packages.cloud.google.com/apt coral-edgetpu-stable main" | sudo tee /etc/apt/sources.list.d/coral-edgetpu.list
$ curl https://packages.cloud.google.com/apt/doc/apt-key.gpg | sudo apt-key add -
$ sudo apt-get update

現在，安裝 EdgeTPU 運行時庫：

$ sudo apt-get install libedgetpu1-std

接下來，安裝 EdgeTPU Python API：

$ sudo apt-get install python3-edgetpu

然后重新啟動以完成安裝過程：

$ sudo reboot now

我們現在將設置一個 Python 虛擬環境來幫助隔離本教程中使用的 Python 包。我們將使用 virtualenv 和 virtualenvwrapper。

首先，安裝 pip：

$ wget https://bootstrap.pypa.io/get-pip.py
$ sudo python get-pip.py
$ sudo python3 get-pip.py
$ sudo rm -rf ~/.cache/pip

接下來，安裝 virtualenv 和 virtualenvwrapper：

$ sudo pip install virtualenv virtualenvwrapper

安裝后，編輯~/.bashrc文件：

$ sudo nano ~/.bashrc

將以下行添加到文件的底部：

# virtualenv and virtualenvwrapper
export WORKON_HOME=$HOME/.virtualenvs
export VIRTUALENVWRAPPER_PYTHON=/usr/bin/python3
source /usr/local/bin/virtualenvwrapper.sh

ctrl + x使用, y,保存并退出enter。

接下來，重新加載您的~/.bashrc文件以應用我們的更改：

$ source ~/.bashrc

最后，創建我們的 Python 3 虛擬環境：

$ mkvirtualenv sar -p python3

注意：從現在開始，請始終確保您處于sar虛擬環境中。如果不是，請使用以下命令：

$ workon sar

現在我們需要創建一個符號鏈接來將我們的 EdgeTPU 運行時鏈接到我們的 sar 虛擬環境中。

運行此命令以查找 Python EdgeTPU 包的安裝路徑：

$ dpkg -L python3-edgetpu
...
/usr/lib/python3
/usr/lib/python3/dist-packages
/usr/lib/python3/dist-packages/edgetpu
/usr/lib/python3/dist-packages/edgetpu/__init__.py
...

注意線/usr/lib/python3/dist-packages/edgetpu。這是我們的 edgetpu 庫的根目錄。

現在，我們可以創建符號鏈接：

$ cd ~/.virtualenvs/sar/lib/python3.7/site-packages
$ ln -s /usr/lib/python3/dist-packages/edgetpu/ edgetpu
$ cd ~

要測試我們的安裝，請打開 Python shell：

$ workon sar
$ python
>>> import edgetpu
>>> edgetpu.__version__
'2.12.2'

通過安裝使用 PiCamera 和執行圖像處理所需的 python 包，完成 Coral TPU 的設置過程：

$ pip install "picamera[array]" # Raspberry Pi only
$ pip install numpy
$ pip install opencv-contrib-python==4.1.0.25
$ pip install imutils
$ pip install scikit-image
$ pip install pillow

現在我們可以在示例程序上測試 TPU。

首先，安裝示例包：

$ sudo apt-get install edgetpu-examples

然后，將寫入權限添加到示例目錄：

$ sudo chmod a+w /usr/share/edgetpu/examples

更改目錄并運行測試程序：

$ cd /usr/share/edgetpu/examples
$ python classify_image.py \
--mode models/mobilenet_v2_1.0_224_inat_bird_quant_edgetpu.tflite \
--label models/inat_bird_labels.txt \
--image images/parrot.jpg
---------------------------
Ara macao (Scarlet Macaw)
Score :  0.61328125
---------------------------
Platycercus elegans (Crimson Rosella)
Score :  0.15234375

如果您收到與上述類似的回復，則表示您所做的一切都是正確的。

如果你很好奇，下面是parrot.jpg這樣的：

第三步，安裝 DroneKit：

DroneKit允許我們利用配套計算機（在我們的例子中為 RPI）來控制基于ArduPilot的飛行控制器。在本教程中，我們使用 RPI 和 Google Coral TPU 執行對象檢測，同時向 PixHawk 4 飛行控制器發送命令以移動我們的無人機并尋找失蹤人員。

首先，確保您已安裝 pip 和 python-dev：

$ sudo apt-get install python-pip python-dev

接下來，安裝 DroneKit：

$ workon sar
$ pip install dronekit
$ pip install dronekit-sitl

現在我們用一個簡單的程序測試我們的安裝。首先，我們需要克隆 GitHub 存儲庫：

$ git clone https://github.com/bandofpv/SAR_Drone

導航到SAR_Drone存儲庫并運行測試程序：

$ cd SAR_Drone
$ python dronekit_test.py

如果安裝正確，您應該得到以下響應：

Start simulator (SITL)
Downloading SITL from http://dronekit-assets.s3.amazonaws.com/sitl/copter/sitl-win-copter-3.3.tar.gz
Extracted.
Connecting to vehicle on: 'tcp:127.0.0.1:5760'
>>> APM:Copter V3.3 (d6053245)
>>> Frame: QUAD
>>> Calibrating barometer
>>> Initialising APM...
>>> barometer calibration complete
>>> GROUND START
Get some vehicle attribute values:
 GPS: GPSInfo:fix=3,num_sat=10
 Battery: Battery:voltage=12.587,current=0.0,level=100
 Last Heartbeat: 0.713999986649
 Is Armable?: False
 System status: STANDBY
 Mode: STABILIZE
Completed

第 4 步，建造無人機：

在本教程中，我假設您在構建無人機方面有相當多的經驗，所以我不會詳細介紹我如何構建我的無人機，因為它相對簡單且不言自明。

電機和電調放置都是標準的。這是一個很好的示意圖，說明了如何將電池、電機和 ESC 連接到 PDB 上：

PDB 安裝在框架的中心（通常是飛行控制器所在的位置），因為 PixHawk 4 無法放入其中：

所以 PixHawk 4 飛控是倒掛在機身底板底部的。確保還使用防振泡沫/凝膠來安裝飛行控制器，以減少可能影響飛行性能的振動：

云臺也安裝在框架底板的底部，但我使用金屬支架將云臺抬離底板，為飛行控制器留出空間。FPV 攝像頭和 RPI RX 也都安裝在底板的底部：

RPI 安裝在底板頂部的前部，而 Coral TPU 安裝在背面：

GPS 模塊和天線都直立安裝，并且彼此之間保持盡可能遠的距離，以最大程度地減少干擾：

注意：請確保 GPS 模塊上的箭頭向前對齊并與飛控對齊。

您還必須修改 USB-C 連接器以通過電池為 RPI 供電。這可以通過剝去 USB-C 電纜的電纜并將紅色和黑色的大線焊接到 5V UBEC 來簡單地完成。將 UBEC 的輸入電源連接到 PDB（連接電池的地方），RPI 將獲得電源。

連接 FPV 系統的相機設置非常簡單。只需將 VTX 的電源線焊接到 PDB 并將攝像機連接到 VTX 和天線。

接下來，我們需要連接 PixHawk 4 飛行控制器：

您可以忽略遙測無線電，因為它不需要，因為我們將使用 FrSky 的智能端口遙測技術。

如圖所示連接遙測電纜（鏈接在BOM中）：

連接到 PixHawk 4 的電纜將插入UART & I2C B端口。

現在，我們需要將云臺連接到飛行控制器，以便我們可以從 RPI 和/或我們的無線電發射器控制云臺。上面鏈接的云臺預裝了 STorM32，所以我們需要做的就是將三根線焊接到云臺上：

與其將其連接到TELEM 2，不如將其連接到 ，TELEM 1因為我們將TELEM 2用于與 RPI 進行通信。

最后但同樣重要的是，我們可以將 RPI 連接到 PixHawk 4 以允許 RPI 通過 MavLink 向飛行控制器發送命令：

此插圖使用 RPI 零，但過程相同。將飛行控制器的TELEM 2端口連接到 RPI 的Ground,TX和RX引腳。這是 RPI 4 Model B 的引腳排列（圖像是 RPI 3 Model B+，但引腳排列相同）：

重要的是要意識到您將 RPI 連接TX到飛行控制器RX，并將 RPIRX連接到飛行控制器的TX.

第五步，調整云臺設置：

雖然項目BOM中鏈接的云臺預裝了 STOrM32 并進行了預校準，但如果云臺仍未調平，有時您必須調整微調。要測試是否需要修剪云臺，請插入電池為其供電。確保您在水平面上啟動它并保持靜止，直到您聽到嗶嗶聲并且云臺將初始化并嘗試保持在穩定位置。如果該穩定位置與地平線不齊，則需要修剪云臺電機。

首先，下載o323BGC 固件。這個 GUI 將允許我們修剪云臺。下載名為：的 zip 文件很重要o323bgc-release-v090-v20160110：

下載后，在您的文件夾中找到它，Downloads然后雙擊 zip 文件將其打開。雙擊名為的文件夾o323bgc-release-v090-v20160110，然后雙擊名為o323BGCTool_v090. 它會提示你：

單擊按鈕并通過在第二個提示中Extract all進行選擇來提取文件。Extract我選擇了默認位置，因為我不需要長時間保留此應用程序。如果您確實計劃在將來使用 GUI，那么將其解壓縮到您的Program Files文件夾中可能會有所幫助。

如果您保持Show extracted files when complete選中狀態，它應該會自動打開提取所有文件的文件夾。再次，雙擊名為的文件夾o323bgc-release-v090-v20160110，然后雙擊名為o323BGCTool_v090. 這次它將打開 GUI 應用程序。打開它時，您可能會收到更新提示。只是忽略該消息。

接下來，通過 Mini USB B 連接器將云臺插入電腦。

然后，導航到 GUI 的左下角以選擇正確的端口。我的是COM6：

拔下任何/所有 USB 設備以避免 COM 端口之間的混淆也可能會有所幫助。

現在，單擊Connect端口下拉菜單旁邊的按鈕。它應該會讀取有關云臺板的大量信息，完成后應如下所示：

導航到Rc Inputs選項卡：

您現在將看到調整修剪的選項。有一個選項Auto Trim，但我發現手動執行它更容易。

首先，您需要插入電池并等待其初始化（等待嗶聲）。

然后，您可以在 GUI 中調整修剪并單擊Write按鈕以使更改生效。作為參考，這里有一個很好的圖表來解釋 Pitch、Roll 和 Yaw 之間的區別：

一旦您的云臺與地平線齊平，單擊Disconnect按鈕并拔下 USB 數據線。

第六步，設置飛控：

設置 PixHawk 4 相對簡單。您需要做的就是遵循首次設置指南。它將引導您安裝 Mission Planner（安裝在筆記本電腦/PC 上）、刷新新固件和配置。

注意：配置飛行模式時，至少有Stabilize、Guided和RTL模式很重要。Stabilize將需要手動控制飛機，Guided是允許 RPI 控制直升機的模式，并且RTL作為安全機制很好。

完成后，按照首次飛行指南將您的無人機帶上試飛。玩得開心駕駛你的無人機！

如果一切正常并且您有一個成功的處女座，我們可以開始設置飛控以與 RPI、云臺和智能端口一起使用。

在 Mission Planner 上，單擊CONFIG選項卡并導航到以下Full Parameter List部分：

我們將需要更改以下設置：

• SERIAL2_PROTOCOL = 2
• SERIAL2_BAUD = 921
• SERIAL1_BAUD = 115
• SERIAL1_PROTOCOL = 8
• BRD_SER1_RTSCTS = 0
• MNT_RC_IN_TILT = 6（這將允許您通過 Ch. 6 旋鈕控制云臺的俯仰）
• 設置 MNT_TYPE = 5
• SERIAL4_PROTOCOL = 10

而不是滾動瀏覽所有參數選項，使用位于 Mission Planner 右側的搜索功能非常重要：

進行適當的參數更改后，您可以單擊Write Params按鈕應用更改。

第 7 步，設置遙測：

現在我們可以設置我們的無線電控制器來接收實時遙測數據（電池、GPS 坐標等）。本教程使用 Taranis X9D+，但任何 Taranis 型號都可以使用。

首先，確保您的收音機已綁定到無人機的接收器。這個過程很簡單。只需在您的收音機上創建一個新模型并導航到該Model Setup頁面。向下滾動到該Mode部分并選擇 D16。然后，向下滾動到該Receiver No.部分并單擊綁定按鈕。現在，找到bind無人機接收器上的按鈕。按住此按鈕，然后插入電池。繼續按住此按鈕，直到接收器上的燈變為綠色。一旦發生這種情況，您可以單擊bind發射器上的按鈕來完成綁定過程。

我們現在可以在我們的發射器上安裝一個 lua 腳本，它將以一種很好的格式組織我們所有的遙測數據：

第一步是使用最新的 OpenTX 版本刷新收音機。

首先，下載最新版本的 OpenTX 伴侶。轉到 OpenTX下載頁面并選擇最新版本：

向下滾動到該Download links:部分并下載并安裝OpenTX Companion到您的操作系統：

現在，通過在開機時向內按下兩個水平微調按鈕，將您的收音機置于引導加載程序模式：

現在將 USB 電纜插入收音機并將其連接到您的計算機。

打開已安裝的 OpenTX Companion，然后單擊Settings頂行的按鈕：

在Radio Profile選項卡上，選擇您的 Taranis 模型并選擇noheli和lua復選框。然后選擇Ok按鈕以保存您的更改：

接下來，單擊Downloads按鈕：

在彈出的窗口中，單擊Download firmware按鈕并保存 .bin 文件：

接下來，單擊Download SD contents將打開一個網站的按鈕，您可以在其中下載您需要復制到收音機中的 SD 卡的 SD 卡內容。確保下載最新版本：

現在，首先備份計算機上的 SD 卡文件，然后刪除其中的所有內容，并將新的 SD 卡文件復制到其中。然后從 、 和 文件夾中復制您之前擁有的任何自IMAGES定義SOUNDS文件MODELS 。

最后，我們可以將新固件刷寫到收音機上。單擊Write Firmware To Radio左側菜單上的按鈕并加載您之前保存的固件文件。然后，單擊Write to TX按鈕使收音機閃爍：

刷新收音機后，將此文件夾中的內容復制到收音機 SD 卡中。

打開你的收音機并導航到頁面Display并分配類型：yaapu9Screen 1Script

您還可以創建一個單獨的遙測頁面來顯示 GPS 坐標。導航到Display頁面并將GPS遙測變量分配給Screen 2類型Nums：

您的第二個遙測屏幕現在應該如下所示：

第 8 步，最終設置：

在我們開始駕駛這架直升機執行搜索和救援任務之前，我們需要運行一些測試程序以確保所有部件都能正常工作。

首先，我們需要測試 RPI 和飛控之間的 MavLink 連接。

在 RPI 上，運行connection_test.py程序：

$ cd SAR_Drone
$ python connection_test.py

您應該得到類似的響應：

Connecting to vehicle on: serial0
>>> APM:Copter V4.0 (d6053245)
>>> Frame: QUAD
>>> Calibrating barometer
>>> Initialising APM...
>>> barometer calibration complete
>>> GROUND START
Get some vehicle attribute values:
 GPS: GPSInfo:fix=3,num_sat=10
 Battery: Battery:voltage=16.787,current=0.0,level=100
 Last Heartbeat: 0.713999986649
 Is Armable?: True
 System status: STANDBY
 Mode: STABILIZE
Completed

現在我們可以確認 RPI 可以與 PixHawk 4 通信，我們現在可以測試 RPI 和 Coral TPU 是否正常工作。

在 RPI 上，運行video_detect_test.py程序：

$ python video_detect_test.py \
--model mobilenet_ssd_v2/mobilenet_ssd_v2_coco_quant_postprocess_edgetpu.tflite \
--labels mobilenet_ssd_v2/coco_labels.txt

如果您連接了監視器或使用VNC ，您將看到來自 RPI 攝像頭模塊的視頻源的彈出窗口。當您走到鏡頭前時，結果應該類似于演示中的視頻。

現在我們可以確認 RPI 和 Coral TPU 正在相應地運行，我們可以開始駕駛無人機進行一些試飛。我們的第一個試飛計劃將是takeoff_test.py。但首先，我們需要對 RPI 進行編程以在啟動時運行程序，因為我們將不再擁有現場的 SSH 控制權。

為此，我們需要 ~/.bashrc再次編輯文件：

$ sudo nano ~/.bashrc

導航到文件底部并添加以下行：

workon sar
python /home/pi/SAR_Drone/takeoff_test.py

現在，將您的無人機帶到現場并執行適當的預裝安全檢查。準備好布防后，將無人機切換到GUIDED模式。不久之后，無人機應該武裝自己，起飛到 10m，懸停 10 秒，然后降落，然后解除武裝。

讓我們開始使用該程序移動無人機。square_movement_test.py

和以前一樣，編輯~/.bashrc文件：

$ sudo nano ~/.bashrc

導航到文件底部，刪除我們之前添加的內容，并將其替換為以下行：

workon sar
python /home/pi/SAR_Drone/square_movement_test.py

現在，將您的無人機帶到現場并執行適當的預裝安全檢查。準備好布防后，將無人機切換到GUIDED模式。不久之后，無人機應該武裝自己，起飛到 10m，然后繼續以大方形模式飛行，然后降落，并解除武裝。

我們現在可以測試無人機是否能夠使用該record_test.py程序記錄鏡頭、檢測人類對象并同時飛行。

和以前一樣，編輯~/.bashrc文件：

$ sudo nano ~/.bashrc

導航到文件底部，刪除我們之前添加的內容，并將其替換為以下行：

workon sar
python /home/pi/SAR_Drone/record_test.py \
--model /home/pi/SAR_Drone/mobilenet_ssd_v2/mobilenet_ssd_v2_coco_quant_postprocess_edgetpu.tflite \
--labels /home/pi/SAR_Drone/mobilenet_ssd_v2/coco_labels.txt

現在，將您的無人機帶到現場并執行適當的預裝安全檢查。準備好布防后，將無人機切換到GUIDED模式。不久之后，無人機應該武裝自己，起飛到 6m，懸停并記錄攝像機鏡頭。確保站在無人機的攝像頭前，以便它可以檢測到人體主體。幾秒鐘后，您可以將飛行模式切換到RTL它，它會降落到它啟動的地方。

在 RPI 上，您會注意到SAR_Drone存儲庫中有一個名為：output.mp4. 打開它，你會注意到它的錄音。確保相機能夠在錄制中檢測到您。

如果無人機能夠通過所有這些測試，那么您最終可以將無人機投入使用。如果您有任何問題，請隨時自行調試或在評論部分尋求幫助。

我們現在可以~/.bashrc最后一次編輯文件：

$ sudo nano ~/.bashrc

導航到文件底部，刪除我們之前添加的內容，并將其替換為以下行：

workon sar
python /home/pi/SAR_Drone/main.py \
--model /home/pi/SAR_Drone/mobilenet_ssd_v2/mobilenet_ssd_v2_coco_quant_postprocess_edgetpu.tflite \
--labels /home/pi/SAR_Drone/mobilenet_ssd_v2/coco_labels.txt

現在，將您的無人機帶到現場并執行適當的預裝安全檢查。準備好布防后，將無人機切換到GUIDED模式。不久之后，無人機應該武裝自己并開始尋找失蹤人員。