據(jù)統(tǒng)計(jì)，我國視障人數(shù)達(dá)1731萬人，聽力殘疾患者2780萬人。視聽障礙者對出行和交流需求迫切，但現(xiàn)有設(shè)施和輔具局限性大，使他們面臨出行難題。因此，我們開發(fā)了一款安全、精準(zhǔn)、語音與手部交互的導(dǎo)航避障設(shè)備，配備AI導(dǎo)航小車和家屬端App，旨在滿足視聽障礙者的實(shí)時(shí)定位和信息交流需求。

設(shè)備包含導(dǎo)航避障、語音交互和觸摸交互模塊，支持定位、路徑規(guī)劃和實(shí)時(shí)避障功能。語音交互模塊可通過語音指示小車到達(dá)目的地，也可提供天氣查詢和笑話講解。觸摸交互模塊則幫助視聽障礙者進(jìn)行盲文信息交流。應(yīng)用App與觸摸模塊配合使用，顯示實(shí)時(shí)位置，提升出行安全性，促進(jìn)與家人的信息互動(dòng)。

經(jīng)過盲人行走測試，使用本產(chǎn)品較普通盲杖可縮短行走時(shí)間約40%；軌跡路徑測試顯示，本產(chǎn)品行走路徑更合理，更符合日常行人行走習(xí)慣，凸顯了其導(dǎo)航避障的優(yōu)勢。

產(chǎn)品設(shè)計(jì)

設(shè)計(jì)原理

設(shè)計(jì)中使用ROS與Python，結(jié)合激光雷達(dá)、超聲波測距模塊和萬向輪等硬件，并利用物聯(lián)網(wǎng)技術(shù)，旨在開發(fā)一款適用于視聽障礙者的出行輔助系統(tǒng)。該系統(tǒng)解決了他們出行中的困難與不便，通過降低出行難度與成本，體現(xiàn)了對他們的關(guān)懷，使其能夠享受科技發(fā)展帶來的便利。

1、語音交互模塊：針對僅存在視覺障礙的用戶，利用高度的聽覺靈敏性，該模塊具備語音識別和導(dǎo)航功能，使用戶能夠通過語音與AI導(dǎo)航小車進(jìn)行交流和導(dǎo)航。

2、觸摸交互模塊：考慮到同時(shí)存在視聽障礙的用戶，設(shè)計(jì)了觸摸交互模塊和配套的應(yīng)用App。通過觸摸交互模塊，用戶可以進(jìn)行盲文信息交互，并利用震動(dòng)功能實(shí)現(xiàn)基本的信息傳遞，同時(shí)與家人保持溝通。

視聽智障者出行輔助AI小車系統(tǒng)架構(gòu)

視聽障礙者出行輔助AI小車設(shè)計(jì)圖

視聽障礙者出行輔助AI小車實(shí)物圖

系統(tǒng)架構(gòu)

本產(chǎn)品由AI導(dǎo)航小車及應(yīng)用App組成，具有導(dǎo)航避障和信息交互兩大功能，信息交互功能包括語音交互、觸摸交互、實(shí)時(shí)位置三大部分。AI導(dǎo)航小車具有導(dǎo)航避障、語音交互、觸摸交互三大模塊，可以通過激光雷達(dá)對道路進(jìn)行識別并規(guī)劃行駛路線，并在行駛過程中通過超聲波傳感器實(shí)時(shí)探測避障，對行人進(jìn)行語音提醒，接收來自家屬或監(jiān)護(hù)人的消息并通過觸摸交互模塊將信息傳遞給使用者，還可通過機(jī)智云物聯(lián)網(wǎng)服務(wù)，把小車狀態(tài)數(shù)據(jù)回傳給應(yīng)用App。

家屬或監(jiān)護(hù)人可通過應(yīng)用App給使用者發(fā)送消息，并實(shí)時(shí)查看使用者的位置信息。本產(chǎn)品在AI導(dǎo)航小車上還設(shè)置有SOS按鈕，用戶按下此按鈕，小車會(huì)立即進(jìn)行急停，并在應(yīng)用App端給家屬實(shí)時(shí)顯示位置，達(dá)到安全出行的目的。

項(xiàng)目配置

實(shí)現(xiàn)過程

導(dǎo)航避障模塊

在特定的地圖設(shè)置終點(diǎn)后，AI導(dǎo)航小車?yán)眉す饫走_(dá)掃描建圖，識別當(dāng)前位置，并規(guī)劃到達(dá)終點(diǎn)的路徑。路徑規(guī)劃好后，開始引導(dǎo)使用者往終點(diǎn)行走。在行走過程中，一方面通過超聲波測距，避免撞到障礙物或行人；一方面不斷掃描及定位，重新規(guī)劃路徑，最終將使用者安全帶到終點(diǎn)。

設(shè)計(jì)原理

要想實(shí)現(xiàn)導(dǎo)航避障，需要完成定位、路徑規(guī)劃、避障功能。AI導(dǎo)航小車在導(dǎo)航過程中需要時(shí)刻確定當(dāng)前位置，amcl是一種概率定位系統(tǒng)，以2d方式對AI導(dǎo)航小車定位，使用粒子濾波跟蹤機(jī)器人在已知地圖中的位姿。move＿base能通過激光雷達(dá)掃描結(jié)果獲取AI導(dǎo)航小車周圍信息，生成全局和局部代價(jià)地圖，進(jìn)行全局路徑規(guī)劃和局部路徑規(guī)劃，并且繞過障礙物到達(dá)目標(biāo)點(diǎn)，全局路徑規(guī)劃采用A*算法，局部路徑規(guī)劃采用DWA算法。

定位及路徑規(guī)劃功能實(shí)現(xiàn)

定位及路徑規(guī)劃功能實(shí)現(xiàn)使用思嵐A2激光雷達(dá)，通過其核心測距順時(shí)針旋轉(zhuǎn)，可實(shí)現(xiàn)對周圍環(huán)境的360度全方位掃描測距檢測，從而獲得周圍環(huán)境的輪廓圖。

AI導(dǎo)航小車在陌生的環(huán)境下，需要先使用激光雷達(dá)進(jìn)行SLAM建圖。SLAM英文名字為simultaneous localization and m Apping，翻譯成中文名是同步定位與建圖，主要應(yīng)用于未知環(huán)境的探索。

AI導(dǎo)航小車首先是對自身進(jìn)行定位，定位所需傳感器通常是電機(jī)編碼器、IMU、激光雷達(dá)。在定位的基礎(chǔ)上，激光雷達(dá)或者攝像頭來對自身定位進(jìn)行修正，并利用期間獲取的環(huán)境信息不斷更新構(gòu)建的環(huán)境地圖。

避障功能實(shí)現(xiàn)

AI導(dǎo)航小車在引導(dǎo)過程中，除了按已規(guī)劃好的路徑行駛，還需避讓突然進(jìn)入的障礙物。主要通過對前方障礙物測距實(shí)現(xiàn)，這里使用的是HC-SR04超聲波測距模塊。

測距功能主要由STM32微控制器、超聲波模塊完成。通過STM32微控制器收到指令后使超聲波發(fā)射器向某一方向發(fā)射超聲波，途中碰到障礙物就立即反彈回來。根據(jù)計(jì)時(shí)器記錄的時(shí)間，計(jì)算出發(fā)射點(diǎn)到障礙物的距離，再通過向主控制器查詢超聲波數(shù)據(jù)實(shí)現(xiàn)測距。當(dāng)AI導(dǎo)航小車檢測并計(jì)算到障礙物距離過近時(shí)，播放語音提醒使用者及行人，同時(shí)避開障礙物，重新規(guī)劃路線，繼續(xù)引導(dǎo)使用者安全行走。

此外，還要設(shè)置思嵐A2激光雷達(dá)的膨脹半徑和代價(jià)比例因子，確保機(jī)器小車在遇到障礙物后適當(dāng)?shù)木嚯x內(nèi)進(jìn)行自動(dòng)避障。

小車行駛處理路徑規(guī)劃及過程中的避障信號，控制電機(jī)轉(zhuǎn)動(dòng)，達(dá)到準(zhǔn)確行駛的目的STM32微控制器獲取激光雷達(dá)，超聲波等其他傳感器的信號，控制電機(jī)。

語音交互模塊

對于僅存在視覺障礙不存在聽覺障礙的用戶，可通過語音交互模塊，與AI導(dǎo)航小車進(jìn)行對話，比如詢問天氣、講笑話，也可語音指定小車到達(dá)指定地點(diǎn)。

設(shè)計(jì)原理

語音交互是由麥克風(fēng)采集聲音模擬信號，通過語音識別技術(shù)解析出語音信息，8代Inter處理器工控機(jī)將解析出的語音信息，利用語音合成技術(shù)，在經(jīng)過揚(yáng)聲器輸出聲音，并執(zhí)行相應(yīng)的動(dòng)作，實(shí)現(xiàn)語音交互。

語音識別功能實(shí)現(xiàn)

由麥克風(fēng)采集聲音模擬信號，通過科大訊飛語音識別技術(shù)解析出語音信息，識別轉(zhuǎn)換成文字。

語音導(dǎo)航功能實(shí)現(xiàn)

8代Inter處理器工控機(jī)解析識別的語音信息，當(dāng)識別到對應(yīng)指令時(shí)，利用語音合成技術(shù)，再經(jīng)過揚(yáng)聲器輸出聲音并執(zhí)行相應(yīng)動(dòng)作。導(dǎo)航過程中，8代Inter處理器工控機(jī)需要不斷和STM32控制器、激光雷達(dá)進(jìn)行實(shí)時(shí)數(shù)據(jù)通信，如獲取電機(jī)編碼、超聲波等傳感器數(shù)據(jù)。

觸摸交互模塊

設(shè)計(jì)原理

觸摸交互模塊為視聽障礙人士獲知信息的主要窗口，承擔(dān)向他們傳達(dá)提示、通知信息及實(shí)現(xiàn)視聽障礙者與家屬雙向?qū)υ挼裙δ埽饕怯芍骺刂破鱏TM32、舵機(jī)模塊、ATK-esp8266

WIFI模塊和SIM868模塊組成。

例如，ATK-ESP8266 WIFI模塊通過連接WIFI后進(jìn)入配網(wǎng)模式且連上機(jī)智云服務(wù)器后，當(dāng)按下應(yīng)用App中的按鈕“回家”，通過ATK-ESP8266 WIFI模塊將指令發(fā)送到主控制器STM32。此時(shí)，握手處就會(huì)傳來短促的震動(dòng)來提示用戶有消息傳來，并且舵機(jī)也會(huì)根據(jù)接收到的指令轉(zhuǎn)到相應(yīng)的角度0°，舵機(jī)到達(dá)指定角度后，用戶用手觸摸舵機(jī)上的盲文數(shù)字，即可以知道家人發(fā)送的消息提示。同理，當(dāng)家人按下應(yīng)用App上的其他按鈕后，震動(dòng)提醒，舵機(jī)轉(zhuǎn)動(dòng)到相應(yīng)的角度。完整的指令即動(dòng)作如下：

(1）應(yīng)用App按下按鈕“回家”，舵機(jī)識別動(dòng)作1,

觸摸交互模塊實(shí)物圖舵機(jī)轉(zhuǎn)動(dòng)0°，顯示盲文數(shù)字1;

(2）應(yīng)用App按下按鈕“離家”，舵機(jī)識別動(dòng)作2，舵機(jī)轉(zhuǎn)動(dòng)90°，顯示盲文數(shù)字2;

(3）應(yīng)用App按下按鈕“公園”，舵機(jī)識別動(dòng)作3，舵機(jī)轉(zhuǎn)動(dòng)90°，顯示盲文數(shù)字3;

(4）應(yīng)用App按下按鈕“醫(yī)院”，舵機(jī)識別動(dòng)作4，舵機(jī)轉(zhuǎn)動(dòng)180°，顯示盲文數(shù)字4;

此外，產(chǎn)品設(shè)有“SOS”按鍵。在發(fā)生緊急情況時(shí)，盲人可以通過按下此按鍵來實(shí)現(xiàn)急停，并迅速向家人發(fā)送自己的坐標(biāo)，通知家人自己位置信息。

盲文信息交互功能實(shí)現(xiàn)

盲文信息交互功能主要為通過主控制器收到的指令后轉(zhuǎn)動(dòng)舵機(jī)，轉(zhuǎn)動(dòng)到相應(yīng)的角度以顯示對應(yīng)的盲文數(shù)字按鈕，以此向視聽障礙人士提供消息，由主控制器STM32、舵機(jī)模塊、ATK-ESP8266 WIFI模塊和盲文數(shù)字按鈕組成。

將MG996R舵機(jī)的GND引腳和+5V引腳分別與主控制器的GND引腳和+5V相連；信號線（PWM）引腳連接到主控制器的PA6引腳。當(dāng)主控制器接收到不同的指令信號，舵機(jī)轉(zhuǎn)動(dòng)不同的角度，使盲文數(shù)字按鈕轉(zhuǎn)到預(yù)定的位置供用戶觸摸。

本項(xiàng)目使用了ATK-ESP8266 WIFI模塊連接在主控制器上，實(shí)現(xiàn)應(yīng)用App與主控制器之間的實(shí)時(shí)數(shù)據(jù)和相關(guān)指令的接收和發(fā)送。ATK-ESP8266 Wi Fi模塊與主控制器的VCC引腳與GND引腳相連；ATK-ESP8266 Wi Fi模塊的RXD引腳和TXD引腳分別與主控器STM32中USART3的TXD引腳（PB10）與RXD引腳（PB11）相連。由于本項(xiàng)目中并沒有控制ATK-ESP8266 WIFI模塊的RST和IO＿0引腳，因此將這兩引腳懸空處理。

主控制器先對一系列外設(shè)和協(xié)議進(jìn)行初始化，ESP8266 WIFI模組進(jìn)入配網(wǎng)模式。在user Handle（）函數(shù)中，連上機(jī)智云服務(wù)器，應(yīng)用App會(huì)顯示設(shè)備已連接狀態(tài)，同時(shí)看到采集的定位數(shù)據(jù)和主控制器D0綠燈閃爍。此外，通過操控應(yīng)用App按鈕，可以發(fā)送經(jīng)過機(jī)智云服務(wù)器處理過的指令消息，通過ATK-ESP8266 WIFI模塊發(fā)送至主控制器上，使得主控制器執(zhí)行相應(yīng)程序使得功能模塊執(zhí)行相應(yīng)的動(dòng)作。

震動(dòng)功能實(shí)現(xiàn)

震動(dòng)馬達(dá)被內(nèi)置在觸摸模塊里，做輔助提示作用，受主控制器控制。當(dāng)小車前進(jìn)、轉(zhuǎn)彎或者接收到應(yīng)用App通過ESP8266 Wi Fi模塊發(fā)送的指令時(shí)，震動(dòng)馬達(dá)模塊都會(huì)進(jìn)行短暫震動(dòng)，以提示視聽障礙者。當(dāng)小車檢測到障礙物而需要停止時(shí)，震動(dòng)馬達(dá)模塊便會(huì)一直震動(dòng)直至視聽障礙者停下，以提醒視聽障礙者有需要避讓的障礙物。

急停按鈕

模擬使用普通盲杖行走路徑

模擬使用本產(chǎn)品行走路徑

正常行走路徑

實(shí)時(shí)位置定位功能實(shí)現(xiàn)

實(shí)時(shí)位置定位功能使用SIM868模塊。SIM868模塊與主控制器的VCC引腳與GND引腳相連；SIM868模塊的RXD引腳與TXD引腳則連接在主控制器中USART2的TXD引腳（PA2）和RXD引腳（PA3）。其他引腳因沒有進(jìn)行控制，因此不做處理，懸空即可。

獲取實(shí)時(shí)位置坐標(biāo)數(shù)據(jù)的方式是通過主控制器發(fā)送AT指令到SIM868模塊。

主控制器上電后通過串口USART2發(fā)送指令“AT+CGNSPWR=1”打開GPS電源；發(fā)送指令“AT+CGNSSEQ=”“RMC”定義NMEA解析；發(fā)送指令“AT+CGNSINF”獲取GPS定位信息；發(fā)送指令“AT+CGNSURC=2”間隔2s輸出位置坐標(biāo)數(shù)據(jù)即每隔2s將位置坐標(biāo)數(shù)據(jù)傳輸至主控制器，最后經(jīng)由SIM868＿Get＿GPSLocation（）函數(shù)對位置坐標(biāo)數(shù)據(jù)進(jìn)一步解析處理，將處理后的數(shù)據(jù)發(fā)送至應(yīng)用App。

應(yīng)用App

應(yīng)用App是家人獲知視聽障礙者情況和與其溝通的“窗口”。應(yīng)用App使用ROS平臺制作。在應(yīng)用App上，可以很方便地獲取視聽障礙者位置、對話、小車運(yùn)行狀況等信息，還可以在窗口上直接向視聽障礙者發(fā)送對話信息。

應(yīng)用App通過與機(jī)智云后臺連接，綁定機(jī)智云WiFi模塊，從而能夠與AI導(dǎo)航小車進(jìn)行信息傳輸。

當(dāng)應(yīng)用App向AI導(dǎo)航小車發(fā)送對話信息時(shí)，發(fā)送對應(yīng)指令消息到機(jī)智云云服務(wù)中，云服務(wù)將指令消息傳到AI導(dǎo)航小車，AI導(dǎo)航小車接收到指令消息，處理后通過觸摸模塊的數(shù)據(jù)處理，傳遞對應(yīng)的消息。

當(dāng)AI導(dǎo)航小車發(fā)送定位信息時(shí)，先將信息發(fā)送到云服務(wù)，云服務(wù)再推送到應(yīng)用App，應(yīng)用App對定位信息進(jìn)行顯示，讓家屬或監(jiān)護(hù)人實(shí)時(shí)了解使用者的位置信息。

產(chǎn)品測試效果

產(chǎn)品測試一：隨機(jī)尋找三位行人（第1位為中年女性、第2位為年輕男性、第3位為中年男性），起點(diǎn)和終點(diǎn)相同（起點(diǎn)和終點(diǎn)相差100m）的情況下測試他們模擬使用普通盲杖行走、模擬使用本產(chǎn)品、正常行走這三種情況下行走分別所耗費(fèi)的時(shí)間（模擬視聽障礙者：戴上眼罩和耳塞）。

如圖所示，在相同位移的情況下，普通行人模擬視聽障礙者使用本產(chǎn)品與使用普通盲杖相比，1號測試者的行走時(shí)間縮短了約45%,2號測試者的行走時(shí)間縮短了約39%,3號測試者的行走時(shí)間縮短了約36%，說明本產(chǎn)品輔助出行具有較好的引導(dǎo)效果。

隨機(jī)找三位行人在3種不同情況下行走所耗費(fèi)的時(shí)間

產(chǎn)品測試二：在相同起始點(diǎn)與終點(diǎn)、相同路段情況下，本小組成員通過Keep軟件記錄了模擬使用普通盲杖行走、模擬使用本產(chǎn)品、正常行走這三種情況下行走的軌跡路徑（模擬視聽障礙者：戴上眼罩和耳塞）。

如圖所示，在相同起始點(diǎn)與終點(diǎn)、相同路段情況下，模擬使用本產(chǎn)品與模擬使用普通盲杖相比，行走時(shí)間縮短了29%。更為重要的是，通過keep軟件的軌跡記錄，可以看出模擬使用本產(chǎn)品與模擬使用普通盲杖相比，使用本產(chǎn)品的行走路徑更合理，且更貼近日常生活中普通行人的行走路徑，凸顯了本產(chǎn)品導(dǎo)航避障的優(yōu)勢。

項(xiàng)目創(chuàng)新點(diǎn)

1、精準(zhǔn)導(dǎo)航避障：利用激光雷達(dá)和超聲波傳感器，本產(chǎn)品能夠精準(zhǔn)實(shí)時(shí)規(guī)劃路線和規(guī)避障礙物，確保視聽障礙者安全、精準(zhǔn)出行。

2、信息交互窗口：針對視聽障礙者的聽覺和觸覺靈敏性，設(shè)計(jì)了語音交互模塊和觸摸交互模塊。語音交互模塊具備語音識別和導(dǎo)航功能，支持用戶與設(shè)備的語音交流；觸摸交互模塊則實(shí)現(xiàn)了盲文信息交互。此外，配備應(yīng)用App，包含SOS按鈕和實(shí)時(shí)定位功能，使用戶能夠與家人進(jìn)行基本的信息傳遞，滿足日常人際溝通需求。