演講嘉賓 | 張兆生

回顧整理 | 廖 濤

排版校對 | 李萍萍

嘉賓介紹

OS原生智能分論壇

張兆生，OpenHarmony項目群技術指導委員會委員、中軟國際智能物聯網軍團產品與研發管理部總經理、北京理工大學外聘教師、中國礦業大學校外碩士研究生導師；北京理工大學“十四五”規劃教材《OpenHarmony操作系統》作者，獲中國電子信息行業聯合會首屆“優秀工程師”榮譽稱號，OpenHarmony項目群機器人TSG項目發起人，OpenHarmony開發者手機項目發起人之一，主要從事計算機視覺、操作系統、智能物聯網等領域的技術研究與產品開發工作。

正文內容

隨著智能化的快速發展，大模型在端側以及邊緣側的部署成為必然趨勢。OpenHarmony作為萬物互聯時代的技術底座，可以廣泛應用于多種算力場景。以OpenHarmony為根基融合大模型能力，在行業物聯網領域有哪些應用呢？OpenHarmony項目群技術指導委員會委員、中軟國際有限公司智能物聯網軍團產品研發管理部總經理張兆生在第二屆OpenHarmony技術大會上進行了精彩分享。

我國物聯網產業生態豐富，建設需求旺盛。隨著互聯網技術的不斷發展，物聯網技術正逐漸成為未來智慧礦山、智慧城市、智能家居和工業4.0等領域的重要組成部分。目前，我國行業物聯網建設普遍存在以下難題：

終端采集難：系統、協議不統一

互聯互通難：煙囪式系統

接入風險高：終端安全能力弱

運維管理難：海量終端分布廣

智能分析難：定制化開發嚴重

基于OpenHarmony分布式硬件資源共享、分布式軟總線互聯互通、分布式架構更穩定安全以及統一OS彈性部署等能力，構建端邊一體的近場物聯感知網絡，可以有效應對上述難題。OpenHarmony近場物聯感知網絡能夠進行現場組網、數據采集、多源異構、協同作業以及事件分析和決策，實現了網絡接入簡化（協議統一）、多源異構終端互聯互通、網絡安全（可靠低時延）、智能分析、精準高效，且支持多樣化的現場工業化部署環境。

AI發展至今，經歷了AI應用初步落地、AI需求碎片化以及AI算法精細化等過程。區別于AI應用初步落地的單一場景，如今各行各業對AI的需求呈指數級上升，所需算法數以十萬計。在視覺領域，AI視覺需求也同樣越來越細分，長尾算法的需求也越來越多。視覺系統對于理解和推理視覺場景的組成特性至關重要，視覺大模型對行業物聯網建設也具有重要意義。視覺大模型與OpenHarmony能碰撞出什么火花？視覺大模型在OpenHarmony的端邊側又有哪些應用和實踐呢？

在行業長尾場景（如水文監測管理、工程建設管理、水庫治理、防洪排澇、水土流失監測以及灌區改造等），通過AI視覺大模型+小模型架構和云邊端協同的工作模式實現AI落地。

云側構建訓練平臺：基于云端視覺大模型以及邊側小模型構建訓練平臺，覆蓋數據生產、模型設計與訓練以及模型部署全流程：云端視覺大模型負責數據預訓練，包括篩選有標注價值的數據、生成模型Stable Diffusion以及基于視覺大模型輔助標注等；邊側小模型則負責精調，包括搜索小模型結構、調參調優生成以及數據補充回到模型標注等。

邊側構建推理平臺：基于OpenHarmony邊側設備構建推理平臺，賦能OpenHarmony硬件，AI端邊一體化快速轉化生產力：提前識別硬件設備的算力等級，在此基礎上，推理平臺根據等級分布（L0~L4）分配任務創建、事件告警、算法設置、視頻拉流、圖片接入以及算法導入等工作。

端側提供視覺數據集：端側的攝像頭、無人機、機器人等設備負責采集視覺數據，作為云邊側的輸入。

在水利行業中，將海量的歷史數據和視覺設備監測采集到的實時數據作為輸入，經智能中樞系統（基于AI防汛模型和AI視覺模型構建）進行數據訓練校正、感知、分析預判、決策以及協同控制后，能夠大幅降低水災害損失；在水庫治理中，在邊側構建自動化AI模型推理+OpenHarmony的計算一體機，能夠達到端側視覺數據分析、智能識別、預案決策、感知告警、設備管理等目的，進一步推動水庫治理智慧化創新進程。

未來，基于大模型構建OpenHarmony AI中樞，能夠打破AI生產力瓶頸，實現算力虛擬化和模型共享，賦能智慧能源、智慧交通、智慧水利以及智慧城市等場景，給各行各業帶來無限的創新想象空間。

「嘉賓材料暫不分享」

E N D

關注我們，獲取更多精彩。

審核編輯 黃宇