淺談阿里輕量級的深度神經網絡推理引擎MNN
MNN是一個輕量級的深度神經網絡推理引擎，在端側加載深度神經網絡模型進行推理預測。
作者：開心的派大星
首發：微信公眾號：NeuroMem
轉自：https://github.com/alibaba/MNN/edit/master/README_CN.md
簡介
MNN是一個輕量級的深度神經網絡推理引擎，在端側加載深度神經網絡模型進行推理預測。目前，MNN已經在阿里巴巴的手機淘寶、手機天貓、優酷等20多個App中使用，覆蓋直播、短視頻、搜索推薦、商品圖像搜索、互動營銷、權益發放、安全風控等場景。此外，IoT等場景下也有若干應用。
整體特點
輕量性
- 針對端側設備特點深度定制和裁剪，無任何依賴，可以方便地部署到移動設備和各種嵌入式設備中。
- iOS平臺：armv7+arm64靜態庫大小5MB左右，鏈接生成可執行文件增加大小620KB左右，metallib文件600KB左右。
- Android平臺：so大小400KB左右，OpenCL庫400KB左右，Vulkan庫400KB左右。
通用性
-
支持
Tensorflow、Caffe、ONNX等主流模型文件格式，支持CNN、RNN、GAN等常用網絡。 -
支持86個
TensorflowOp、34個CaffeOp；各計算設備支持的MNN Op數：CPU 71個，Metal 55個，OpenCL 29個，Vulkan 31個。 - 支持iOS 8.0+、Android 4.3+和具有POSIX接口的嵌入式設備。
- 支持異構設備混合計算，目前支持CPU和GPU，可以動態導入GPU Op插件，替代CPU Op的實現。
高性能
- 不依賴任何第三方計算庫，依靠大量手寫匯編實現核心運算，充分發揮ARM CPU的算力。
- iOS設備上可以開啟GPU加速（Metal），常用模型上快于蘋果原生的CoreML。
-
Android上提供了
OpenCL、Vulkan、OpenGL三套方案，盡可能多地滿足設備需求，針對主流GPU（Adreno和Mali）做了深度調優。 - 卷積、轉置卷積算法高效穩定，對于任意形狀的卷積均能高效運行，廣泛運用了 Winograd 卷積算法，對3x3 -> 7x7之類的對稱卷積有高效的實現。
- 針對ARM v8.2的新架構額外作了優化，新設備可利用半精度計算的特性進一步提速。
易用性
- 有高效的圖像處理模塊，覆蓋常見的形變、轉換等需求，一般情況下，無需額外引入libyuv或opencv庫處理圖像。
- 支持回調機制，可以在網絡運行中插入回調，提取數據或者控制運行走向。
- 支持只運行網絡中的一部分，或者指定CPU和GPU間并行運行。
架構設計
MNN可以分為Converter和Interpreter兩部分。
Converter由Frontends和Graph Optimize構成。前者負責支持不同的訓練框架，MNN當前支持Tensorflow(Lite)、Caffe和ONNX(PyTorch/MXNet的模型可先轉為ONNX模型再轉到MNN)；后者通過算子融合、算子替代、布局調整等方式優化圖。
Interpreter由Engine和Backends構成。前者負責模型的加載、計算圖的調度；后者包含各計算設備下的內存分配、Op實現。在Engine和Backends中，MNN應用了多種優化方案，包括在卷積和反卷積中應用Winograd算法、在矩陣乘法中應用Strassen算法、低精度計算、Neon優化、手寫匯編、多線程優化、內存復用、異構計算等。
開始使用
工具
如何修改
如何使用Python
交流與反饋
License
Apache 2.0
致謝
MNN參與人員：淘寶技術部、搜索工程團隊、達摩院團隊、優酷等集團員工。
MNN參考、借鑒了下列項目：
- Caffe
- flatbuffer
- gemmlowp
- Google Vulkan demo
- Halide
- Mace
- ONNX
- protobuffer
- skia
- Tensorflow
- ncnn
- paddle-mobile
- stb
- rapidjson
推薦閱讀
歡迎關注公眾號，關注模型壓縮、低比特量化、移動端推理加速優化、部署。
審核編輯：符乾江
聲明：本文內容及配圖由入駐作者撰寫或者入駐合作網站授權轉載。文章觀點僅代表作者本人，不代表電子發燒友網立場。文章及其配圖僅供工程師學習之用，如有內容侵權或者其他違規問題，請聯系本站處理。
舉報投訴
-
神經網絡
+關注
關注
42文章
4779瀏覽量
101167 -
人工智能
+關注
關注
1796文章
47666瀏覽量
240278
發布評論請先 登錄
相關推薦
國產芯上運行TinyMaxi輕量級的神經網絡推理庫-米爾基于芯馳D9國產商顯板
是面向單片機的超輕量級的神經網絡推理庫，即 TinyML 推理庫，可以讓你在任意單片機上運行輕量級深度
發表于 08-09 18:26
國產芯上運行TinyMaxi輕量級的神經網絡推理庫-米爾基于芯馳D9國產商顯板
D9360國產開發板）的TinyMaxi輕量級的神經網絡推理庫方案測試。
算力測試
TinyMaix 是面向單片機的超輕量級的神經網絡
發表于 08-07 18:06
FPGA在深度神經網絡中的應用
、低功耗等特點，逐漸成為深度神經網絡在邊緣計算和設備端推理的重要硬件平臺。本文將詳細探討FPGA在深度神經網絡中的應用，包括其優勢、設計流程
殘差網絡是深度神經網絡嗎
殘差網絡（Residual Network，通常簡稱為ResNet） 是深度神經網絡的一種 ，其獨特的結構設計在解決深層網絡訓練中的梯度消失和梯度爆炸問題上取得了顯著的突破，并因此成為
簡單認識深度神經網絡
深度神經網絡（Deep Neural Networks, DNNs）作為機器學習領域中的一種重要技術，特別是在深度學習領域，已經取得了顯著的成就。它們通過模擬人類大腦的處理方式，利用多層神經
國產芯上運行TinyMaxi輕量級的神經網絡推理庫-米爾基于芯馳D9國產商顯板
TinyMaix是面向單片機的超輕量級的神經網絡推理庫，即TinyML推理庫，可以讓你在任意單片機上運行輕量級
深度神經網絡概述及其應用
深度神經網絡（Deep Neural Networks, DNNs）作為機器學習的一種復雜形式，是廣義人工神經網絡（Artificial Neural Networks, ANNs）的重要分支。它們
循環神經網絡和卷積神經網絡的區別
循環神經網絡（Recurrent Neural Network，RNN）和卷積神經網絡（Convolutional Neural Network，CNN）是深度學習領域中兩種非常重要的神經網絡
深度神經網絡與基本神經網絡的區別
在探討深度神經網絡（Deep Neural Networks, DNNs）與基本神經網絡（通常指傳統神經網絡或前向神經網絡）的區別時，我們需
深度神經網絡的設計方法
深度神經網絡（Deep Neural Networks, DNNs）作為人工智能領域的重要技術之一，通過模擬人腦神經元之間的連接，實現了對復雜數據的自主學習和智能判斷。其設計方法不僅涉及網絡
卷積神經網絡與循環神經網絡的區別
在深度學習領域，卷積神經網絡（Convolutional Neural Networks, CNN）和循環神經網絡（Recurrent Neural Networks, RNN）是兩種極其重要
bp神經網絡是深度神經網絡嗎
BP神經網絡（Backpropagation Neural Network）是一種常見的前饋神經網絡，它使用反向傳播算法來訓練網絡。雖然BP神經網絡在某些方面與
深度學習與卷積神經網絡的應用
隨著人工智能技術的飛速發展，深度學習和卷積神經網絡（Convolutional Neural Network, CNN）作為其中的重要分支，已經在多個領域取得了顯著的應用成果。從圖像識別、語音識別
深度神經網絡模型有哪些
深度神經網絡（Deep Neural Networks，DNNs）是一類具有多個隱藏層的神經網絡，它們在許多領域取得了顯著的成功，如計算機視覺、自然語言處理、語音識別等。以下是一些常見的深度
工商網監
評論