GraphPipe 是甲骨文開源的通用深度學(xué)習(xí)模型部署框架。官方對 GraphPipe 的定義為，這是一種協(xié)議和軟件集合，旨在簡化機(jī)器學(xué)習(xí)模型部署并將其與特定于框架的模型實(shí)現(xiàn)分離。

甲骨文表示，這一新工具可提供跨深度學(xué)習(xí)框架的模型通用 API、開箱即用的部署方案以及強(qiáng)大的性能。

GraphPipe 為在網(wǎng)絡(luò)上傳遞張量數(shù)據(jù)(tensor data)提供了一個(gè)標(biāo)準(zhǔn)、高性能的協(xié)議，以及提供了客戶端和服務(wù)器的簡單實(shí)現(xiàn)，因而使得從任何框架部署和查詢機(jī)器學(xué)習(xí)模型變得輕而易舉。GraphPipe 的高性能服務(wù)器支持 TensorFlow、PyTorch、MXNet、CNTK 和 Caffe2。

GraphPipe 包括

• 一組 flatbuffer 定義

• 根據(jù) flatbuffer 定義一致的模型的指南

• 來自各種機(jī)器學(xué)習(xí)框架的模型的示例

• 用于通過 GraphPipe 查詢模型的客戶端庫

GraphPipe 功能特性

• 基于?flatbuffers?的極簡機(jī)器學(xué)習(xí)傳輸規(guī)范

• 適用于?Tensorflow，Caffe2?和?ONNX 的簡單高效參考模型服務(wù)器(reference model servers)

• Go，Python 和 Java 的高效客戶端實(shí)現(xiàn)

使用這些工具，企業(yè)應(yīng)該可跨多個(gè)服務(wù)器進(jìn)行模型的部署，或者使用通用協(xié)議從不同的框架創(chuàng)建模型集合。GraphPipe 可以幫助為依賴遠(yuǎn)程運(yùn)行模型的物聯(lián)網(wǎng)應(yīng)用程序部署機(jī)器學(xué)習(xí)。