TensorFlow發布了一個新的優化工具包，引入post-training模型量化技術，將模型大小縮小了4倍，執行速度提升了3倍！

今天，TensorFlow發布了一個新的優化工具包：一套可以讓開發者，無論是新手還是高級開發人員，都可以使用來優化機器學習模型以進行部署和執行的技術。

這些技術對于優化任何用于部署的TensorFlow模型都非常有用。特別是對于在內存緊張、功耗限制和存儲有限的設備上提供模型的TensorFlow Lite開發人員來說，這些技術尤其重要。

優化模型以減小尺寸，降低延遲和功耗，同時使精度損失可以忽略不計

這次添加支持的第一個技術是向TensorFlow Lite轉換工具添加post-training模型量化（post-training quantization）。對于相關的機器學習模型，這可以實現最多4倍的壓縮和3倍的執行速度提升。

通過量化模型，開發人員還將獲得降低功耗的額外好處。這對于將模型部署到手機之外的終端設備是非常有用的。

啟用 post-training quantization

post-training quantization技術已集成到TensorFlow Lite轉換工具中。入門很簡單：在構建了自己的TensorFlow模型之后，開發人員可以簡單地在TensorFlow Lite轉換工具中啟用“post_training_quantize”標記。假設保存的模型存儲在saved_model_dir中，可以生成量化的tflite flatbuffer：

1converter=tf.contrib.lite.TocoConverter.from_saved_model(saved_model_dir)2converter.post_training_quantize=True3tflite_quantized_model=converter.convert()4open(“quantized_model.tflite”,“wb”).write(tflite_quantized_model)

我們提供了教程詳細介紹如何執行此操作。將來，我們的目標是將這項技術整合到通用的TensorFlow工具中，以便可以在TensorFlow Lite當前不支持的平臺上進行部署。

教程：

https://github.com/tensorflow/tensorflow/blob/master/tensorflow/contrib/lite/tutorials/post_training_quant.ipynb

post-training 量化的好處

模型大小縮小4倍

模型主要由卷積層組成，執行速度提高10-50％

基于RNN的模型可以提高3倍的速度

由于減少了內存和計算需求，預計大多數模型的功耗也會降低

有關模型尺寸縮小和執行時間加速，請參見下圖（使用單核心在Android Pixel 2手機上進行測量）。

圖1：模型大小比較：優化的模型比原來縮小了4倍

圖2：延遲比較：優化后的模型速度提高了1.2到1.4倍

這些加速和模型尺寸的減小對精度影響很小。一般來說，對于手頭的任務來說已經很小的模型（例如，用于圖像分類的mobilenet v1）可能會發生更多的精度損失。對于這些模型，我們提供預訓練的完全量化模型（fully-quantized models）。

圖3：精度比較：除 mobilenets外，優化后的模型的精度下降幾乎可以忽略不計

我們希望在未來繼續改進我們的結果，請參閱模型優化指南以獲得最新的測量結果。

模型優化指南：

https://www.tensorflow.org/performance/model_optimization

post-training quantization的工作原理

在底層，我們通過將參數（即神經網絡權重）的精度從訓練時的32位浮點表示降低到更小、更高效的8位整數表示來運行優化（也稱為量化）。 有關詳細信息，請參閱post-training量化指南。

post-training量化指南：

https://www.tensorflow.org/performance/post_training_quantization

這些優化將確保將最終模型中精度降低的操作定義與使用fixed-point和floating-point數學混合的內核實現配對。這將以較低的精度快速執行最繁重的計算，但是以較高的精度執行最敏感的計算，因此通常會導致任務的最終精度損失很小，甚至沒有損失，但相比純浮點執行而言速度明顯提高。

對于沒有匹配的“混合”內核的操作，或者工具包認為必要的操作，它會將參數重新轉換為更高的浮點精度以便執行。有關支持的混合操作的列表，請參閱post-training quantizaton頁面。

未來的工作

我們將繼續改進post-training量化技術以及其他技術，以便更容易地優化模型。這些將集成到相關的TensorFlow工作流中，使它們易于使用。

post-training量化技術是我們正在開發的優化工具包的第一個產品。我們期待得到開發者的反饋。