在最近的技術(shù)開(kāi)發(fā)和機(jī)器學(xué)習(xí)的世界中，它不再局限於微型雲(yún)中，而是在移動(dòng)設(shè)備中。眾所周知，Tensorflow Lite和Pytorch Mobile是直接在手機(jī)和平??板電腦上部署模型的兩種最商業(yè)可用的工具。 Tensorflow Lite和Pytorch Mobile均開(kāi)髮用於手機(jī)上的操作，但它們的優(yōu)點(diǎn)和缺點(diǎn)與眾不同。在本文中，我們要知道什麼是Tensorflow Lite，什麼是Pytorch移動(dòng)設(shè)備，它們兩者之間的應(yīng)用和差異。

學(xué)習(xí)成果

• 概述設(shè)備機(jī)器學(xué)習(xí)以及為什麼它是有益的，而不是基於雲(yún)的系統(tǒng)。
• 了解用於移動(dòng)應(yīng)用程序部署的TensorFlow Lite和Pytorch Mobile。
• 如何使用TensorFlow Lite和Pytorch移動(dòng)設(shè)備轉(zhuǎn)換訓(xùn)練有素的模型以進(jìn)行部署。
• 比較Tensorflow Lite和Pytorch Mobile的性能，易用性和平臺(tái)兼容性。
• 使用Tensorflow Lite和Pytorch Mobile實(shí)施現(xiàn)實(shí)世界中的示例。

本文作為數(shù)據(jù)科學(xué)博客馬拉鬆的一部分發(fā)表。

目錄

• 什麼是設(shè)備機(jī)器學(xué)習(xí)？
• 探索TensorFlow Lite
• Pytorch移動(dòng)實(shí)施
• 性能比較：Tensorflow Lite vs Pytorch手機(jī)
• 易用性和開(kāi)發(fā)人員經(jīng)驗(yàn)
• 支持的平臺(tái)和設(shè)備兼容性
• 模型轉(zhuǎn)換：從培訓(xùn)到部署
• Tensorflow Lite和Pytorch手機(jī)的用例
• Tensorflow Lite實(shí)現(xiàn)
• Pytorch移動(dòng)實(shí)施
• 結(jié)論
• 常見(jiàn)問(wèn)題

什麼是設(shè)備機(jī)器學(xué)習(xí)？

我們可以在移動(dòng)設(shè)備上執(zhí)行AI，包括智能手機(jī)，平板電腦或任何其他設(shè)備在設(shè)備機(jī)器上學(xué)習(xí)。我們不需要依靠雲(yún)的服務(wù)。這些是快速響應(yīng)，敏感信息的安全性，並且應(yīng)用程序可以在有或沒(méi)有Internet連接的情況下運(yùn)行，這對(duì)於不同的應(yīng)用程序至關(guān)重要；實(shí)時(shí)識(shí)別圖像識(shí)別，機(jī)器翻譯和增強(qiáng)現(xiàn)實(shí)。

探索TensorFlow Lite

TensorFlow Lite是張量流式，通常在具有限制功能的設(shè)備上使用。它可以使用，並且與其他操作系統(tǒng)（例如Android和iPhone）兼容。它主要以提供延遲和高性能執(zhí)行為中心。至於Tensorflow Lite，有一個(gè)模型優(yōu)化器，可以幫助應(yīng)用某些方法，例如對(duì)模型進(jìn)行量化。這使模型更快，更小，用於移動(dòng)部署，這在這種做法中必須提高效率。

Tensorflow Lite的功能

以下是Tensorflow Lite的一些最重要的功能：

• 小二進(jìn)制尺寸： Tensorflow Lite二進(jìn)制尺寸可能很小。它可以小至300kb。
• 硬件加速度： TFLITE通過(guò)Android的NNAPI和iOS的Coreml等代表支持GPU和其他硬件加速器。
• 模型量化： TFLITE提供了許多不同的量化方法，以?xún)?yōu)化性能並降低模型大小而不犧牲過(guò)多的準(zhǔn)確性。

Pytorch移動(dòng)實(shí)施

Pytorch Mobile是Pytorch的移動(dòng)擴(kuò)展。通常以其在研究和生產(chǎn)方面的靈活性而聞名。 Pytorch Mobile可以輕鬆從桌面環(huán)境中採(cǎi)用訓(xùn)練有素的型號(hào)，並在移動(dòng)設(shè)備上部署，而無(wú)需進(jìn)行太多修改。它通過(guò)支持動(dòng)態(tài)計(jì)算圖並使調(diào)試更容易地關(guān)注開(kāi)發(fā)人員的易用性。

Pytorch手機(jī)的功能

以下是Pytorch手機(jī)的一些重要功能：

• 預(yù)先構(gòu)建的型號(hào)： Pytorch Mobile提供了大量的預(yù)訓(xùn)練模型，可以將其轉(zhuǎn)換為在移動(dòng)設(shè)備上運(yùn)行。
• 動(dòng)態(tài)圖：它是Pytorch的動(dòng)態(tài)計(jì)算圖之一，可以在開(kāi)發(fā)過(guò)程中靈活性。
• 自定義操作員： Pytorch Mobile允許我們創(chuàng)建自定義操作員，這對(duì)於高級(jí)用例很有用。

性能比較：Tensorflow Lite vs Pytorch手機(jī)

當(dāng)我們討論它們的性能時(shí)，兩個(gè)框架都針對(duì)移動(dòng)設(shè)備進(jìn)行了優(yōu)化，但是Tensorflow Lite具有很高的執(zhí)行速度和資源效率。

• 執(zhí)行速度：由於其積極的優(yōu)化，例如量化和基於委託的加速度，Tensorflow Lite通常更快。例如 - nnapi和gpu。
• 二進(jìn)制尺寸： Tensorflow Lite具有較小的佔(zhàn)地面積，二進(jìn)制尺寸低至300kb，用於最小的構(gòu)建。 Pytorch移動(dòng)二進(jìn)製文件往往更大，並且需要更輕巧的部署進(jìn)行微調(diào)。

易用性和開(kāi)發(fā)人員經(jīng)驗(yàn)

Pytorch Mobile通常受開(kāi)發(fā)人員的靈活性和易於調(diào)試的功能而受到首選。這是由於動(dòng)態(tài)計(jì)算圖。這有助於我們?cè)谶\(yùn)行時(shí)修改模型，這非常適合原型製作。另一方面，TensorFlow Lite需要在部署前將模型轉(zhuǎn)換為靜態(tài)格式，這可以增加複雜性，但會(huì)為移動(dòng)設(shè)備提供更優(yōu)化的模型。

• 模型轉(zhuǎn)換： Pytorch Mobile允許我們直接導(dǎo)出Pytorch型號(hào)，而Tensorflow Lite則需要使用TFLITE轉(zhuǎn)換器轉(zhuǎn)換Tensorflow模型。
• 調(diào)試： Pytorch的動(dòng)態(tài)圖使他們?cè)谶\(yùn)行時(shí)更容易調(diào)試模型，這非常適合快速發(fā)現(xiàn)問(wèn)題。借助Tensorflow Lite的靜態(tài)圖，儘管TensorFlow提供了可以幫助我們的模型分析器之類(lèi)的工具，但調(diào)試可能會(huì)有些困難。

支持的平臺(tái)和設(shè)備兼容性

我們可以在兩個(gè)主要的移動(dòng)平臺(tái)Android和iOS上同時(shí)使用Tensorflow Lite和Pytorch移動(dòng)設(shè)備。

Tensorflow Lite

在選擇哪個(gè)將支持哪種硬件時(shí)，Tflite更加靈活。由於委託系統(tǒng)，它不僅支持CPU和GPU，還支持?jǐn)?shù)字信號(hào)處理器（DSP）和其他被認(rèn)為比基本CPU更高的芯片。

Pytorch手機(jī)

雖然Pytorch Mobile還支持CPU和GPU，例如用於iOS和Vulkan的Android的金屬，但除此之外，硬件加速的選項(xiàng)較少。這意味著，當(dāng)我們需要更廣泛的硬件兼容性時(shí)，Tflite可能會(huì)具有優(yōu)勢(shì)，尤其是對(duì)於具有專(zhuān)門(mén)處理器的設(shè)備而言。

模型轉(zhuǎn)換：從培訓(xùn)到部署

Tensorflow Lite和Pytorch Mobile之間的主要區(qū)別在於，模型從訓(xùn)練階段轉(zhuǎn)變?yōu)橐苿?dòng)設(shè)備上的部署。

Tensorflow Lite

如果我們想在移動(dòng)設(shè)備上部署TensorFlow模型，則需要使用TFLITE轉(zhuǎn)換器將其轉(zhuǎn)換。可以?xún)?yōu)化此過(guò)程，例如量化，這將使移動(dòng)目標(biāo)的模型快速有效。

Pytorch手機(jī)

對(duì)於Pytorch Mobile，我們可以使用Torchscript保存模型。該過(guò)程非常簡(jiǎn)單，簡(jiǎn)單，但是它沒(méi)有提供與TFLITE提供的高級(jí)優(yōu)化選項(xiàng)的水平。

Tensorflow Lite和Pytorch手機(jī)的用例

探索Tensorflow Lite和Pytorch Mobile的實(shí)際應(yīng)用，展示了這些框架如何在不同行業(yè)跨越智能解決方案。

Tensorflow Lite

TFLITE是需要快速響應(yīng)的不同應(yīng)用程序的更好平臺(tái)，例如實(shí)時(shí)圖像分類(lèi)或?qū)ο髾z測(cè)。如果我們正在使用具有專(zhuān)門(mén)硬件的設(shè)備，例如GPU或神經(jīng)處理單元。 TFLITE的硬件加速度功能有助於模型運(yùn)行速度更快，更有效。

Pytorch手機(jī)

Pytorch Mobile非常適合仍在不斷發(fā)展的項(xiàng)目，例如研究或原型應(yīng)用程序。它的靈活性使得可以輕鬆進(jìn)行實(shí)驗(yàn)和迭代，從而使開(kāi)發(fā)人員可以快速更改。當(dāng)我們需要經(jīng)常實(shí)驗(yàn)和部署具有最小修改的新模型時(shí)，Pytorch Mobile是理想的選擇。

Tensorflow Lite實(shí)現(xiàn)

我們將使用預(yù)訓(xùn)練的模型（MobilenetV2），並將其轉(zhuǎn)換為T(mén)ensorflow Lite。

加載和保存模型

我們要做的第一件事是導(dǎo)入TensorFlow並加載預(yù)先訓(xùn)練的MobilenETV2模型。正如該模型中所示，它已準(zhǔn)備好在Imagenet數(shù)據(jù)集上進(jìn)行預(yù)訓(xùn)練。 Model.export（'Mobilenet_model'）以Tensorflow的SavedModel的格式寫(xiě)入模型。這是將其轉(zhuǎn)換為與移動(dòng)設(shè)備一起使用的Tensorflow Lite模型（TFLITE）所需的格式。

 ＃步驟1：設(shè)置環(huán)境並加載預(yù)先訓(xùn)練的MobilenEtv2模型
導(dǎo)入TensorFlow作為T(mén)F

＃加載預(yù)定的MobilenetV2模型
型號(hào)= tf.keras.applications.mobilenetv2（weights ='imagenet'，input_shape =（224，224，3））

＃將模型保存為tflite轉(zhuǎn)換的SavedModel
Model.export（'Mobilenet_model'）

將模型轉(zhuǎn)換為T(mén)ensorflow Lite

該模型是使用TfliteConverter從保存的模型（Mobilenet_model目錄）加載的。轉(zhuǎn)換器將模型轉(zhuǎn)換為更輕巧的.tflite格式。最後，將TFLITE模型保存為Mobilenet_v2.tflite，以便以後在移動(dòng)或邊緣應(yīng)用中使用。

 ＃步驟2：將模型轉(zhuǎn)換為T(mén)ensorflow Lite
converter = tf.lite.tfliteconverter.from_saved_model（'mobilenet_model'）
tflite_model = converter.convert（）

＃將轉(zhuǎn)換的模型保存到TFLITE文件
用open（'mobilenet_v2.tflite'，'wb'）作為f：
    F.Write（TFLITE_MODEL）

加載推理的Tflite模型

現(xiàn)在，我們導(dǎo)入數(shù)值操作（NUMPY）和圖像操作（pil.image）的必要庫(kù)。使用tf.lite.Interpreter和內(nèi)存分配了TFLITE模型以用於輸入/輸出張量。我們檢索有關(guān)輸入/輸出張量的詳細(xì)信息，例如形狀和數(shù)據(jù)類(lèi)型，當(dāng)我們預(yù)處理輸入圖像並檢索輸出時(shí)，這將很有用。

導(dǎo)入numpy作為NP
從PIL導(dǎo)入圖像

＃加載Tflite型號(hào)並分配張量
interneter = tf.lite.interpreter（model_path ='mobilenet_v2.tflite'）
interner.allocate_tensors（）

＃獲取輸入和輸出張量
input_details = interner.get_input_details（）
output_details = interner.get_output_details（）

預(yù)處理輸入，運(yùn)行推理和解碼輸出

我們加載圖像（cat.jpg），將其調(diào)整到所需的（224，224）像素，並使用MobilenetV2的預(yù)處理方法進(jìn)行預(yù)處理。預(yù)處理圖像通過(guò)使用internterpreter.set_tensor（）設(shè)置輸入張量來(lái)饋入TFLITE模型，然後我們使用Inverter.invoke（）運(yùn)行推理。推斷後，我們檢索模型的預(yù)測(cè)，並使用decode_predictions（）將它們解碼為可讀的類(lèi)名稱(chēng)和概率。最後，我們打印預(yù)測(cè)。

 ＃加載和預(yù)處理輸入圖像
image = image.open（'cat.jpg'）。resize（（224，224））＃替換為圖像路徑
input_data = np.expand_dims（np.Array（image），axis = 0）
input_data = tf.keras.applications.mobilenet_v2.preprocess_input（input_data）

＃設(shè)置輸入張量並運(yùn)行模型
intermeter.set_tensor（input_details [0] ['index']，input_data）
inverter.invoke（）

＃獲取輸出並解碼預(yù)測(cè)
output_data = interner.get_tensor（output_details [0] ['index']）
預(yù)測(cè)= tf.keras.applications.mobilenet_v2.decode_predictions（output_data）
打?。A(yù)測(cè)）

使用下面的貓圖像：

輸出：

[（'N02123045'，'tabby'，0.85），（'N02124075'，'egyptian_cat'，0.07），（'N02123159'，'n02123159'，'tiger_cat'，0.05）]

這意味著該模型是85％的信心，因?yàn)閳D像是虎斑貓。

Pytorch移動(dòng)實(shí)施

現(xiàn)在，我們將實(shí)施Pytorch手機(jī)。我們將使用一個(gè)簡(jiǎn)單的預(yù)訓(xùn)練模型，例如Resnet18，將其轉(zhuǎn)換為T(mén)orchscript，並運(yùn)行推斷

設(shè)置環(huán)境並加載RESNET18型號(hào)

＃步驟1：設(shè)置環(huán)境
導(dǎo)入火炬
導(dǎo)入torchvision.models作為型號(hào)

＃加載預(yù)驗(yàn)證的RESNET18型號(hào)
Model = model.Resnet18（預(yù)讀= true）

＃將模型設(shè)置為評(píng)估模式
model.eval（）

將模型轉(zhuǎn)換為T(mén)orchscript

在這裡，我們定義一個(gè)示例_input，它是大小[1,3,224,224]的隨機(jī)張量。這模擬了一個(gè)帶有3個(gè)顏色通道（RGB）和224×224像素的1個(gè)圖像。它用於追蹤模型的操作。 TORCH.JIT.TRACE（）是一種將Pytorch模型轉(zhuǎn)換為T(mén)orchscript模塊的方法。 Torchscript允許您在Py??thon之外進(jìn)行序列化並運(yùn)行模型，例如在C或移動(dòng)設(shè)備中。轉(zhuǎn)換後的Torchscript模型被保存為“ resnet18_scripted.pt”，允許將其加載和以後使用。

 ＃步驟2：轉(zhuǎn)換為T(mén)orchscript
example_input = torch.randn（1，3，224，224）＃跟蹤示例輸入
traced_script_module = torch.jit.trace（型號(hào)，example_input）

＃保存火有關(guān)模型
traced_script_module.save（“ resnet18_scripted.pt”）

加載腳本模型並進(jìn)行預(yù)測(cè)

我們使用torch.jit.load（）從文件“ resnet18_scripted.pt”中加載先前保存的火有關(guān)模型。我們創(chuàng)建一個(gè)新的隨機(jī)張量輸入_DATA，再次模擬具有大小[1、3、224、224]的圖像輸入。然後使用Loaded_model（input_data）在此輸入上運(yùn)行該模型。這將返回輸出，其中包含每個(gè)類(lèi)的原始分?jǐn)?shù)（logits）。為了獲得預(yù)測(cè)的類(lèi)，我們使用Torch.max（輸出，1），該類(lèi)別給出了分?jǐn)?shù)最高的類(lèi)索引。我們使用Predicted.item（）打印預(yù)測(cè)類(lèi)。

 ＃步驟3：加載並運(yùn)行腳本模型
loaded_model = torch.jit.load（“ resnet18_scripted.pt”）

＃仿真輸入數(shù)據(jù)（隨機(jī)圖像張量）
input_data = torch.randn（1，3，224，224）

＃運(yùn)行模型並獲得預(yù)測(cè)
輸出= loaded_model（input_data）
_，預(yù)測(cè)= torch.max（輸出，1）
打?。╢'predisted類(lèi)：{predicted.item（）}'）

輸出：

預(yù)測(cè)班：107

因此，該模型預(yù)測(cè)輸入數(shù)據(jù)屬於類(lèi)索引107。

結(jié)論

Tensorflow Lite更加專(zhuān)注於移動(dòng)設(shè)備，而Pytorch Mobile則提供了更通用的CPU/GPU控制解決方案，兩者都針對(duì)AI在移動(dòng)設(shè)備和邊緣設(shè)備上的不同應(yīng)用進(jìn)行了優(yōu)化。與Tensorflow Lite相比，Pytorch Mobile提供了更大的便攜性，同時(shí)也比Tensorflow Lite更輕，並與Google緊密整合。它們結(jié)合在一起，使開(kāi)發(fā)人員能夠在開(kāi)發(fā)人員的手持設(shè)備上實(shí)施具有高功能的實(shí)時(shí)人工智能應(yīng)用程序。這些框架使用戶(hù)能夠在本地機(jī)器上運(yùn)行複雜的模型，並這樣做，因此他們正在通過(guò)指尖重寫(xiě)有關(guān)移動(dòng)應(yīng)用程序如何與世界互動(dòng)的規(guī)則。

關(guān)鍵要點(diǎn)

• Tensorflow Lite和Pytorch移動(dòng)設(shè)備使開(kāi)發(fā)人員有效地在邊緣設(shè)備上部署AI模型。
• 這兩個(gè)框架都支持跨平臺(tái)兼容性，從而增強(qiáng)了移動(dòng)AI應(yīng)用程序的覆蓋範(fàn)圍。
• Tensorflow Lite以性能優(yōu)化而聞名，而Pytorch Mobile的靈活性則擅長(zhǎng)。
• 易於集成和開(kāi)發(fā)人員友好的工具使這兩個(gè)框架適用於廣泛的AI用例。
• 現(xiàn)實(shí)世界的應(yīng)用程序涵蓋了醫(yī)療保健，零售和娛樂(lè)等行業(yè)，展示了它們的多功能性。

常見(jiàn)問(wèn)題

A.使用Tensorflow Lite，在我們需要在移動(dòng)設(shè)備上高性能的地方使用Pytorch Mobile，在我們需要靈活性並易於與Pytorch現(xiàn)有的生態(tài)系統(tǒng)集成時(shí)。

答：是的，Tensorflow Lite和Pytorch移動(dòng)都在A(yíng)ndroid和iOS上工作。

答：Pytorch Mobile對(duì)於執(zhí)行諸如圖像，面部和視頻分類(lèi)，實(shí)時(shí)對(duì)象檢測(cè)，語(yǔ)音到文本轉(zhuǎn)換等任務(wù)的應(yīng)用程序很有用。

A. Tensorflow Lite移動(dòng)移動(dòng)可用於機(jī)器人技術(shù)，IoT設(shè)備，增強(qiáng)現(xiàn)實(shí)（AR），虛擬現(xiàn)實(shí)（VR），自然語(yǔ)言處理（NLP）等應(yīng)用程序有用。

本文所示的媒體不由Analytics Vidhya擁有，並由作者酌情使用。

以上是Tensorflow Lite與Pytorch手機(jī)的詳細(xì)內(nèi)容。更多資訊請(qǐng)關(guān)注PHP中文網(wǎng)其他相關(guān)文章！