在最近的技術(shù)開發(fā)和機(jī)器學(xué)習(xí)的世界中，它不再局限于微型云中，而是在移動設(shè)備中。眾所周知，Tensorflow Lite和Pytorch Mobile是直接在手機(jī)和平??板電腦上部署模型的兩種最商業(yè)可用的工具。 Tensorflow Lite和Pytorch Mobile均開發(fā)用于手機(jī)上的操作，但它們的優(yōu)點(diǎn)和缺點(diǎn)與眾不同。在本文中，我們要知道什么是Tensorflow Lite，什么是Pytorch移動設(shè)備，它們兩者之間的應(yīng)用和差異。

學(xué)習(xí)成果

• 概述設(shè)備機(jī)器學(xué)習(xí)以及為什么它是有益的，而不是基于云的系統(tǒng)。
• 了解用于移動應(yīng)用程序部署的TensorFlow Lite和Pytorch Mobile。
• 如何使用TensorFlow Lite和Pytorch移動設(shè)備轉(zhuǎn)換訓(xùn)練有素的模型以進(jìn)行部署。
• 比較Tensorflow Lite和Pytorch Mobile的性能，易用性和平臺兼容性。
• 使用Tensorflow Lite和Pytorch Mobile實(shí)施現(xiàn)實(shí)世界中的示例。

本文作為數(shù)據(jù)科學(xué)博客馬拉松的一部分發(fā)表。

目錄

• 什么是設(shè)備機(jī)器學(xué)習(xí)？
• 探索TensorFlow Lite
• Pytorch移動實(shí)施
• 性能比較：Tensorflow Lite vs Pytorch手機(jī)
• 易用性和開發(fā)人員經(jīng)驗
• 支持的平臺和設(shè)備兼容性
• 模型轉(zhuǎn)換：從培訓(xùn)到部署
• Tensorflow Lite和Pytorch手機(jī)的用例
• Tensorflow Lite實(shí)現(xiàn)
• Pytorch移動實(shí)施
• 結(jié)論
• 常見問題

什么是設(shè)備機(jī)器學(xué)習(xí)？

我們可以在移動設(shè)備上執(zhí)行AI，包括智能手機(jī)，平板電腦或任何其他設(shè)備在設(shè)備機(jī)器上學(xué)習(xí)。我們不需要依靠云的服務(wù)。這些是快速響應(yīng)，敏感信息的安全性，并且應(yīng)用程序可以在有或沒有Internet連接的情況下運(yùn)行，這對于不同的應(yīng)用程序至關(guān)重要；實(shí)時識別圖像識別，機(jī)器翻譯和增強(qiáng)現(xiàn)實(shí)。

探索TensorFlow Lite

TensorFlow Lite是張量流式，通常在具有限制功能的設(shè)備上使用。它可以使用，并且與其他操作系統(tǒng)（例如Android和iPhone）兼容。它主要以提供延遲和高性能執(zhí)行為中心。至于Tensorflow Lite，有一個模型優(yōu)化器，可以幫助應(yīng)用某些方法，例如對模型進(jìn)行量化。這使模型更快，更小，用于移動部署，這在這種做法中必須提高效率。

Tensorflow Lite的功能

以下是Tensorflow Lite的一些最重要的功能：

• 小二進(jìn)制尺寸： Tensorflow Lite二進(jìn)制尺寸可能很小。它可以小至300kb。
• 硬件加速度： TFLITE通過Android的NNAPI和iOS的Coreml等代表支持GPU和其他硬件加速器。
• 模型量化： TFLITE提供了許多不同的量化方法，以優(yōu)化性能并降低模型大小而不犧牲過多的準(zhǔn)確性。

Pytorch移動實(shí)施

Pytorch Mobile是Pytorch的移動擴(kuò)展。通常以其在研究和生產(chǎn)方面的靈活性而聞名。 Pytorch Mobile可以輕松從桌面環(huán)境中采用訓(xùn)練有素的型號，并在移動設(shè)備上部署，而無需進(jìn)行太多修改。它通過支持動態(tài)計算圖并使調(diào)試更容易地關(guān)注開發(fā)人員的易用性。

Pytorch手機(jī)的功能

以下是Pytorch手機(jī)的一些重要功能：

• 預(yù)先構(gòu)建的型號： Pytorch Mobile提供了大量的預(yù)訓(xùn)練模型，可以將其轉(zhuǎn)換為在移動設(shè)備上運(yùn)行。
• 動態(tài)圖：它是Pytorch的動態(tài)計算圖之一，可以在開發(fā)過程中靈活性。
• 自定義操作員： Pytorch Mobile允許我們創(chuàng)建自定義操作員，這對于高級用例很有用。

性能比較：Tensorflow Lite vs Pytorch手機(jī)

當(dāng)我們討論它們的性能時，兩個框架都針對移動設(shè)備進(jìn)行了優(yōu)化，但是Tensorflow Lite具有很高的執(zhí)行速度和資源效率。

• 執(zhí)行速度：由于其積極的優(yōu)化，例如量化和基于委托的加速度，Tensorflow Lite通常更快。例如 - nnapi和gpu。
• 二進(jìn)制尺寸： Tensorflow Lite具有較小的占地面積，二進(jìn)制尺寸低至300kb，用于最小的構(gòu)建。 Pytorch移動二進(jìn)制文件往往更大，并且需要更輕巧的部署進(jìn)行微調(diào)。

易用性和開發(fā)人員經(jīng)驗

Pytorch Mobile通常受開發(fā)人員的靈活性和易于調(diào)試的功能而受到首選。這是由于動態(tài)計算圖。這有助于我們在運(yùn)行時修改模型，這非常適合原型制作。另一方面，TensorFlow Lite需要在部署前將模型轉(zhuǎn)換為靜態(tài)格式，這可以增加復(fù)雜性，但會為移動設(shè)備提供更優(yōu)化的模型。

• 模型轉(zhuǎn)換： Pytorch Mobile允許我們直接導(dǎo)出Pytorch型號，而Tensorflow Lite則需要使用TFLITE轉(zhuǎn)換器轉(zhuǎn)換Tensorflow模型。
• 調(diào)試： Pytorch的動態(tài)圖使他們在運(yùn)行時更容易調(diào)試模型，這非常適合快速發(fā)現(xiàn)問題。借助Tensorflow Lite的靜態(tài)圖，盡管TensorFlow提供了可以幫助我們的模型分析器之類的工具，但調(diào)試可能會有些困難。

支持的平臺和設(shè)備兼容性

我們可以在兩個主要的移動平臺Android和iOS上同時使用Tensorflow Lite和Pytorch移動設(shè)備。

Tensorflow Lite

在選擇哪個將支持哪種硬件時，Tflite更加靈活。由于委托系統(tǒng)，它不僅支持CPU和GPU，還支持?jǐn)?shù)字信號處理器（DSP）和其他被認(rèn)為比基本CPU更高的芯片。

Pytorch手機(jī)

雖然Pytorch Mobile還支持CPU和GPU，例如用于iOS和Vulkan的Android的金屬，但除此之外，硬件加速的選項較少。這意味著，當(dāng)我們需要更廣泛的硬件兼容性時，Tflite可能會具有優(yōu)勢，尤其是對于具有專門處理器的設(shè)備而言。

模型轉(zhuǎn)換：從培訓(xùn)到部署

Tensorflow Lite和Pytorch Mobile之間的主要區(qū)別在于，模型從訓(xùn)練階段轉(zhuǎn)變?yōu)橐苿釉O(shè)備上的部署。

Tensorflow Lite

如果我們想在移動設(shè)備上部署TensorFlow模型，則需要使用TFLITE轉(zhuǎn)換器將其轉(zhuǎn)換?？梢詢?yōu)化此過程，例如量化，這將使移動目標(biāo)的模型快速有效。

Pytorch手機(jī)

對于Pytorch Mobile，我們可以使用Torchscript保存模型。該過程非常簡單，簡單，但是它沒有提供與TFLITE提供的高級優(yōu)化選項的水平。

Tensorflow Lite和Pytorch手機(jī)的用例

探索Tensorflow Lite和Pytorch Mobile的實(shí)際應(yīng)用，展示了這些框架如何在不同行業(yè)跨越智能解決方案。

Tensorflow Lite

TFLITE是需要快速響應(yīng)的不同應(yīng)用程序的更好平臺，例如實(shí)時圖像分類或?qū)ο髾z測。如果我們正在使用具有專門硬件的設(shè)備，例如GPU或神經(jīng)處理單元。 TFLITE的硬件加速度功能有助于模型運(yùn)行速度更快，更有效。

Pytorch手機(jī)

Pytorch Mobile非常適合仍在不斷發(fā)展的項目，例如研究或原型應(yīng)用程序。它的靈活性使得可以輕松進(jìn)行實(shí)驗和迭代，從而使開發(fā)人員可以快速更改。當(dāng)我們需要經(jīng)常實(shí)驗和部署具有最小修改的新模型時，Pytorch Mobile是理想的選擇。

Tensorflow Lite實(shí)現(xiàn)

我們將使用預(yù)訓(xùn)練的模型（MobilenetV2），并將其轉(zhuǎn)換為Tensorflow Lite。

加載和保存模型

我們要做的第一件事是導(dǎo)入TensorFlow并加載預(yù)先訓(xùn)練的MobilenETV2模型。正如該模型中所示，它已準(zhǔn)備好在Imagenet數(shù)據(jù)集上進(jìn)行預(yù)訓(xùn)練。 Model.export（'Mobilenet_model'）以Tensorflow的SavedModel的格式寫入模型。這是將其轉(zhuǎn)換為與移動設(shè)備一起使用的Tensorflow Lite模型（TFLITE）所需的格式。

 ＃步驟1：設(shè)置環(huán)境并加載預(yù)先訓(xùn)練的MobilenEtv2模型
導(dǎo)入TensorFlow作為TF

＃加載預(yù)定的MobilenetV2模型
型號= tf.keras.applications.mobilenetv2（weights ='imagenet'，input_shape =（224，224，3））

＃將模型保存為tflite轉(zhuǎn)換的SavedModel
Model.export（'Mobilenet_model'）

將模型轉(zhuǎn)換為Tensorflow Lite

該模型是使用TfliteConverter從保存的模型（Mobilenet_model目錄）加載的。轉(zhuǎn)換器將模型轉(zhuǎn)換為更輕巧的.tflite格式。最后，將TFLITE模型保存為Mobilenet_v2.tflite，以便以后在移動或邊緣應(yīng)用中使用。

 ＃步驟2：將模型轉(zhuǎn)換為Tensorflow Lite
converter = tf.lite.tfliteconverter.from_saved_model（'mobilenet_model'）
tflite_model = converter.convert（）

＃將轉(zhuǎn)換的模型保存到TFLITE文件
用open（'mobilenet_v2.tflite'，'wb'）作為f：
    F.Write（TFLITE_MODEL）

加載推理的Tflite模型

現(xiàn)在，我們導(dǎo)入數(shù)值操作（NUMPY）和圖像操作（pil.image）的必要庫。使用tf.lite.Interpreter和內(nèi)存分配了TFLITE模型以用于輸入/輸出張量。我們檢索有關(guān)輸入/輸出張量的詳細(xì)信息，例如形狀和數(shù)據(jù)類型，當(dāng)我們預(yù)處理輸入圖像并檢索輸出時，這將很有用。

導(dǎo)入numpy作為NP
從PIL導(dǎo)入圖像

＃加載Tflite型號并分配張量
interneter = tf.lite.interpreter（model_path ='mobilenet_v2.tflite'）
interner.allocate_tensors（）

＃獲取輸入和輸出張量
input_details = interner.get_input_details（）
output_details = interner.get_output_details（）

預(yù)處理輸入，運(yùn)行推理和解碼輸出

我們加載圖像（cat.jpg），將其調(diào)整到所需的（224，224）像素，并使用MobilenetV2的預(yù)處理方法進(jìn)行預(yù)處理。預(yù)處理圖像通過使用internterpreter.set_tensor（）設(shè)置輸入張量來饋入TFLITE模型，然后我們使用Inverter.invoke（）運(yùn)行推理。推斷后，我們檢索模型的預(yù)測，并使用decode_predictions（）將它們解碼為可讀的類名稱和概率。最后，我們打印預(yù)測。

 ＃加載和預(yù)處理輸入圖像
image = image.open（'cat.jpg'）。resize（（224，224））＃替換為圖像路徑
input_data = np.expand_dims（np.Array（image），axis = 0）
input_data = tf.keras.applications.mobilenet_v2.preprocess_input（input_data）

＃設(shè)置輸入張量并運(yùn)行模型
intermeter.set_tensor（input_details [0] ['index']，input_data）
inverter.invoke（）

＃獲取輸出并解碼預(yù)測
output_data = interner.get_tensor（output_details [0] ['index']）
預(yù)測= tf.keras.applications.mobilenet_v2.decode_predictions（output_data）
打印（預(yù)測）

使用下面的貓圖像：

輸出：

[（'N02123045'，'tabby'，0.85），（'N02124075'，'egyptian_cat'，0.07），（'N02123159'，'n02123159'，'tiger_cat'，0.05）]

這意味著該模型是85％的信心，因為圖像是虎斑貓。

Pytorch移動實(shí)施

現(xiàn)在，我們將實(shí)施Pytorch手機(jī)。我們將使用一個簡單的預(yù)訓(xùn)練模型，例如Resnet18，將其轉(zhuǎn)換為Torchscript，并運(yùn)行推斷

設(shè)置環(huán)境并加載RESNET18型號

＃步驟1：設(shè)置環(huán)境
導(dǎo)入火炬
導(dǎo)入torchvision.models作為型號

＃加載預(yù)驗證的RESNET18型號
Model = model.Resnet18（預(yù)讀= true）

＃將模型設(shè)置為評估模式
model.eval（）

將模型轉(zhuǎn)換為Torchscript

在這里，我們定義一個示例_input，它是大小[1,3,224,224]的隨機(jī)張量。這模擬了一個帶有3個顏色通道（RGB）和224×224像素的1個圖像。它用于追蹤模型的操作。 TORCH.JIT.TRACE（）是一種將Pytorch模型轉(zhuǎn)換為Torchscript模塊的方法。 Torchscript允許您在Py??thon之外進(jìn)行序列化并運(yùn)行模型，例如在C或移動設(shè)備中。轉(zhuǎn)換后的Torchscript模型被保存為“ resnet18_scripted.pt”，允許將其加載和以后使用。

 ＃步驟2：轉(zhuǎn)換為Torchscript
example_input = torch.randn（1，3，224，224）＃跟蹤示例輸入
traced_script_module = torch.jit.trace（型號，example_input）

＃保存火有關(guān)模型
traced_script_module.save（“ resnet18_scripted.pt”）

加載腳本模型并進(jìn)行預(yù)測

我們使用torch.jit.load（）從文件“ resnet18_scripted.pt”中加載先前保存的火有關(guān)模型。我們創(chuàng)建一個新的隨機(jī)張量輸入_DATA，再次模擬具有大小[1、3、224、224]的圖像輸入。然后使用Loaded_model（input_data）在此輸入上運(yùn)行該模型。這將返回輸出，其中包含每個類的原始分?jǐn)?shù)（logits）。為了獲得預(yù)測的類，我們使用Torch.max（輸出，1），該類別給出了分?jǐn)?shù)最高的類索引。我們使用Predicted.item（）打印預(yù)測類。

 ＃步驟3：加載并運(yùn)行腳本模型
loaded_model = torch.jit.load（“ resnet18_scripted.pt”）

＃仿真輸入數(shù)據(jù)（隨機(jī)圖像張量）
input_data = torch.randn（1，3，224，224）

＃運(yùn)行模型并獲得預(yù)測
輸出= loaded_model（input_data）
_，預(yù)測= torch.max（輸出，1）
打印（f'predisted類：{predicted.item（）}'）

輸出：

預(yù)測班：107

因此，該模型預(yù)測輸入數(shù)據(jù)屬于類索引107。

結(jié)論

Tensorflow Lite更加專注于移動設(shè)備，而Pytorch Mobile則提供了更通用的CPU/GPU控制解決方案，兩者都針對AI在移動設(shè)備和邊緣設(shè)備上的不同應(yīng)用進(jìn)行了優(yōu)化。與Tensorflow Lite相比，Pytorch Mobile提供了更大的便攜性，同時也比Tensorflow Lite更輕，并與Google緊密整合。它們結(jié)合在一起，使開發(fā)人員能夠在開發(fā)人員的手持設(shè)備上實(shí)施具有高功能的實(shí)時人工智能應(yīng)用程序。這些框架使用戶能夠在本地機(jī)器上運(yùn)行復(fù)雜的模型，并這樣做，因此他們正在通過指尖重寫有關(guān)移動應(yīng)用程序如何與世界互動的規(guī)則。

關(guān)鍵要點(diǎn)

• Tensorflow Lite和Pytorch移動設(shè)備使開發(fā)人員有效地在邊緣設(shè)備上部署AI模型。
• 這兩個框架都支持跨平臺兼容性，從而增強(qiáng)了移動AI應(yīng)用程序的覆蓋范圍。
• Tensorflow Lite以性能優(yōu)化而聞名，而Pytorch Mobile的靈活性則擅長。
• 易于集成和開發(fā)人員友好的工具使這兩個框架適用于廣泛的AI用例。
• 現(xiàn)實(shí)世界的應(yīng)用程序涵蓋了醫(yī)療保健，零售和娛樂等行業(yè)，展示了它們的多功能性。

常見問題

A.使用Tensorflow Lite，在我們需要在移動設(shè)備上高性能的地方使用Pytorch Mobile，在我們需要靈活性并易于與Pytorch現(xiàn)有的生態(tài)系統(tǒng)集成時。

答：是的，Tensorflow Lite和Pytorch移動都在Android和iOS上工作。

答：Pytorch Mobile對于執(zhí)行諸如圖像，面部和視頻分類，實(shí)時對象檢測，語音到文本轉(zhuǎn)換等任務(wù)的應(yīng)用程序很有用。

A. Tensorflow Lite移動移動可用于機(jī)器人技術(shù)，IoT設(shè)備，增強(qiáng)現(xiàn)實(shí)（AR），虛擬現(xiàn)實(shí)（VR），自然語言處理（NLP）等應(yīng)用程序有用。

本文所示的媒體不由Analytics Vidhya擁有，并由作者酌情使用。

以上是Tensorflow Lite與Pytorch手機(jī)的詳細(xì)內(nèi)容。更多信息請關(guān)注PHP中文網(wǎng)其他相關(guān)文章！