ZenML 的 Zen 簡介

繫好安全帶，因?yàn)槲覀兗磳⑻ど蠌?Jupyter 叢林到 ZenML 涅槃的旅程。不，ZenML 不會(huì)讓您成為冥想大師，但它會(huì)讓您成為管道專家。所以，拋開你那 100 行義大利麵式的程式碼吧；是時(shí)候拿出大槍了。

要繼續(xù)操作，請(qǐng)安裝 ZenML（相信我，這比向你的老闆解釋為什麼你的上一個(gè)模型壞了更容易）。 類型在這裡很重要，所以沒有自由式編碼；我們邊走邊討論這個(gè)問題。

首先要事：神聖的 pipelines.py

建立一個(gè)名為 pipelines.py 的新檔案。在這部傑作中，我們將建立我們的管道——比混亂的數(shù)據(jù)處理更乾淨(jìng)的東西。從 ZenML 的管道裝飾器開始：

from zenml import pipeline

@pipeline(name="used_car_price_predictor")
def ml_pipeline():
    # We’ll fill in these dots soon.
    ...

第 1 步：數(shù)據(jù)攝取，又稱“打開潘多拉的拉鍊”

這是我們的第一個(gè) ZenML 步驟，我們將從 .zip 檔案中讀取資料（當(dāng)然，因?yàn)橘Y料永遠(yuǎn)不會(huì)以簡單的 CSV 形式出現(xiàn)）。來認(rèn)識(shí)我們的data_ingestion_step 函數(shù)，我們?cè)谄渲袑?dǎo)入資料並將其放入一個(gè)工件中——ZenML 術(shù)語，意思是“我們將把這個(gè)混亂的事情傳遞到下一步，但現(xiàn)在在技術(shù)上很奇特。”

from zenml import step
import pandas as pd
from typing import Tuple

@step(enable_cache=False)
def data_ingestion_step(file_path: str) -> Tuple[pd.DataFrame, pd.DataFrame, pd.DataFrame]:
    # Extract zip files and read data with pd.read_csv()
    ...
    return train, test, sample  # This tuple is now an “Artifact” – no fancy unboxing needed

在 ml_pipeline 中，我們從工件中提取實(shí)際數(shù)據(jù)，如下所示：

raw_data_artifacts = data_ingestion_step(file_path="data/playground-series-s4e9.zip")
train, test, sample = raw_data_artifacts

---

簡單的步驟（不要太舒服）

第 2 步：缺失值、特徵工程和異常值檢測

這些步驟相對(duì)輕鬆，但不要驕傲。使用 ZenML 的步驟裝飾器，我們處理缺失值、設(shè)計(jì)特性並清理異常值。

@step(enable_cache=False)
def handle_missing_values_step(df: pd.DataFrame) -> pd.DataFrame:
    # Code to fill missing values
    ...

@step(enable_cache=False)
def feature_engineering_step(df: pd.DataFrame, strategy: str, features: list) -> pd.DataFrame:
    # Log-transform and other fancy tricks
    ...

@step(enable_cache=False)
def outlier_detection_step(df: pd.DataFrame, feature: str, strategy: str, method: str) -> pd.DataFrame:
    # Outlier removal or adjustment
    ...

正在籌備中：

filled_train = handle_missing_values_step(train)
engineered_train = feature_engineering_step(filled_train, strategy='log', features=['price'])
cleaned_train = outlier_detection_step(df=engineered_train, feature='price', strategy='IQR', method='remove')

第三步：資料分割

我們的數(shù)據(jù)終於乾淨(jìng)了。現(xiàn)在是時(shí)候?qū)⑵浞譃橛?xùn)練集和測試集了。您可能認(rèn)為這會(huì)是簡單的部分，但您錯(cuò)了——類型轉(zhuǎn)換是關(guān)鍵。

X_train, X_test, y_train, y_test = data_splitter(cleaned_train)

---

模型建造迷宮

第四步：建立一個(gè)不會(huì)破壞每一步的模型

這就是事情變得棘手的地方。 Sklearn 的 RegressorMixin 對(duì)於可移植性很有用，但 ZenML 工件並不總是很好用。因此，我們透過建立自訂 PipelineRegressor 類別來破解它：

from sklearn.pipeline import Pipeline
from sklearn.base import RegressorMixin

class PipelineRegressor(Pipeline, RegressorMixin):
    pass

現(xiàn)在，我們?cè)?model_building_step 中使用此類。您需要初始化 mlflow、記錄列並結(jié)束該過程：

from zenml import pipeline

@pipeline(name="used_car_price_predictor")
def ml_pipeline():
    # We’ll fill in these dots soon.
    ...

---

使用足夠的數(shù)據(jù)進(jìn)行評(píng)估，讓自己感覺很聰明

第五步：模型評(píng)估

建立模型後，我們會(huì)進(jìn)行一些預(yù)測並記錄評(píng)估指標(biāo) - 如果只是像「看，它是準(zhǔn)確的！」那麼簡單就好了！這是 ZenML 版本：

from zenml import step
import pandas as pd
from typing import Tuple

@step(enable_cache=False)
def data_ingestion_step(file_path: str) -> Tuple[pd.DataFrame, pd.DataFrame, pd.DataFrame]:
    # Extract zip files and read data with pd.read_csv()
    ...
    return train, test, sample  # This tuple is now an “Artifact” – no fancy unboxing needed

結(jié)束：我們的 ZenML 工作流程已完成

恭喜你，你成功了！現(xiàn)在，執(zhí)行 ml_pipeline() 並前往 ZenML 儀表板以查看流程的 DAG 視圖。 MLFlow UI 將顯示指標(biāo)、模型詳細(xì)資訊和使用中的功能。

有用連結(jié)

• 目標(biāo)編碼：“編碼分類變數(shù)：深入研究目標(biāo)編碼”
• 完整程式碼：GitHub - NevroHelios/Used-Car-Price-Prediction-endToEnd

以上是馴服機(jī)器學(xué)習(xí)管道野獸：ZenML 版的詳細(xì)內(nèi)容。更多資訊請(qǐng)關(guān)注PHP中文網(wǎng)其他相關(guān)文章！