


Die Z?hmung des Machine-Learning-Pipeline-Biests: ZenML-Edition
Nov 27, 2024 am 02:07 AMEinführung in das Zen von ZenML
Schnall dich an, denn wir begeben uns auf eine Reise vom Jupyter-Dschungel ins ZenML-Nirvana. Nein, ZenML macht Sie nicht zu einem Meditationsmeister, aber wird Sie zu einem Pipeline-Profi machen. Legen Sie also Ihre 100 Zeilen Spaghetti-Code beiseite. Es ist Zeit, die gro?en Geschütze einzusetzen.
Um mitzumachen, installieren Sie ZenML (glauben Sie mir, das ist einfacher, als Ihrem Chef zu erkl?ren, warum Ihr letztes Modell kaputt gegangen ist). Typen sind hier wichtig, also keine Freestyle-Codierung; Wir werden im Laufe der Zeit darüber reden.
Das Wichtigste zuerst: Die heiligen Pipelines.py
Erstellen Sie eine neue Datei mit dem Namen ?pipelines.py“. In diesem Meisterwerk bauen wir unsere Pipeline auf – etwas, das etwas sauberer ist als ein Wirrwarr der Datenverarbeitung. Beginnen Sie mit dem Pipeline-Dekorator von ZenML:
from zenml import pipeline @pipeline(name="used_car_price_predictor") def ml_pipeline(): # We’ll fill in these dots soon. ...
Schritt 1: Datenaufnahme, auch bekannt als ?ffnen von Pandora’s Zip
Hier ist unser erster ZenML-Schritt, bei dem wir Daten aus einer ZIP-Datei einlesen (da Daten natürlich nie in einfachen CSVs vorliegen). Lernen Sie unsere data_ingestion_step-Funktion kennen, bei der wir die Daten importieren und in ein Artefakt werfen – ein ZenML-Begriff für ?Wir geben dieses Durcheinander an den n?chsten Schritt weiter, aber technisch ist es jetzt ausgefallen.“
from zenml import step import pandas as pd from typing import Tuple @step(enable_cache=False) def data_ingestion_step(file_path: str) -> Tuple[pd.DataFrame, pd.DataFrame, pd.DataFrame]: # Extract zip files and read data with pd.read_csv() ... return train, test, sample # This tuple is now an “Artifact” – no fancy unboxing needed
In ml_pipeline extrahieren wir die tats?chlichen Daten aus dem Artefakt wie folgt:
raw_data_artifacts = data_ingestion_step(file_path="data/playground-series-s4e9.zip") train, test, sample = raw_data_artifacts
Einfache Schritte (nicht zu bequem werden)
Schritt 2: Fehlende Werte, Feature-Engineering und Ausrei?ererkennung
Diese Schritte sind relativ schmerzlos, aber nicht übermütig. Mit dem Step Decorator von ZenML behandeln wir fehlende Werte, entwickeln Funktionen und bereinigen Ausrei?er.
@step(enable_cache=False) def handle_missing_values_step(df: pd.DataFrame) -> pd.DataFrame: # Code to fill missing values ... @step(enable_cache=False) def feature_engineering_step(df: pd.DataFrame, strategy: str, features: list) -> pd.DataFrame: # Log-transform and other fancy tricks ... @step(enable_cache=False) def outlier_detection_step(df: pd.DataFrame, feature: str, strategy: str, method: str) -> pd.DataFrame: # Outlier removal or adjustment ...
Und in der Pipeline:
filled_train = handle_missing_values_step(train) engineered_train = feature_engineering_step(filled_train, strategy='log', features=['price']) cleaned_train = outlier_detection_step(df=engineered_train, feature='price', strategy='IQR', method='remove')
Schritt 3: Datenaufteilung
Unsere Daten sind endlich sauber. Jetzt ist es an der Zeit, es in Trainings- und Tests?tze aufzuteilen. Man k?nnte meinen, dass dies der einfache Teil w?re, aber Sie liegen falsch – Typ-Casting ist der Schlüssel.
X_train, X_test, y_train, y_test = data_splitter(cleaned_train)
Das Modellbau-Labyrinth
Schritt 4: Erstellen eines Modells, das nicht bei jedem Schritt kaputt geht
Hier wird es knifflig. Sklearns RegressorMixin ist für die Portabilit?t nützlich, aber ZenML-Artefakte funktionieren nicht immer gut. Also hacken wir es, indem wir eine benutzerdefinierte PipelineRegressor-Klasse erstellen:
from sklearn.pipeline import Pipeline from sklearn.base import RegressorMixin class PipelineRegressor(Pipeline, RegressorMixin): pass
Jetzt verwenden wir diese Klasse in unserem model_building_step. Sie müssen mlflow initialisieren, die Spalten protokollieren und den Vorgang abschlie?en:
from zenml import pipeline @pipeline(name="used_car_price_predictor") def ml_pipeline(): # We’ll fill in these dots soon. ...
Auswerten mit gerade genug Daten, um sich schlau zu fühlen
Schritt 5: Modellbewertung
Mit dem erstellten Modell treffen wir einige Vorhersagen und protokollieren Bewertungsmetriken – wenn es nur so einfach w?re wie ?Schau, es ist genau!“ Hier ist die ZenML-Version davon:
from zenml import step import pandas as pd from typing import Tuple @step(enable_cache=False) def data_ingestion_step(file_path: str) -> Tuple[pd.DataFrame, pd.DataFrame, pd.DataFrame]: # Extract zip files and read data with pd.read_csv() ... return train, test, sample # This tuple is now an “Artifact” – no fancy unboxing needed
Das Ende: Auch bekannt als: Unser ZenML-Workflow ist abgeschlossen
Herzlichen Glückwunsch, du hast es geschafft! Führen Sie nun ml_pipeline() aus und gehen Sie zum ZenML-Dashboard, um eine DAG-Ansicht des Prozesses zu erhalten. Die MLFlow-Benutzeroberfl?che zeigt Metriken, Modelldetails und verwendete Funktionen an.
Nützliche Links
- Zielkodierung: ?Kategoriale Variablen kodieren: Ein tiefer Einblick in die Zielkodierung“
- Vollst?ndiger Code: GitHub – NevroHelios/Used-Car-Price-Prediction-endToEnd
Das obige ist der detaillierte Inhalt vonDie Z?hmung des Machine-Learning-Pipeline-Biests: ZenML-Edition. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!

Hei?e KI -Werkzeuge

Undress AI Tool
Ausziehbilder kostenlos

Undresser.AI Undress
KI-gestützte App zum Erstellen realistischer Aktfotos

AI Clothes Remover
Online-KI-Tool zum Entfernen von Kleidung aus Fotos.

Clothoff.io
KI-Kleiderentferner

Video Face Swap
Tauschen Sie Gesichter in jedem Video mühelos mit unserem v?llig kostenlosen KI-Gesichtstausch-Tool aus!

Hei?er Artikel

Hei?e Werkzeuge

Notepad++7.3.1
Einfach zu bedienender und kostenloser Code-Editor

SublimeText3 chinesische Version
Chinesische Version, sehr einfach zu bedienen

Senden Sie Studio 13.0.1
Leistungsstarke integrierte PHP-Entwicklungsumgebung

Dreamweaver CS6
Visuelle Webentwicklungstools

SublimeText3 Mac-Version
Codebearbeitungssoftware auf Gottesniveau (SublimeText3)

Der Schlüssel zum Umgang mit der API -Authentifizierung besteht darin, die Authentifizierungsmethode korrekt zu verstehen und zu verwenden. 1. Apikey ist die einfachste Authentifizierungsmethode, die normalerweise in den Anforderungsheader- oder URL -Parametern platziert ist. 2. BasicAuth verwendet Benutzername und Kennwort für die Basis64 -Codierungsübertragung, die für interne Systeme geeignet ist. 3.. OAuth2 muss das Token zuerst über Client_id und Client_secret erhalten und dann das BearerToken in den Anforderungsheader bringen. V. Kurz gesagt, die Auswahl der entsprechenden Methode gem?? dem Dokument und das sichere Speichern der Schlüsselinformationen ist der Schlüssel.

Assert ist ein Inssertion -Tool, das in Python zum Debuggen verwendet wird, und wirft einen Assertionerror aus, wenn der Zustand nicht erfüllt ist. Die Syntax ist eine geltende Bedingung sowie optionale Fehlerinformationen, die für die interne Logiküberprüfung geeignet sind, z. B. Parameterprüfung, Statusbest?tigung usw., k?nnen jedoch nicht für die Sicherheits- oder Benutzereingabeprüfung verwendet werden und sollten in Verbindung mit klaren Eingabeaufforderungen verwendet werden. Es ist nur zum Hilfsdebuggen in der Entwicklungsphase verfügbar, anstatt die Ausnahmebehandlung zu ersetzen.

Eine gemeinsame Methode, um zwei Listen gleichzeitig in Python zu durchqueren, besteht darin, die Funktion ZIP () zu verwenden, die mehrere Listen in der Reihenfolge und die kürzeste ist. Wenn die Listenl?nge inkonsistent ist, k?nnen Sie iTertools.zip_longest () verwenden, um die l?ngste zu sein und die fehlenden Werte auszufüllen. In Kombination mit Enumerate () k?nnen Sie den Index gleichzeitig erhalten. 1.zip () ist pr?gnant und praktisch, geeignet für die Iteration gepaarte Daten; 2.zip_longest () kann den Standardwert beim Umgang mit inkonsistenten L?ngen einfüllen. 3.Enumerate (ZIP ()) kann w?hrend des Durchlaufens Indizes erhalten und die Bedürfnisse einer Vielzahl komplexer Szenarien erfüllen.

TypHintsinpythonsolvetheProblemofAmbiguityAndpotentialbugsindynamicalpedCodeByAllowingDevelopstospecifyexpectypes

INPYTHON, ITERATORATORSAROBJECTSHATALWOULOUPING ThroughCollections Byimplementing__iter __ () und __Next __ (). 1) IteratorsworkviATheiterProtocol, verwendete __iter __ () toreturn thiteratorand__Next __ () torethentexteemtemuntemuntilstoperationSaised.2) und

Um moderne und effiziente APIs mit Python zu schaffen, wird Fastapi empfohlen. Es basiert auf Eingabeaufforderungen an Standardpython -Typ und kann automatisch Dokumente mit ausgezeichneter Leistung generieren. Nach der Installation von Fastapi und ASGI Server Uvicorn k?nnen Sie Schnittstellencode schreiben. Durch das Definieren von Routen, das Schreiben von Verarbeitungsfunktionen und die Rückgabe von Daten kann schnell APIs erstellt werden. Fastapi unterstützt eine Vielzahl von HTTP -Methoden und bietet automatisch generierte Swaggerui- und Redoc -Dokumentationssysteme. URL -Parameter k?nnen durch Pfaddefinition erfasst werden, w?hrend Abfrageparameter durch Einstellen von Standardwerten für Funktionsparameter implementiert werden k?nnen. Der rationale Einsatz pydantischer Modelle kann dazu beitragen, die Entwicklungseffizienz und Genauigkeit zu verbessern.

Um die API zu testen, müssen Sie Pythons Anfragebibliothek verwenden. In den Schritten werden die Bibliothek installiert, Anfragen gesendet, Antworten überprüfen, Zeitüberschreitungen festlegen und erneut werden. Installieren Sie zun?chst die Bibliothek über PipinstallRequests. Verwenden Sie dann Requests.get () oder Requests.Post () und andere Methoden zum Senden von GET- oder Post -Anfragen. überprüfen Sie dann die Antwort. Fügen Sie schlie?lich Zeitüberschreitungsparameter hinzu, um die Zeitüberschreitungszeit festzulegen, und kombinieren Sie die Wiederholungsbibliothek, um eine automatische Wiederholung zu erreichen, um die Stabilit?t zu verbessern.

In Python sind Variablen, die in einer Funktion definiert sind, lokale Variablen und sind nur innerhalb der Funktion gültig. Extern definiert sind globale Variablen, die überall gelesen werden k?nnen. 1. lokale Variablen werden zerst?rt, wenn die Funktion ausgeführt wird. 2. Die Funktion kann auf globale Variablen zugreifen, kann jedoch nicht direkt ge?ndert werden, sodass das globale Schlüsselwort erforderlich ist. 3. Wenn Sie die ?u?eren Funktionsvariablen in verschachtelten Funktionen ?ndern m?chten, müssen Sie das nichtlokale Schlüsselwort verwenden. 4.. Variablen mit demselben Namen beeinflussen sich in verschiedenen Bereichen nicht gegenseitig; 5. Global muss bei der Modifizierung globaler Variablen deklariert werden, ansonsten werden ungebundener Fehler aufgeworfen. Das Verst?ndnis dieser Regeln hilft bei der Vermeidung von Fehler und zum Schreiben zuverl?ssigerer Funktionen.
