国产av日韩一区二区三区精品,成人性爱视频在线观看,国产,欧美,日韩,一区,www.成色av久久成人,2222eeee成人天堂

Heim Backend-Entwicklung Python-Tutorial Die Z?hmung des Machine-Learning-Pipeline-Biests: ZenML-Edition

Die Z?hmung des Machine-Learning-Pipeline-Biests: ZenML-Edition

Nov 27, 2024 am 02:07 AM

Taming the Machine Learning Pipeline Beast: ZenML Edition

Einführung in das Zen von ZenML

Schnall dich an, denn wir begeben uns auf eine Reise vom Jupyter-Dschungel ins ZenML-Nirvana. Nein, ZenML macht Sie nicht zu einem Meditationsmeister, aber wird Sie zu einem Pipeline-Profi machen. Legen Sie also Ihre 100 Zeilen Spaghetti-Code beiseite. Es ist Zeit, die gro?en Geschütze einzusetzen.

Um mitzumachen, installieren Sie ZenML (glauben Sie mir, das ist einfacher, als Ihrem Chef zu erkl?ren, warum Ihr letztes Modell kaputt gegangen ist). Typen sind hier wichtig, also keine Freestyle-Codierung; Wir werden im Laufe der Zeit darüber reden.

Das Wichtigste zuerst: Die heiligen Pipelines.py

Erstellen Sie eine neue Datei mit dem Namen ?pipelines.py“. In diesem Meisterwerk bauen wir unsere Pipeline auf – etwas, das etwas sauberer ist als ein Wirrwarr der Datenverarbeitung. Beginnen Sie mit dem Pipeline-Dekorator von ZenML:

from zenml import pipeline

@pipeline(name="used_car_price_predictor")
def ml_pipeline():
    # We’ll fill in these dots soon.
    ...

Schritt 1: Datenaufnahme, auch bekannt als ?ffnen von Pandora’s Zip

Hier ist unser erster ZenML-Schritt, bei dem wir Daten aus einer ZIP-Datei einlesen (da Daten natürlich nie in einfachen CSVs vorliegen). Lernen Sie unsere data_ingestion_step-Funktion kennen, bei der wir die Daten importieren und in ein Artefakt werfen – ein ZenML-Begriff für ?Wir geben dieses Durcheinander an den n?chsten Schritt weiter, aber technisch ist es jetzt ausgefallen.“

from zenml import step
import pandas as pd
from typing import Tuple

@step(enable_cache=False)
def data_ingestion_step(file_path: str) -> Tuple[pd.DataFrame, pd.DataFrame, pd.DataFrame]:
    # Extract zip files and read data with pd.read_csv()
    ...
    return train, test, sample  # This tuple is now an “Artifact” – no fancy unboxing needed

In ml_pipeline extrahieren wir die tats?chlichen Daten aus dem Artefakt wie folgt:

raw_data_artifacts = data_ingestion_step(file_path="data/playground-series-s4e9.zip")
train, test, sample = raw_data_artifacts

Einfache Schritte (nicht zu bequem werden)

Schritt 2: Fehlende Werte, Feature-Engineering und Ausrei?ererkennung

Diese Schritte sind relativ schmerzlos, aber nicht übermütig. Mit dem Step Decorator von ZenML behandeln wir fehlende Werte, entwickeln Funktionen und bereinigen Ausrei?er.

@step(enable_cache=False)
def handle_missing_values_step(df: pd.DataFrame) -> pd.DataFrame:
    # Code to fill missing values
    ...

@step(enable_cache=False)
def feature_engineering_step(df: pd.DataFrame, strategy: str, features: list) -> pd.DataFrame:
    # Log-transform and other fancy tricks
    ...

@step(enable_cache=False)
def outlier_detection_step(df: pd.DataFrame, feature: str, strategy: str, method: str) -> pd.DataFrame:
    # Outlier removal or adjustment
    ...

Und in der Pipeline:

filled_train = handle_missing_values_step(train)
engineered_train = feature_engineering_step(filled_train, strategy='log', features=['price'])
cleaned_train = outlier_detection_step(df=engineered_train, feature='price', strategy='IQR', method='remove')

Schritt 3: Datenaufteilung

Unsere Daten sind endlich sauber. Jetzt ist es an der Zeit, es in Trainings- und Tests?tze aufzuteilen. Man k?nnte meinen, dass dies der einfache Teil w?re, aber Sie liegen falsch – Typ-Casting ist der Schlüssel.

X_train, X_test, y_train, y_test = data_splitter(cleaned_train)

Das Modellbau-Labyrinth

Schritt 4: Erstellen eines Modells, das nicht bei jedem Schritt kaputt geht

Hier wird es knifflig. Sklearns RegressorMixin ist für die Portabilit?t nützlich, aber ZenML-Artefakte funktionieren nicht immer gut. Also hacken wir es, indem wir eine benutzerdefinierte PipelineRegressor-Klasse erstellen:

from sklearn.pipeline import Pipeline
from sklearn.base import RegressorMixin

class PipelineRegressor(Pipeline, RegressorMixin):
    pass

Jetzt verwenden wir diese Klasse in unserem model_building_step. Sie müssen mlflow initialisieren, die Spalten protokollieren und den Vorgang abschlie?en:

from zenml import pipeline

@pipeline(name="used_car_price_predictor")
def ml_pipeline():
    # We’ll fill in these dots soon.
    ...

Auswerten mit gerade genug Daten, um sich schlau zu fühlen

Schritt 5: Modellbewertung

Mit dem erstellten Modell treffen wir einige Vorhersagen und protokollieren Bewertungsmetriken – wenn es nur so einfach w?re wie ?Schau, es ist genau!“ Hier ist die ZenML-Version davon:

from zenml import step
import pandas as pd
from typing import Tuple

@step(enable_cache=False)
def data_ingestion_step(file_path: str) -> Tuple[pd.DataFrame, pd.DataFrame, pd.DataFrame]:
    # Extract zip files and read data with pd.read_csv()
    ...
    return train, test, sample  # This tuple is now an “Artifact” – no fancy unboxing needed

Das Ende: Auch bekannt als: Unser ZenML-Workflow ist abgeschlossen

Herzlichen Glückwunsch, du hast es geschafft! Führen Sie nun ml_pipeline() aus und gehen Sie zum ZenML-Dashboard, um eine DAG-Ansicht des Prozesses zu erhalten. Die MLFlow-Benutzeroberfl?che zeigt Metriken, Modelldetails und verwendete Funktionen an.

Nützliche Links

  • Zielkodierung: ?Kategoriale Variablen kodieren: Ein tiefer Einblick in die Zielkodierung“
  • Vollst?ndiger Code: GitHub – NevroHelios/Used-Car-Price-Prediction-endToEnd

Das obige ist der detaillierte Inhalt vonDie Z?hmung des Machine-Learning-Pipeline-Biests: ZenML-Edition. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!

Erkl?rung dieser Website
Der Inhalt dieses Artikels wird freiwillig von Internetnutzern beigesteuert und das Urheberrecht liegt beim ursprünglichen Autor. Diese Website übernimmt keine entsprechende rechtliche Verantwortung. Wenn Sie Inhalte finden, bei denen der Verdacht eines Plagiats oder einer Rechtsverletzung besteht, wenden Sie sich bitte an admin@php.cn

Hei?e KI -Werkzeuge

Undress AI Tool

Undress AI Tool

Ausziehbilder kostenlos

Undresser.AI Undress

Undresser.AI Undress

KI-gestützte App zum Erstellen realistischer Aktfotos

AI Clothes Remover

AI Clothes Remover

Online-KI-Tool zum Entfernen von Kleidung aus Fotos.

Clothoff.io

Clothoff.io

KI-Kleiderentferner

Video Face Swap

Video Face Swap

Tauschen Sie Gesichter in jedem Video mühelos mit unserem v?llig kostenlosen KI-Gesichtstausch-Tool aus!

Hei?e Werkzeuge

Notepad++7.3.1

Notepad++7.3.1

Einfach zu bedienender und kostenloser Code-Editor

SublimeText3 chinesische Version

SublimeText3 chinesische Version

Chinesische Version, sehr einfach zu bedienen

Senden Sie Studio 13.0.1

Senden Sie Studio 13.0.1

Leistungsstarke integrierte PHP-Entwicklungsumgebung

Dreamweaver CS6

Dreamweaver CS6

Visuelle Webentwicklungstools

SublimeText3 Mac-Version

SublimeText3 Mac-Version

Codebearbeitungssoftware auf Gottesniveau (SublimeText3)

Hei?e Themen

PHP-Tutorial
1502
276
Wie man mit der API -Authentifizierung in Python umgeht Wie man mit der API -Authentifizierung in Python umgeht Jul 13, 2025 am 02:22 AM

Der Schlüssel zum Umgang mit der API -Authentifizierung besteht darin, die Authentifizierungsmethode korrekt zu verstehen und zu verwenden. 1. Apikey ist die einfachste Authentifizierungsmethode, die normalerweise in den Anforderungsheader- oder URL -Parametern platziert ist. 2. BasicAuth verwendet Benutzername und Kennwort für die Basis64 -Codierungsübertragung, die für interne Systeme geeignet ist. 3.. OAuth2 muss das Token zuerst über Client_id und Client_secret erhalten und dann das BearerToken in den Anforderungsheader bringen. V. Kurz gesagt, die Auswahl der entsprechenden Methode gem?? dem Dokument und das sichere Speichern der Schlüsselinformationen ist der Schlüssel.

Erkl?ren Sie Python -Behauptungen. Erkl?ren Sie Python -Behauptungen. Jul 07, 2025 am 12:14 AM

Assert ist ein Inssertion -Tool, das in Python zum Debuggen verwendet wird, und wirft einen Assertionerror aus, wenn der Zustand nicht erfüllt ist. Die Syntax ist eine geltende Bedingung sowie optionale Fehlerinformationen, die für die interne Logiküberprüfung geeignet sind, z. B. Parameterprüfung, Statusbest?tigung usw., k?nnen jedoch nicht für die Sicherheits- oder Benutzereingabeprüfung verwendet werden und sollten in Verbindung mit klaren Eingabeaufforderungen verwendet werden. Es ist nur zum Hilfsdebuggen in der Entwicklungsphase verfügbar, anstatt die Ausnahmebehandlung zu ersetzen.

Wie man über zwei Listen gleichzeitig python iteriert Wie man über zwei Listen gleichzeitig python iteriert Jul 09, 2025 am 01:13 AM

Eine gemeinsame Methode, um zwei Listen gleichzeitig in Python zu durchqueren, besteht darin, die Funktion ZIP () zu verwenden, die mehrere Listen in der Reihenfolge und die kürzeste ist. Wenn die Listenl?nge inkonsistent ist, k?nnen Sie iTertools.zip_longest () verwenden, um die l?ngste zu sein und die fehlenden Werte auszufüllen. In Kombination mit Enumerate () k?nnen Sie den Index gleichzeitig erhalten. 1.zip () ist pr?gnant und praktisch, geeignet für die Iteration gepaarte Daten; 2.zip_longest () kann den Standardwert beim Umgang mit inkonsistenten L?ngen einfüllen. 3.Enumerate (ZIP ()) kann w?hrend des Durchlaufens Indizes erhalten und die Bedürfnisse einer Vielzahl komplexer Szenarien erfüllen.

Was sind Python -Typ -Hinweise? Was sind Python -Typ -Hinweise? Jul 07, 2025 am 02:55 AM

TypHintsinpythonsolvetheProblemofAmbiguityAndpotentialbugsindynamicalpedCodeByAllowingDevelopstospecifyexpectypes

Was sind Python -Iteratoren? Was sind Python -Iteratoren? Jul 08, 2025 am 02:56 AM

INPYTHON, ITERATORATORSAROBJECTSHATALWOULOUPING ThroughCollections Byimplementing__iter __ () und __Next __ (). 1) IteratorsworkviATheiterProtocol, verwendete __iter __ () toreturn thiteratorand__Next __ () torethentexteemtemuntemuntilstoperationSaised.2) und

Python Fastapi Tutorial Python Fastapi Tutorial Jul 12, 2025 am 02:42 AM

Um moderne und effiziente APIs mit Python zu schaffen, wird Fastapi empfohlen. Es basiert auf Eingabeaufforderungen an Standardpython -Typ und kann automatisch Dokumente mit ausgezeichneter Leistung generieren. Nach der Installation von Fastapi und ASGI Server Uvicorn k?nnen Sie Schnittstellencode schreiben. Durch das Definieren von Routen, das Schreiben von Verarbeitungsfunktionen und die Rückgabe von Daten kann schnell APIs erstellt werden. Fastapi unterstützt eine Vielzahl von HTTP -Methoden und bietet automatisch generierte Swaggerui- und Redoc -Dokumentationssysteme. URL -Parameter k?nnen durch Pfaddefinition erfasst werden, w?hrend Abfrageparameter durch Einstellen von Standardwerten für Funktionsparameter implementiert werden k?nnen. Der rationale Einsatz pydantischer Modelle kann dazu beitragen, die Entwicklungseffizienz und Genauigkeit zu verbessern.

Wie man eine API mit Python testet Wie man eine API mit Python testet Jul 12, 2025 am 02:47 AM

Um die API zu testen, müssen Sie Pythons Anfragebibliothek verwenden. In den Schritten werden die Bibliothek installiert, Anfragen gesendet, Antworten überprüfen, Zeitüberschreitungen festlegen und erneut werden. Installieren Sie zun?chst die Bibliothek über PipinstallRequests. Verwenden Sie dann Requests.get () oder Requests.Post () und andere Methoden zum Senden von GET- oder Post -Anfragen. überprüfen Sie dann die Antwort. Fügen Sie schlie?lich Zeitüberschreitungsparameter hinzu, um die Zeitüberschreitungszeit festzulegen, und kombinieren Sie die Wiederholungsbibliothek, um eine automatische Wiederholung zu erreichen, um die Stabilit?t zu verbessern.

Python variabler Umfang in Funktionen Python variabler Umfang in Funktionen Jul 12, 2025 am 02:49 AM

In Python sind Variablen, die in einer Funktion definiert sind, lokale Variablen und sind nur innerhalb der Funktion gültig. Extern definiert sind globale Variablen, die überall gelesen werden k?nnen. 1. lokale Variablen werden zerst?rt, wenn die Funktion ausgeführt wird. 2. Die Funktion kann auf globale Variablen zugreifen, kann jedoch nicht direkt ge?ndert werden, sodass das globale Schlüsselwort erforderlich ist. 3. Wenn Sie die ?u?eren Funktionsvariablen in verschachtelten Funktionen ?ndern m?chten, müssen Sie das nichtlokale Schlüsselwort verwenden. 4.. Variablen mit demselben Namen beeinflussen sich in verschiedenen Bereichen nicht gegenseitig; 5. Global muss bei der Modifizierung globaler Variablen deklariert werden, ansonsten werden ungebundener Fehler aufgeworfen. Das Verst?ndnis dieser Regeln hilft bei der Vermeidung von Fehler und zum Schreiben zuverl?ssigerer Funktionen.

See all articles