In diesem Artikel tauchen wir in die Konzepte des maschinellen Lernens und der Erkl?rung und Interpretierbarkeit von künstlichen Intelligenzmodellen ein. Wir untersuchen, warum das Verst?ndnis, wie Modelle Vorhersagen machen, entscheidend ist, insbesondere da diese Technologien in kritischen Bereichen wie Gesundheitswesen, Finanzen und Rechtssystemen verwendet werden. Durch Tools wie Lime und Shap zeigen wir, wie wir Einblicke in den Entscheidungsprozess eines Modells erhalten und komplexe Modelle transparenter machen k?nnen. Der Artikel unterstreicht die Unterschiede zwischen Erkl?rung und Interpretierbarkeit und erkl?rt, wie diese Konzepte dazu beitragen, Vertrauen in KI -Systeme aufzubauen, und gleichzeitig ihre Herausforderungen und Einschr?nkungen anzugehen.

Lernziele

• Verstehen Sie den Unterschied zwischen Modellerkl?rung und Interpretierbarkeit des maschinellen Lernens und AI.
• Erfahren Sie, wie Kalk- und Gestalt-Tools die Modelltransparenz und Entscheidungsfindung verbessern.
• Erforschen Sie die Bedeutung von Erkl?rung und Interpretierbarkeit beim Aufbau von Vertrauen in AI -Systeme.
• Verstehen Sie, wie komplexe Modelle für ein besseres Verst?ndnis vereinfacht werden k?nnen, ohne die Leistung zu beeintr?chtigen.
• Identifizieren Sie die Herausforderungen und Einschr?nkungen, die mit der Erkl?rung und Interpretierbarkeit und Interpretierbarkeit des KI -Modells verbunden sind.

Inhaltsverzeichnis

• Was bedeuten Erkl?rung und Interpretierbarkeit und warum sind sie für ML und AI? St?rte Daten und wie es erstellt wird? Erkl?rungen? Erkl?rung
• Schlussfolgerung
• H?ufig gestellte Fragen
Was bedeuten Erkl?rung und Interpretierbarkeit und warum sind sie für ML und AI?
• unerl?sslich
Erkl?rung ist ein Prozess der Beantwortung des Warum hinter der Entscheidungsfindung des Modells. Zum Beispiel k?nnen wir sagen, dass ein ML- und KI -Modell erkl?rt werden kann, wenn es eine Erkl?rung und Begründung für die Entscheidungen des Modells liefern kann, indem er erkl?rt, wie das Modell aufgeteilt wurde, Aparticul?rknoten im Baum, und die Logik von - sie wurde aufgeteilt.

• Andererseits ist Interpretierbarkeit ein Prozess, der an der übersetzung der Erkl?rungen und Entscheidungen des Modells in nicht-technische Benutzer beteiligt ist. Es hilft Datenwissenschaftlern, Dinge wie Gewichte und Koeffizienten zu verstehen, die zu Modellvorhersagen beitragen, und hilft nicht-technischen Nutzern zu verstehen, wie das Modell die Entscheidungen getroffen hat und welche Faktoren das Modell für diese Vorhersagen von Bedeutung gemacht hat.

  Wenn die KI- und ML -Modelle beispielsweise in LLM- und Deep -Learning -Modellen mit Hunderten von Modellschichten und Tausenden bis Milliarden Parametern immer komplexer werden, wird es für uns ?u?erst schwierig, die vom Modell getroffenen Gesamt- und lokalen Beobachtungsentscheidungen des Modells zu verstehen. Die Erkl?rungsf?higkeit der Modell liefert Erkl?rungen mit Erkenntnissen und Argumentation für die inneren Funktionsweise des Modells. Daher ist es für Datenwissenschaftler und KI -Experten unerl?sslich, Erkl?rungstechniken in ihren Modellbildungsprozess einzubeziehen, und dies würde auch die Interpretierbarkeit des Modells verbessern.

  Vorteile der Verbesserung der Erkl?rung und Interpretabilit?t des Modells

  unten untersuchen wir die Vorteile der Erkl?rung und Interpretabilit?t des Modells:

  verbessertes Vertrauen

  Vertrauen ist ein Wort mit breiten Bedeutungen. Es ist das Vertrauen in die Zuverl?ssigkeit, Ehrlichkeit oder Integrit?t von jemandem oder etwas.

  Vertrauen ist sowohl mit Menschen als auch mit nicht lebenden Dingen verbunden. Wenn Sie sich beispielsweise auf die Entscheidungsfindung eines Freundes verlassen oder sich auf ein vollst?ndig automatisiertes Fahrwagen verlassen, um Sie von einem Ort zum anderen zu transportieren. Mangelnde Transparenz und Kommunikation k?nnen auch zu einem Erodieren von Vertrauen führen. Au?erdem wird Vertrauen im Laufe der Zeit durch kleine Schritte und wiederholte positive Interaktionen gebaut. Wenn wir konsequente positive Interaktionen mit einer Person oder Sache haben, st?rkt dies unseren Glauben an ihre Zuverl?ssigkeit, ihre positiven Absichten und ihre Harmlosigkeit. Daher wird Vertrauen im Laufe der Zeit durch unsere Erfahrungen aufgebaut.

  Und es spielt eine wichtige Rolle für uns, sich auf ML & AI -Modelle und ihre Vorhersagen zu verlassen.

  verbesserte Transparenz und Zusammenarbeit

  Wenn wir die inneren Funktionsweise eines Maschinen- oder Deep-Learning-Modells, dessen Entscheidungsprozess und der Intuition hinter den Regeln und den getroffenen Entscheidungen erkl?ren k?nnen, k?nnen wir Vertrauen und Rechenschaftspflicht festlegen. Es hilft auch, die Zusammenarbeit und das Engagement mit den Stakeholdern und Partnern zu verbessern.

  Verbesserte Fehlerbehebung

  Wenn etwas bricht oder nicht wie erwartet funktioniert, müssen wir die Quelle des Problems finden. Dazu ist Transparenz in das Innenleben eines Systems oder Modells von entscheidender Bedeutung. Es hilft, Probleme zu diagnostizieren und wirksame Ma?nahmen zu ergreifen, um sie zu beheben. Betrachten Sie beispielsweise ein Modell, das vorhersagt, dass diese Person ?B“ nicht für ein Darlehen genehmigt werden sollte. Um dies zu verstehen, müssen wir die Vorhersagen und Entscheidungen des Modells untersuchen. Dies beinhaltet die Identifizierung der Faktoren, die das Modell für die Beobachtungen von "b" priorisiert hat.

  In solchen Szenarien würde die Modellerkl?rbarkeit der Modell sehr nützlich sein, um die Vorhersagen und die Entscheidungsfindung des Modells im Zusammenhang mit der Person ?B“ zu betrachten. Auch wir k?nnen schnell einige Verzerrungen entdecken, die Modellentscheidungen beeinflussen und beeinflussen k?nnten.

  Die Erkl?rung mit den ML- und KI -Modellen und die Verwendung dieser Erkl?rung werden daher die Fehlerbehebung, überwachung und kontinuierliche Verbesserung effizient machen und dazu beitragen, Vorurteile und Fehler zu identifizieren und zu mildern, und Fehler zur Verbesserung der Modellleistung.
  beliebte Unternehmenswendungsf?lle für ML- und KI -Erkl?rung und Interpretierbarkeit
  Wir interessieren uns immer für die Gesamtvorhersagef?higkeit des Modells, datengesteuerte fundierte Entscheidungen zu beeinflussen und zu treffen. Es gibt zahlreiche Anwendungen für die ML- und KI -Modelle in verschiedenen Branchen wie Banken und Finanzen, Einzelhandel, Gesundheitswesen und Internet. Gewerbe, Versicherung, Automobile, Fertigung, Bildung, Telekommunikation, Reisen, Raum usw.
  folgende Beispiele:
  Banking and Finance
  Für die Bank- und Finanzbranche ist es wichtig, den richtigen Kunden für die Gew?hrung von Krediten oder die Ausgabe von Kreditkarten zu identifizieren. Sie sind auch daran interessiert, betrügerische Transaktionen zu verhindern. Auch diese Branche ist stark reguliert.
  Um diese internen Prozesse wie Antragsgenehmigungen und Betrugsüberwachung effizient zu gestalten, nutzen die Banken- und Finanzierungs -ML- und KI -Modellierung, um diese wichtigen Entscheidungen zu unterstützen. Sie verwenden ML- und KI -Modelle, um Ergebnisse auf der Grundlage bestimmter gegebener und bekannter Faktoren vorherzusagen.
  im Allgemeinen überwachen die meisten dieser Institutionen kontinuierlich Transaktionen und Daten, um Muster, Trends und Anomalien zu erkennen. Es wird wichtig, dass sie die F?higkeit haben, die Vorhersagen des ML- und KI -Modells für jede Anwendung zu verstehen, die sie verarbeiten. Sie sind daran interessiert, die Argumentation hinter den Modellvorhersagen und die Faktoren zu verstehen, die eine wichtige Rolle bei der Vorhersage spielten.

  Nehmen wir nun an, ein ML -Modell hat vorausgesagt, dass Kreditantr?ge für einige ihrer Kunden mit hohen Kredit -Scores abgelehnt werden, und dies scheint m?glicherweise nicht üblich. In solchen Szenarien k?nnen sie Modellerkl?rungen für die Risikoanalyse nutzen und tiefere Einblicke in das Modell erhalten, warum das Modell beschlossen hat, die Kundenanwendung abzulehnen und welche der Kundenfaktoren eine wichtige Rolle bei dieser Entscheidungsfindung spielten. Diese Entdeckung k?nnte ihnen helfen, Probleme, Schwachstellen und neue Vorurteile bei ihrer Modellentscheidung zu erkennen, zu untersuchen und zu mildern und die Modellleistung zu verbessern.

  Gesundheitswesen

  Heutzutage in der Gesundheitsbranche werden ML/AI -Modelle genutzt, um die Ergebnisse der Patientengesundheit auf der Grundlage verschiedener Faktoren für Krankengeschichte, Labors, Lebensstil, Genetik usw. vorherzusagen.

  Nehmen wir an, eine medizinische Einrichtung verwendet ML/AI -Modelle, um vorherzusagen, ob der Patient unter ihrer Behandlung eine hohe Wahrscheinlichkeit von Krebs hat, nicht. Da diese Probleme das Leben einer Person beinhalten, wird erwartet, dass die KI/ML -Modelle die Ergebnisse mit einem sehr hohen Ma? an Genauigkeit vorhersagen.

  In solchen Szenarien wird die F?higkeit, tiefer in die Vorhersagen eines Modells zu schauen, die verwendeten Entscheidungsregeln und das Verst?ndnis der Faktoren, die die Vorhersagen beeinflussen, wichtig. Das medizinische professionelle Team würde seine Due Diligence durchführen und erwarten, dass Transparenz aus dem ML/AI -Modell klare und detaillierte Erkl?rungen im Zusammenhang mit den vorhergesagten Patientenergebnissen und den beitragenden Faktoren liefert. Hier wird die Erkl?rbarkeit des ML/AI -Modells wesentlich.

  Diese Befragung kann manchmal dazu beitragen, einige verborgene Schwachstellen und Basis bei der Modellentscheidung zu ermitteln, und kann angegangen werden, um zukünftige Modellvorhersagen zu verbessern.

  autonome Fahrzeuge

  Autonome Fahrzeuge sind selbstoperating Fahrzeuge wie Autos, Güterwagen, Züge, Flugzeuge, Schiffe, Raumschiffe usw. In solchen Fahrzeugen spielen AI- und ML-Modelle eine entscheidende Rolle, um es zu erm?glichen, diese Fahrzeuge ohne menschliche Intervention unabh?ngig zu betreiben. Diese Modelle werden mit maschinellem Lernen und Computer Vision -Modellen erstellt. Sie erm?glichen es autonomen Autos/Fahrzeuge, die Informationen in ihrer Umgebung wahrzunehmen, fundierte Entscheidungen zu treffen und sie sicher zu navigieren.

  Bei autonomen Fahrzeugen, die für den Betrieb auf Stra?en konzipiert sind, bedeutet Navigation das Fahrzeug in Echtzeit autonom, d. H. Ohne menschliche Intervention durch wichtige Aufgaben wie das Erkennen und Erkennen von Objekten, Erkennen von Verkehrssignalen und Anzeichen, Vorhersage des Objektverhaltens, die Aufrechterhaltung von Lanes und Planung von Lanes und Planung von Wegen, St?rungen, St?rungen, St?rungen, St?rungen, St?rungen, St?rungen, usw., usw., usw., usw., usw., usw., usw. usw., usw. usw. usw. usw. usw. usw., usw., usw., usw. usw. usw. usw. usw. usw. usw. usw. usw. usw. zu usw. usw. usw. usw. usw. usw.

  Da autonome Stra?enfahrzeuge die Sicherheit des Fahrers, der Passagiere, des ?ffentlichen und ?ffentlichen Eigentums betreffen, wird erwartet, dass sie fehlerfrei arbeiten und sich an Vorschriften und Compliance halten, um Vertrauen, Akzeptanz und Adoption ?ffentlich zu erlangen.

  Es ist daher sehr wichtig, Vertrauen in die KI- und ML -Modelle aufzubauen, auf die sich diese Fahrzeuge vollst?ndig für Entscheidungen verlassen. In autonomen Fahrzeugen wird die Erkl?rung der KI und ML auch als erkl?rbare KI (XAI) bezeichnet. Erkl?rbare KI kann verwendet werden, um die Benutzerinteraktion zu verbessern, indem sie ihnen Feedback zu KI-Aktionen und -entscheidungen in Echtzeit geben. Diese Tools k?nnen auch als Tools dienen, um KI-Entscheidungen und -probleme zu untersuchen, versteckte Verzerrungen und Schwachstellen zu identifizieren und zu beseitigen und die autonomen Fahrzeugmodelle zu verbessern.

  .

  Einzelhandel

  Im Einzelhandel werden KI- und ML -Modelle verwendet, um verschiedene Entscheidungen wie Produktverk?ufe, Inventarmanagement, Marketing, Kundenunterstützung und -erfahrung zu leiten. Erkl?ren Sie die Erkl?rung des Verst?ndnisses der Modellvorhersagen und Erleichterung des Verst?ndnisses der Modellvorhersagen, und eine tiefere Untersuchung von Problemen im Zusammenhang mit Vorhersagen wie Vorhersagen wie Arten von Produkten, die keine Produkte für den Verkauf von Produkten erstellen. Oder welche Marketingkampagnen sich positiv auf den Umsatz usw. auswirken

  Aus den oben genannten Gesch?ftsanlagen k?nnen wir klar erkennen, dass es für die ML- und KI -Modelle sehr wichtig ist, klare und verwendbare Erkl?rungen für das Gesamtmodell sowie für die individuelle Vorhersage zu haben, um Gesch?ftsentscheidungen zu leiten und Gesch?ftsbetriebe effizient zu machen.

  Einige der komplexen Modelle sind mit integrierter Erkl?rung ausgestattet, w?hrend einige Modelle dafür auf externen Werkzeugen beruhen. Heute sind mehrere modellagnostische Tools verfügbar, mit denen wir die Erkl?rungsf?higkeit des Modells hinzufügen k?nnen. Wir werden tiefer in zwei der verfügbaren Tools schauen.

  Tools zur Verbesserung der Erkl?rung und Interpretabilit?t von ML und KI -Modell

  Jedes Tool, das Informationen zum Modellentscheidungsprozess und die Merkmalsbeitr?ge in Modellvorhersagen enth?lt, ist sehr hilfreich. Erkl?rungen k?nnen durch Visualisierungen intuitiver gemacht werden.
  In diesem Artikel werden wir zwei der popul?r verwendeten externen Tools tiefer ansehen, um die Erkl?rung und Interpretierbarkeit von ML- und KI -Modellen hinzuzufügen:
  • Kalk (lokale interpretierbare Modell-Agnostische Erkl?rungen)
  • SHOP (formweise additive Erkl?rungen)
  Kalk ist modell agnostisch, was bedeutet, dass sie mit jedem Modell für maschinelles Lernen und Deep Learning implementiert werden kann. Es kann mit maschinellen Lernmodellen wie linearen und logistischen Regressionen, Entscheidungsb?umen, zuf?lligen Wald, Xgboost, Knn, Elasticnet usw. verwendet werden

  Es funktioniert unter der Annahme, dass ein einfaches interpretierbares Modell verwendet werden kann, um die inneren Funktionen eines komplexen Modells zu erkl?ren. Ein einfaches interpretierbares Modell kann ein einfaches lineares Regressionsmodell oder ein Entscheidungsbaummodell sein. Hier haben wir ein einfaches lineares Regressionsmodell als interpretierbares Modell verwendet, um Erkl?rungen für das komplexe Modell unter Verwendung von Kalk/Form -Erkl?rungen zu generieren.

  Kalk, auch als local interpretierbares Modell-agnostische Erkl?rungen, die lokal zu einer einzigen Beobachtung jeweils beobachtet werden, und hilft uns zu verstehen, wie das Modell die Punktzahl für diese Beobachtung vorhergesagt hat. Es erstellt synthetische Daten unter Verwendung der gest?rten Werte von Merkmalen aus den ursprünglichen Beobachtungen.

  Was sind gest?rte Daten und wie wird sie erstellt?

  Um gest?rte Datens?tze für tabul?re Daten zu erstellen, nimmt Lime zuerst alle Merkmale in der Beobachtung ein und erstellt dann iterativ neue Werte für die Beobachtung, indem die Merkmalswerte mit verschiedenen Transformationen geringfügig ge?ndert werden. Die gest?rten Werte liegen sehr nahe am ursprünglichen Beobachtungswert und aus einer Nachbarschaft n?her am ursprünglichen Wert.

  Für Text- und Bilddatentypen erstellt Lime iterativ einen Datensatz, indem sie zuf?llig Funktionen aus dem ursprünglichen Datensatz ausw?hlen und neue gest?rte Werte aus den Funktionen der Nachbarschaft für die Funktionen erstellen. Die Kalkkernbreite steuert die Gr??e des Datenpunktviertels.

  Eine kleinere Kernelgr??e bedeutet, dass die Nachbarschaft klein ist und die Punkte, die dem ursprünglichen Wert am n?chsten stehen, die Erkl?rungen erheblich beeinflussen, w?hrend die entfernten Punkte für eine gro?e Kernelgr??e zu den Kalk Erkl?rungen beitragen k?nnten.

  breitere Nachbarschaftsgr??en würden zu weniger genauen Erkl?rungen führen, k?nnten jedoch dazu beitragen, einige breitere Trends in den Daten aufzudecken. Für pr?zise lokale Erkl?rungen sollten kleine Nachbarschaftsgr??en bevorzugt werden.

  Verst?ndnis Abbildung

  Durch die folgende Abbildung (Abb. 1) versuchen wir, eine gewisse Intuition in die gest?rten Werte, die Kernelgr??e und die Nachbarschaft zu geben.

  Für diese Diskussion haben wir Datenbeispiele aus dem BigMart -Datensatz verwendet und es ist ein Regressionsproblem. Wir haben tabellarische Daten für den Kalk verwendet.

  

  Betrachten Sie die Beobachtung #0 aus dem BigMart -Datensatz. Diese Beobachtung hat ein Merkmal "item_type" mit einem Wert von 13. Wir haben den Mittelwert und die Standardabweichung für diese Funktion berechnet und den Mittelwert von 7,234 und die Standardabweichung von 4,22 erhalten. Dies ist in der obigen Abbildung dargestellt. Unter Verwendung dieser Informationen haben wir den Z-Score auf 1,366 berechnet.

  Der Bereich links vom Z-Score gibt uns die % der Werte für die Funktion, die unter das x fallen würde. Für einen Z-Score von 1,366 h?tten wir ungef?hr 91,40% Werte für die Funktion, die unter x = 13 fallen würde. Daher erhalten wir eine Intuition, dass die Kernelbreite für diese Funktion unter x = 13 liegen müsste. Und die Kernelbreite würde dazu beitragen, die Gr??e der Nachbarschaft für gest?rte Daten zu kontrollieren.

  unten zeigt Abb. 2 drei ursprüngliche Testdatenpunkte aus dem BigMart-Datensatz und wir haben diese für die Intuition des Kalkprozesses in Betracht gezogen. Xgboost ist ein komplexes Modell und wurde verwendet, um Vorhersagen für die ursprünglichen Beobachtungsinstanzen zu erzeugen.

  Für diesen Artikel werden wir die Top 3 Datens?tze aus dem vorverarbeiteten und codierten Datensatz von BigMart verwenden, um Beispiele und Erkl?rungen zur Unterstützung der Diskussion bereitzustellen.

  

  Kalkabstandsformel

  Kalk verwendet intern den Abstand zwischen dem ursprünglichen Datenpunkt und den Punkten in der Nachbarschaft und berechnet die Entfernung mit dem euklidischen Abstand. Nehmen wir an, der Punkt X = 13 hat Koordinaten (x1, y1) und ein weiterer Punkt in der Nachbarschaft ist Koordinaten (x2, y2), der euklidische Abstand zwischen diesen beiden Punkten wird unter Verwendung der folgenden Gleichung berechnet:

  

  Die Abbildung (Abb. 4) zeigt die blau gest?rten Datenpunkte und den ursprünglichen Wert als roter Datenpunkt. Der gest?rte Datenpunkt in kürzerer Entfernung vom ursprünglichen Datenpunkt wird für Kalk -Erkl?rungen wirksamer sein.

  

  Die obige Gleichung berücksichtigt 2D. ?hnliche Gleichungen k?nnen für Datenpunkte mit n Anzahl von Dimensionen abgeleitet werden.

  Die Kernelbreite hilft Kalk, die Gr??e der Nachbarschaft für die Auswahl der gest?rten Werte für die Funktion zu bestimmen. Wenn sich die Werte oder die Datenpunkte vom ursprünglichen Wert entfernen würden, würden sie die Modellergebnisse weniger beeintr?chtigen.

  Die Abbildung (Abb. 6) zeigt die gest?rten Merkmalswerte zusammen mit ihrer ?hnlichkeitsbewertung mit dem ursprünglichen Wert, und die gest?rten Instanzvorhersagen unter Verwendung des XGBoost-Modells und Abbildung (Abb. 5) zeigt die Informationen für ein schwarz-box-interpretierbares einfaches Modell (lineare Regression).

  

  

  wie eingebaute Erkl?rung und Interpretierbarkeit in komplexen Modellen

  funktionieren
  komplexe Modelle wie Xgboost, Zufallswald usw. sind mit grundlegenden Merkmale der Erkl?rungsfunktionen für ein integrierte Modell ausgestattet. Das XGBOOST -Modell liefert die Modellerkl?rung auf globaler Ebene und kann die Vorhersagen auf lokaler Beobachtung nicht erkl?ren.

  Seit dieser Diskussion haben wir Xgboost als komplexes Modell verwendet, haben wir die Erkl?rung der integrierten Modells im Folgenden diskutiert. Der XGBOOST bietet uns Funktionen, um den Entscheidungsbaum für die Intuition in die globale Entscheidungsfindung des Modells und seine Merkmals Bedeutung für Vorhersagen zu zeichnen. Die Wichtigkeit gibt eine Liste von Funktionen in der Reihenfolge ihrer Beitrags Bedeutung für die Ergebnisse des Modells zurück.

  Zuerst haben wir ein Xgboost -Modell initiiert und es dann mit den unabh?ngigen und Zielfunktionen aus dem Trainingssatz geschult. Die eingebauten Erkl?rungsfunktionen des XGBOOST-Modells wurden verwendet, um Einblicke in das Modell zu erhalten.

  Um die in Xgboost eingebauten Erkl?rungen zu zeichnen, verwenden Sie den folgenden Quellcode:

  # plot single tree
  plot_tree(xgbr_model)
  plt.figure(figsize=(10,5))
  plt.show()

  Die Abbildung (Abb. 7) zeigt den Ausgangsentscheidungsbaum des obigen Bigmart-Komplexes XGBOOST-Modell.

  

  Aus dem obigen XGBOOST-Modellbaum erhalten wir einige Einblicke in die Entscheidungsfindung des Modells und die bedingten Regeln, die es verwendet hat, um die Daten aufzuteilen und die endgültige Vorhersage zu machen. Aus diesem Grund hat es für dieses XGBOOST -Modell den Feature item_mrp am meisten zum Ergebnis beigetragen, gefolgt vom Outlet_Type in der Entscheidungsfindung. Wir k?nnen dies durch die Verwendung von XGBOOST -Funktionsbedeutung überprüfen.

  Quellcode zum Anzeigen der Funktionswichtigkeit

  Um die Funktionsbedeutung für das Xgboost-Modell mit der integrierten Erl?uterung anzuzeigen, verwenden Sie den folgenden Quellcode.

  # feature importance of the model
  feature_importance_xgb = pd.DataFrame()
  feature_importance_xgb['variable'] = X_train.columns
  feature_importance_xgb['importance'] = xgbr_model.feature_importances_

  # feature_importance values in descending order
  feature_importance_xgb.sort_values(by='importance', ascending=False).head()

  Die folgende Abbildung (Abb. 9) zeigt die Merkmals Bedeutung, die mit den oben genannten XGBOOST-Modelleinstellungen erzeugt wird.

  

  Aus den obigen Xgboost -Feature -Imports sehen wir interessanterweise, dass für das XGBOOST -Modell der Outlet_Type eine h?here Gr??e hatte als die item_mrp. Au?erdem lieferte das Modell Informationen für die anderen Funktionen und ihre Auswirkungen auf Modellvorhersagen.

  Wie wir bemerken, befinden sich die XGBOOST -Modellerkl?rungen auf globaler Ebene und liefern eine gute Menge an Informationen, aber einige zus?tzliche Informationen wie die Richtung des Feature -Beitrags fehlen, und wir haben keine Einblicke für die lokale Beobachtungen auf lokaler Ebene. Die Richtung würde uns zeigen, ob das Merkmal dazu beitr?gt, die vorhergesagten Werte zu erh?hen oder die vorhergesagten Werte zu verringern. Für Klassifizierungsprobleme würde die Richtung der Feature -Beitr?ge bedeuten, zu wissen, ob die Funktion zur Klasse ?1“ oder der Klasse ?0“ beitr?gt.

  Hier k?nnen externe Erkl?rbarkeitstools wie Kalk und Gestalt nützlich sein und die Erkl?rung der XGBOOST -Modell mit den Informationen über die Richtung des Feature -Beitrags oder der Merkmalsauswirkungen erg?nzen. Für Modelle ohne integrierte Funktionalit?ten zur Erkl?rung des Modellentscheidungsprozesses tr?gt LIME dazu bei, die Vorhersageentscheidungen für lokale und globale Instanzen zu erkl?ren.

  Wie funktioniert die Entscheidungsfindung des Kalkmodells und wie kann man seine Erkl?rungen interpretieren?

  Kalk kann mit komplexen Modellen, einfachen Modellen und auch mit Black -Box -Modellen verwendet werden, in denen wir nicht über das Modell arbeiten und nur die Vorhersagen haben.

  Daher k?nnen wir das Kalkmodell direkt mit einem Modell einfügen, das Erkl?rungen ben?tigt, und wir k?nnen es auch verwenden, um die Black -Box -Modelle durch ein Ersatzmodell zu erkl?ren.

  unten verwenden wir das Xgboost -Regressionsmodell als komplexes sowie ein Black -Box -Modell und nutzen ein einfaches lineares Regressionsmodell, um die Kalk -Erkl?rungen für das Black -Box -Modell zu verstehen. Auf diese Weise k?nnen wir auch die Erkl?rungen vergleichen, die von Kalk unter Verwendung beider Ans?tze für dasselbe komplexe Modell erzeugt werden.

  Um die Kalkbibliothek zu installieren, verwenden Sie den folgenden Code:

  # plot single tree
  plot_tree(xgbr_model)
  plt.figure(figsize=(10,5))
  plt.show()

  Ansatz1: So implementieren und interpretieren Sie Kalk -Erkl?rungen mit dem komplexen XGBR -Modell?

  Um die Kalk -Erkl?rung direkt mit dem komplexen Modell wie XGBOOST zu implementieren, verwenden Sie den folgenden Code:

  # feature importance of the model
  feature_importance_xgb = pd.DataFrame()
  feature_importance_xgb['variable'] = X_train.columns
  feature_importance_xgb['importance'] = xgbr_model.feature_importances_

  Dies würde eine Ausgabe erzeugen, die wie die unten gezeigte Abbildung aussieht.

  

  Von oben sehen wir, dass die gest?rte Beobachtung #0 einen ?hnlichkeitswert von 71,85% aufweist und dies zeigt, dass die Merkmale in dieser Beobachtung 71,85% ?hnlich der der ursprünglichen Beobachtung waren. Der vorhergesagte Wert für die Beobachtung Nr. 0 betr?gt 1670,82 mit einem Gesamtbereich der vorhergesagten Werte zwischen 21,74 und 5793,40.

  Kalk identifizierte die am meisten beitragendsten Merkmale für die Beobachtung Nr. 0 und ordnete sie in absteigender Reihenfolge der Gr??e der Merkmalsbeitr?ge an.

  Die in blauen Farbe gekennzeichneten Merkmale zeigen, dass sie dazu beitragen, die vorhergesagten Werte des Modells zu verringern, w?hrend die in Orange gekennzeichneten Merkmale darauf hinweisen, dass sie dazu beitragen, die vorhergesagten Werte für die Beobachtung zu erh?hen, d. H. Lokale Instanz #0.

  Au?erdem ging Lime weiter, indem die vom Modell zur Aufteilung der Daten für die Beobachtung verwendeten bedingten Regeln auf Merkmalsebene bereitgestellt wurden.

  Visualisierung von Funktionsbeitr?gen und Modellvorhersagen mit Limetten

  In der obigen Abbildung (Abb. 13) zeigt das Diagramm auf der linken Seite den Gesamtbereich der vorhergesagten Werte (min bis max) nach allen Beobachtungen an, und der Wert in der Mitte ist der vorhergesagte Wert für diese spezifische Instanz, d. H. Beobachtung.

  Das Diagramm in der Mitte zeigt die blaue Farbe die negativ beitragenden Merkmale zur Modellvorhersage und die positiv beitragenden Merkmale für die Modellvorhersage für die lokale Instanz werden durch die Farbe Orange dargestellt. Die numerischen Werte mit den Merkmalen geben die st?renden Werte mit Merkmals an oder wir k?nnen sagen, dass sie die Gr??e des Merkmals zur Modellvorhersage angeben. In diesem Fall gilt es für die spezifische Beobachtung (#0) oder die lokale Instanz .

  Das Diagramm ganz rechts zeigt die Reihenfolge der Merkmals Bedeutung an, die das Modell bei der Erzeugung der Vorhersage für die Instanz angegeben hat.

  Hinweis: Jedes Mal, wenn wir diesen Code ausführen, w?hlt der Kalk Features aus und weist ihnen etwas neue Gewichte zu, sodass er die vorhergesagten Werte sowie die Diagramme ?ndern kann.

  Ansatz 2: So implementieren und interpretieren Sie LIME -Erkl?rungen für Black Box Model (XGBR) mit dem einfachen LR -Modell?

  Um Kalk mit komplexen Black -Box -Modellen wie Xgboost zu implementieren, k?nnen wir die Ersatzmodellmethode verwenden. Für das Ersatzmodell k?nnen wir einfache Modelle wie lineare Regression oder Entscheidungsbaummodelle verwenden. Lime funktioniert bei diesen einfachen Modellen sehr gut. Und wir k?nnen auch ein komplexes Modell als Ersatzmodell mit Kalk verwenden.

  Um Kalk mit dem surrogate einfachen Modell zuerst zu verwenden, ben?tigen wir Vorhersagen aus dem Black Box -Modell.

  # plot single tree
  plot_tree(xgbr_model)
  plt.figure(figsize=(10,5))
  plt.show()

  zweiter Schritt

  Im zweiten Schritt unter Verwendung des komplexen Modells, unabh?ngigen Merkmale aus dem Zugsatz und des Kalks generieren wir einen neuen Datensatz von gest?rten Merkmalswerten und trainieren dann das Ersatzmodell (in diesem Fall lineare Regression) unter Verwendung der gest?rten Merkmale und des komplexen Modells vorhergesagten Werten.

  # feature importance of the model
  feature_importance_xgb = pd.DataFrame()
  feature_importance_xgb['variable'] = X_train.columns
  feature_importance_xgb['importance'] = xgbr_model.feature_importances_

  # feature_importance values in descending order
  feature_importance_xgb.sort_values(by='importance', ascending=False).head()

  Um die gest?rten Feature -Werte mit Kalk zu generieren, k?nnen wir den folgenden folgenden Quellcode verwenden.

  # install lime library
  !pip install lime
  
  # import Explainer function from lime_tabular module of lime library
  from lime.lime_tabular import LimeTabularExplainer

  Der obige Code funktioniert für die Regression. Für die Klassifizierungsprobleme müsste der Modus in ?Klassifizierung“ ge?ndert werden.

  Hinweis

  Schlie?lich passen wir den Kalk für die lokale Instanz #0 mit dem Ersatz -LR -Modell an und sehen die Erkl?rungen dafür. Dies wird auch dazu beitragen, die Feature -Beitr?ge für das Black Box -Modell (XGBR) zu interpretieren. Verwenden Sie dazu den unten gezeigten Code.

  # Fit the explainer model  using the complex model and show the LIME explanation and score
  explanation = explainer.explain_instance(X_unseen_test.values[0], xgbr_model.predict)
  explanation.show_in_notebook(show_table=True, show_all=False)
  print(explanation.score)

  Bei der Ausführung des oben genannten Wirtschaftserkl?rungen haben wir die folgenden Kalk-Erkl?rungen wie in Abbildung (Abb. 13) unten gezeigt.

  

  Eine Sache, die wir sofort bemerkten, war, dass der Kalk -Erkl?rungswert, als wir den Kalk direkt mit dem Xgboost -Modell verwendeten, für die Beobachtung Nr. 0 h?her war. Als wir es als Black Box -Modell behandelten und ein Ersatz -LR -Modell verwendet haben, um die Erkl?rung des Black -Box -Modells zu erhalten (xgboost). Dies zeigt mit dem Ansatz des Ersatzmodells an

  Der vorhergesagte Wert für die Beobachtung Nr. 0 betr?gt 2189,59 mit einem Gesamtbereich der vorhergesagten Werte zwischen 2053,46 und 2316.54.
  Der vorhergesagte Wert für die Beobachtung #0 unter Verwendung von Kalk XGBR betrug 1670,82.
  Wie kann man auf Kalk gest?rte Daten zugreifen?
  Um die st?renden Kalkwerte anzuzeigen, verwenden Sie den folgenden Code.

  # plot single tree
  plot_tree(xgbr_model)
  plt.figure(figsize=(10,5))
  plt.show()

  Die Ausgabe von oben würde ungef?hr so ??aussehen, wie in der Abbildung unten gezeigt.

  

  # feature importance of the model
  feature_importance_xgb = pd.DataFrame()
  feature_importance_xgb['variable'] = X_train.columns
  feature_importance_xgb['importance'] = xgbr_model.feature_importances_

  

  LIME -Funktion Wichtigkeit
  Jede Instanz im Modell gibt eine unterschiedliche Merkmals Bedeutung für die Generierung der Vorhersage für die Instanz. Diese identifizierten Modellmerkmale spielen eine wichtige Rolle bei den Vorhersagen des Modells. Die Merkmalswennungswerte geben die gest?rten Merkmalswerte oder die neue Gr??e der identifizierten Merkmale für die Modellvorhersage an.
  Was ist die Erkl?rung der Kalk -Erkl?rung und wie kann man sie interpretieren?
  Der Lime -Erkl?rungswert zeigt die Genauigkeit von Kalkerkl?rungen und die Rolle der identifizierten Merkmale bei der Vorhersage der Modellergebnisse an. Der h?her erkl?rbare Punktzahl zeigt, dass die identifizierten Merkmale des Modells für die Beobachtung eine signifikante Rolle bei der Modellvorhersage für diese Instanz spielten. Aus der obigen Abbildung (Abb. 13) sehen wir, dass das interpretierbare Ersatz-LR-Modell den identifizierten Merkmalen in der Beobachtung einen Wert von 0,4954 ergab.
  Lassen Sie uns nun ein anderes Tool untersuchen, das formell namens formuliert wird, um dem Modell die Erkl?rung hinzuzufügen.
  Verst?ndnis von Shap (Shapley additive Erkl?rungen)
  Ein weiteres popul?r verwendetes Werkzeug für ML- und AI -Modellerkl?rungen ist die Shap (formweise additive Erkl?rungen). Dieses Tool ist auch modell agnostisch. Seine Erkl?rungen basieren auf dem Konzept der kooperativen Spieltheorie mit dem Namen ?Shapley -Werte“. In dieser Spieltheorie werden die Beitr?ge aller Spieler berücksichtigt und jeder Spieler erh?lt einen Wert, der auf seinem Beitrag zum Gesamtergebnis basiert. Somit bietet es einen fairen und interpretierbaren Einblick in die Modellentscheidungen.

  Laut Shapely arbeitet eine Koalition von Spielern zusammen, um ein Ergebnis zu erzielen. Alle Spieler sind nicht identisch und jeder Spieler hat unterschiedliche Eigenschaften, die ihnen helfen, unterschiedlich zum Ergebnis beizutragen. Meistens sind es die Beitr?ge des mehreren Spielers, die ihnen helfen, das Spiel zu gewinnen. Die Zusammenarbeit zwischen den Spielern ist daher von Vorteil und muss bewertet werden und sollte nicht nur vom Beitrag eines einzelnen Spielers zum Ergebnis abh?ngen. Und pro formell sollte die aus dem Ergebnis generierte Auszahlung unter den Spielern auf der Grundlage ihrer Beitr?ge verteilt werden.

  Shap ML und AI -Modell Erkl?rungsinstrument basieren auf dem obigen Konzept. Es behandelt Merkmale im Datensatz als einzelne Spieler im Team (Beobachtung). Die Koalitionen arbeiten in einem ML -Modell zusammen, um die Ergebnisse vorherzusagen, und die Auszahlung ist die Modellvorhersage. Shap hilft ziemlich und effizient den Ergebnisgewinn zwischen den einzelnen Merkmalen (Spieler) und erkennt ihren Beitrag zu Modellergebnissen.

  faire Verteilung von Beitr?gen unter Verwendung von Shapley -Werten

  

  In der obigen Abbildung (Abb. 15) haben wir zwei Spieler in Betracht gezogen, die an einem Wettbewerb teilnehmen, und das Ergebnis wird in Form des verdienten Preisgeldes erreicht. Die beiden Spieler nehmen teil, indem sie unterschiedliche Koalitionen bilden (C12, C10, C20, C0), und durch jede Koalition verdienen sie unterschiedliche Preise. Schlie?lich sehen wir, wie die formschartigen durchschnittlichen Gewichte uns helfen, den Beitrag jedes Spielers zum Ergebnis zu bestimmen und das Preisgeld unter den Teilnehmern fair zu verteilen.

  Im Fall von "I" -Firmen kann die in der Abbildung (Abb. 16) gezeigte folgende Gleichung verwendet werden, um den Formwert für jeden Spieler oder jede Funktion zu bestimmen.

  

  Lassen Sie uns die Shap -Bibliothek weiter untersuchen.

  So installieren Sie die Installation der Shap Library und initialisieren Sie sie?

  Um die Shap -Bibliothek zu installieren, verwenden Sie den folgenden Quellcode wie unten gezeigt.

  # plot single tree
  plot_tree(xgbr_model)
  plt.figure(figsize=(10,5))
  plt.show()

  So implementieren und interpretieren Sie komplexe XGBR -Modellformerkl?rungen?

  Shap -Bibliotheken k?nnen direkt mit den komplexen Modellen verwendet werden, um Erkl?rungen zu generieren. Im Folgenden finden Sie den Code, der Shap direkt mit dem komplexen XGBOOST -Modell verwendet (mit derselben Modellinstanz, wie sie für die Kalk Erkl?rungen verwendet werden).

  # feature importance of the model
  feature_importance_xgb = pd.DataFrame()
  feature_importance_xgb['variable'] = X_train.columns
  feature_importance_xgb['importance'] = xgbr_model.feature_importances_

  Wie erzeugt ich Shap -Werte für komplexes XGBR -Modell?

  # feature_importance values in descending order
  feature_importance_xgb.sort_values(by='importance', ascending=False).head()

  Das obige Zeigt die Arrays von Shap -Werten für jedes der Feature -Player in den Koalitionen an, d. H. Beobachtungen im Testdatensatz.

  Die Shap-Werte würden ungef?hr so ??aussehen wie in Abbildung (Abb. 199) unten:

  

  Was ist die Wichtigkeit des Shap -Merkmals für das komplexe XGBR -Modell?

  Shap hilft uns, zu ermitteln, welche Merkmale zum Ergebnis des Modells beigetragen haben. Es zeigt, wie jedes Merkmal die Vorhersagen und ihre Auswirkungen beeinflusst hat. Shap vergleicht auch den Beitrag von Merkmalen mit anderen im Modell.

  Shap erreicht dies, indem alle m?glichen Permutationen der Merkmale berücksichtigt werden. Es berechnet und vergleicht die Modellergebnisse mit und ohne Merkmale, wodurch jeder Merkmalsbeitrag zusammen mit dem gesamten Team berechnet wird (alle Spieler a.k.a -Funktionen).

  So implementieren und interpretieren Sie das Formplot für das Zusammenfassung des Formens für das komplexe XGBR -Modell?

  Shap Summary -Diagramm kann verwendet werden, um die Shap -Feature -Beitr?ge, ihre Bedeutung und die Auswirkungen auf die Ergebnisse anzuzeigen.

  folgt die Abbildung (Abb. 20) zeigt den Quellcode, um das Zusammenfassungsdiagramm zu generieren.

  # plot single tree
  plot_tree(xgbr_model)
  plt.figure(figsize=(10,5))
  plt.show()

  

  Die obige Abbildung (Abb. 21) zeigt ein Form-Zusammenfassungsdiagramm für die BigMart-Daten. Von oben sehen wir, dass Shap die Funktionen aus dem BigMart -Datensatz in der Reihenfolge ihrer Bedeutung angeordnet hat. Auf der rechten Seite sehen wir die Merkmale, die aus hochwertigen Merkmalen angeordnet sind, die oben und niedrig Wert unten angeordnet sind.

  Au?erdem k?nnen wir die Auswirkungen von Modellmerkmalen auf das Ergebnis interpretieren. Der Merkmalsaufprall wird horizontal um den Formwert der Form zentriert. Die Formwerte für das Merkmal links vom Shap -Mittelwert sind in rosa Farbe angegeben, was den negativen Einfluss bedeutet. Die Merkmalsformwerte rechts vom Formmittelwert des Shaps bedeuten den Feature -Beitrag in Richtung positiver Auswirkungen. Die Formwerte geben auch die Gr??e oder den Einfluss der Merkmale auf das Ergebnis an.

  zeigt Shap ein Gesamtbild des Modells, das die Gr??e und Richtung des Beitrags jedes Merkmals zum vorhergesagten Ergebnis angibt.

  So implementieren und interpretieren Sie das Formabh?ngigkeitsdiagramm für das komplexe XGBR -Modell?

  # feature importance of the model
  feature_importance_xgb = pd.DataFrame()
  feature_importance_xgb['variable'] = X_train.columns
  feature_importance_xgb['importance'] = xgbr_model.feature_importances_

  

  Die Shap -Feature -Abh?ngigkeitsplot hilft uns, die Funktionsbeziehung mit einer anderen Funktion zu interpretieren. Im obigen Diagramm scheint der item_mrp von der Outlet_Type abh?ngig zu sein. Für Outlet_Types 1 bis 3 hat das item_mrp einen zunehmenden Trend, w?hrend aus dem obigen für Outlet_Type 0 bis Outlet_Type 1 Item_Mrp einen abnehmenden Trend hat.

  So implementieren und interpretieren Sie die Formplot für das komplexe XGBR -Modell?

  Bisher haben wir die Wichtigkeit, Auswirkung und Entscheidungsfindung auf globaler Ebene gesehen. Mit der Shap-Kraft-Diagramm k?nnen Sie eine Intuition in die Modellentscheidung auf lokaler Beobachtungsebene einbringen.

  Um das Shap -Kraftdiagramm zu verwenden, k?nnen wir den folgenden Code verwenden. Denken Sie daran, Ihre eigenen Datensatznamen zu verwenden. Der folgende Code untersucht die erste Beobachtung für den Testdatensatz, d. H. X_Unseen_test.iloc [0]. Diese Zahl kann ge?ndert werden, um verschiedene Beobachtungen zu untersuchen.

  # plot single tree
  plot_tree(xgbr_model)
  plt.figure(figsize=(10,5))
  plt.show()

  

  Wir k?nnen das obige Kraftdiagramm wie unten interpretieren. Der Basiswert gibt den vorhergesagten Wert für die lokale Instanz Nr. 0 an, indem das Shap -Ersatz -LR -Modell verwendet wird. Die in dunkelrosa Farbe gekennzeichneten Merkmale sind diejenigen, die den Vorhersagewert h?her drücken, w?hrend die in blauen Farbe gekennzeichneten Merkmale die Vorhersage in Richtung eines niedrigeren Wertes ziehen. Die Zahlen mit den Funktionen sind die Originalwerte der Funktion.

  So implementieren und interpretieren Sie das Entscheidungsdiagramm für das komplexe XGBOOST -Modell?

  Um das Shap-Abh?ngigkeits-Diagramm anzuzeigen, k?nnen wir den folgenden Code verwenden, wie in Abb. 24 gezeigt.

  # feature importance of the model
  feature_importance_xgb = pd.DataFrame()
  feature_importance_xgb['variable'] = X_train.columns
  feature_importance_xgb['importance'] = xgbr_model.feature_importances_

  Die Shap -Entscheidungsdiagramm ist eine weitere M?glichkeit, die Auswirkungen verschiedener Modellmerkmale auf die Modellvorhersage zu untersuchen. Aus dem folgenden Entscheidungsdiagramm haben wir versucht, die Auswirkungen verschiedener Modellmerkmale auf das vorhergesagte Ergebnis zu visualisieren, d. H. Gegenstand.

  Aus dem folgenden Entscheidungsdiagramm stellen wir fest, dass sich das Feature item_mrp positiv auf das vorhergesagte Ergebnis auswirkt. Es erh?ht den Gegenstandsverkauf. In ?hnlicher Weise tr?gt Outlet_identifier_out018 auch positiv durch die Erh?hung des Umsatzes. Andererseits wirkt sich item_type negativ auf das Ergebnis aus. Es verringert den Verkauf von Gegenst?nden. Ebenso reduziert Outlet_Identifier_27 den Umsatz mit seinem negativen Beitrag.
  Die folgende Handlung zeigt das Entscheidungsdiagramm für die Big Mart -Verkaufsdaten.

  

  So implementieren und interpretieren Sie das Formplot für komplexes XGBR -Modell mit TreeExplainer?

  # feature_importance values in descending order
  feature_importance_xgb.sort_values(by='importance', ascending=False).head()

  

  So implementieren und interpretieren Sie Black Box Model Shap -Erkl?rungen mit dem Ersatzmodell?
  Verwenden Sie die Shap -Erkl?rungen mit dem Ersatzmodell (hier verwendetes Regressionsmodell) verwenden den folgenden Code. Das lineare Regressionsmodell wird unter Verwendung der Vorhersagen aus dem Black -Box -Modell und den Trainingseinstellungen unabh?ngige Funktionen trainiert.

  # install lime library
  !pip install lime
  
  # import Explainer function from lime_tabular module of lime library
  from lime.lime_tabular import LimeTabularExplainer

  Für das Shap Explementer -Ersatzmodell würden die Shap -Werte ungef?hr wie unten aussehen.

  

  So implementieren und interpretieren Sie das SHOP -Zusammenfassungsdiagramm für das Black -Box -Modell mit dem Ersatz -LR -Modell?
  Um das Shap Summary -Diagramm für das Black -Box -Ersatzmodell anzuzeigen, würde der Code wie unten aussehen.

  # Fit the explainer model  using the complex model and show the LIME explanation and score
  explanation = explainer.explain_instance(X_unseen_test.values[0], xgbr_model.predict)
  explanation.show_in_notebook(show_table=True, show_all=False)
  print(explanation.score)

  

  Aus der obigen Formzusammenfassung für das Black -Box -Ersatz -LR -Modell geh?ren der item_type und item_mrp zu den h?chsten Funktionen mit item_type mit insgesamt neutralem Einfluss, w?hrend der item_mrp zu der rechten Seite anscheinend angibt, dass es dazu beitr?gt, das Outcome zu erh?hen (I. item_outlet.

  So implementieren und interpretieren Sie die Formababh?ngigkeitsdiagramme für Black Box -Ersatz -LR -Modell?
  Verwenden Sie den folgenden Code, um das Shap Depapece -Diagramm mit dem Ersatz -LR -Modell zu implementieren.

  # plot single tree
  plot_tree(xgbr_model)
  plt.figure(figsize=(10,5))
  plt.show()

  Die Ausgabe davon sieht wie unten aus.

  

  Aus dem obigen Diagramm k?nnen wir sagen, dass das MRP für das Black -Box -Ersatz -LR -Modell einen zunehmenden Trend für Auslasstypen 0 und 1 hat, w?hrend es einen abnehmenden Trend für Auslasstypen hat.
  Vergleichstabelle der Modelle
  unten werden wir in die Tabelle suchen, um jedes Modell zu vergleichen

  Aspect	LIME	SHAP	Blackbox Surrogate LR Model	XGBR Model (Complex)
  Explainability	Local-level explainability for individual predictions	Global-level and local-level explainability	Limited explainability, no local-level insights	Limited local-level interpretability
  Model Interpretation	Uses synthetic dataset with perturbed values to analyze model’s decision rationale	Uses game theory to evaluate feature contributions	No local-level decision insights	Global-level interpretability only
  Explanation Score	Average explanation score = 0.6451	Provides clear insights into feature importance	Lower explanation score compared to LIME XGBR	Higher prediction accuracy but lower explanation
  Accuracy of Closeness to Predicted Value	Matches predicted values closely in some cases	Provides better accuracy with complex models	Low accuracy of closeness compared to LIME	Matches predicted values well but limited explanation
  Usage	Helps diagnose and understand individual predictions	Offers fairness and transparency in feature importance	Not suitable for detailed insights	Better for high-level insights, not specific
  Complexity and Explainability Tradeoff	Easier to interpret but less accurate for complex models	Higher accuracy with complex models, but harder to interpret	Less accurate, hard to interpret	Highly accurate but limited interpretability
  Features	Explains local decisions and features with high relevance to original data	Offers various plots for deeper model insights	Basic model with limited interpretability	Provides global explanation of model decisions
  Best Use Cases	Useful for understanding decision rationale for individual predictions	Best for global feature contribution and fairness	Used when interpretability is not a major concern	Best for higher accuracy at the cost of explainability
  Performance Analysis	Provides a match with XGBR prediction but slightly lower accuracy	Performs well but has a complexity-accuracy tradeoff	Limited performance insights compared to LIME	High prediction accuracy but with limited interpretability

  Erkenntnisse aus den gest?rten Merkmalen und Modellerkl?rbarkeit von LIME

  Bei der Analyse der st?renden Werte von Kalk st?rten wir auch eine gewisse Intuition in die Art und Weise, wie der Kalk sie ausgew?hlt hat, und dann gest?rte Gewichte zugewiesen und versuchen, Vorhersagen n?her an das Original zu bringen.
  bringen alle Kalkmodelle und Beobachtungen (für Top 3 Zeilen und ausgew?hlte Funktionen), die wir folgen.

  

  

  Aus dem obigen sehen wir, dass für die Beobachtung # 0 die ursprüngliche XGBR -Modellvorhersage und die LIME XGBR -Modellvorhersage eine übereinstimmung sind, w?hrend für die gleichen ursprünglichen Merkmalswerte die Blackbox -Ersatzmodellvorhersagen für die Beobachtung # 0 weit weg sind. Gleichzeitig zeigte das Lime XGBR -Modell eine hohe Erkl?rung (?hnlichkeit der Merkmale zu Originalfunktionen).
  Der Durchschnitt des Erl?uterungswerts für das komplexe Kalk -XGBR -Modell betr?gt 0,6451 und das für das Black Box Surrogate LR Lime -Modell 0,5701. In diesem Fall ist der durchschnittliche Erl?uterungswert für Kalk XGBR h?her als das Black -Box -Modell.
  Genauigkeit der N?he des vorhergesagten Wertes
  unten analysierten wir die % Genauigkeit der N?he der vorhergesagten Werte für die drei Modelle.

  

  Die % Genauigkeit der vorhergesagten Werte durch das einfache LR -Modell und das Kalkkomplex XGBR -Modell sind gleich, wobei beide Modelle für die Beobachtung Nr. 1 100 % Genauigkeit erreichen. Dies zeigt an, dass die vorhergesagten Werte den tats?chlichen Vorhersagen des komplexen XGBR -Modells genau übereinstimmen. Im Allgemeinen spiegelt eine h?here % Genauigkeit der N?he ein genaueres Modell wider.
  Beim Vergleich von vorhergesagten und tats?chlichen Werten wird eine Diskrepanz beobachtet. Für die Beobachtung Nr. 3 ist der vorhergesagte Wert (2174,69) signifikant h?her als der tats?chliche Wert (803,33). In ?hnlicher Weise wurde die prozentuale Genauigkeit der N?he für die LIME -Komplexe XGBR- und Blackbox -Surrogate -LR -Modelle berechnet. Die Ergebnisse heben unterschiedliche Leistungsmetriken hervor, wie in der Tabelle beschrieben.

  

  Von oben sehen wir, dass das Blackbox -Ersatz -LR -Modell für die Beobachtung Nr. 1 am besten durchgeführt wurde. Gleichzeitig für die beiden anderen Beobachtungen (Nr. 2 und Nr. 3) ist beide Modellleistung gleich.
  Die durchschnittliche Leistung für das XGBR -Modell des Kalkkomplexes betr?gt ungef?hr 176 und das Blackbox -Ersatz -LR -Modell etwa 186.
  Daher k?nnen wir sagen, dass Kalkkomplex -Modellgenauigkeit & lt; Lime Blackbox Ersatz -LR -Modellgenauigkeit.

  Schlussfolgerung

  Kalk und Gestalt sind leistungsstarke Werkzeuge, die die Erkl?rung von maschinellem Lernen und KI -Modellen verbessern. Sie machen komplexe oder schwarz-Box-Modelle transparenter. Lime ist darauf spezialisiert, Einblicke in lokaler Ebene in den Entscheidungsprozess eines Modells zu erhalten. Shap bietet eine breitere Sichtweise und erkl?rt Feature -Beitr?ge sowohl auf globaler als auch auf lokaler Ebene. W?hrend Limes Genauigkeit m?glicherweise nicht immer komplexe Modelle wie XGBR übereinstimmt, ist sie für das Verst?ndnis der individuellen Vorhersagen von unsch?tzbarem Wert.

  Andererseits f?rdert Shaps spieltheoretischer Ansatz Fairness und Transparenz, kann aber manchmal schwieriger zu interpretieren sein. Blackbox -Modelle und komplexe Modelle wie XGBR bieten eine h?here Vorhersagegenauigkeit, aber h?ufig auf Kosten einer verringerten Erkl?rung. Letztendlich h?ngt die Wahl zwischen diesen Tools vom Gleichgewicht zwischen Vorhersagegenauigkeit und Modellinterpretierbarkeit ab, die je nach Komplexit?t des verwendeten Modells variieren kann.

  Key Takeaways

  • Kalk und Gestalt verbessern die Interpretierbarkeit komplexer AI -Modelle.
  • Kalk ist ideal, um Einblicke auf lokaler Ebene in Vorhersagen zu gewinnen.
  • Shap liefert ein globaleres Verst?ndnis der Merkmals Bedeutung und Fairness.
  • h?here Modellkomplexit?t führt h?ufig zu einer besseren Genauigkeit, aber einer verringerten Erkl?rung.
  • Die Wahl zwischen diesen Tools h?ngt von der Notwendigkeit einer Genauigkeit und der Interpretabilit?t ab.

  referenzen

  Für weitere Informationen verwenden Sie bitte die folgende

  • Quellcode -Repository
  • Limedokumentation
  • Shapdocumentation

  h?ufig gestellte Fragen

  Q1. Was ist der Unterschied zwischen Modellerkl?rung und Interpretierbarkeit?

  a. Ein Dolmetscher ist jemand, der eine Sprache in eine Person übersetzt, die die Sprache nicht versteht. Daher besteht die Rolle der Modellinterpretierbarkeit darin, als übersetzer zu dienen und die im technischen Format erzeugten Erkl?rungen des Modells auf nicht-technische Menschen auf leicht bis verst?ndliche Weise übersetzt. Die Modellinterpretierbarkeit hilft daher, die Modellerkl?rungen aus einem komplexen technischen Format in ein benutzerfreundliches Format zu übersetzen.
  

  Q2. Warum ist die Erkl?rung der Modell in AI und ML wichtig?? a. Die Erkl?rung und Interpretabilit?t von ML und KI -Modell sind aus mehreren Gründen von entscheidender Bedeutung. Sie erm?glichen Transparenz und Vertrauen in die Modelle. Sie f?rdern auch die Zusammenarbeit und helfen dabei, Schwachstellen, Risiken und Vorurteile zu identifizieren und zu mildern. Darüber hinaus hilft Erkl?rung bei der Debuggierung von Fragen und zur Gew?hrleistung der Einhaltung von Vorschriften und ethischen Standards. Diese Faktoren sind besonders wichtig in verschiedenen Unternehmensnutzungsf?llen, einschlie?lich Bankwesen und Finanzen, Gesundheitswesen, vollst?ndig autonomen Fahrzeugen und Einzelhandel, wie im Artikel er?rtert.

  Q3. K?nnen alle Modelle mit Limette und Form interpretierbar gemacht werden?

  a. Ja, Kalk und Gestalt sind modell agnostisch. Dies bedeutet, dass sie auf jedes maschinelle Lernmodell angewendet werden k?nnen. Beide Tools verbessern die Erkl?rung und Interpretierbarkeit von Modellen.

  Q4. Was sind die Herausforderungen bei der Erkl?rung des Modells?

  a. Die Herausforderung bei der Erkl?rung des Modells besteht darin, ein Gleichgewicht zwischen Modellgenauigkeit und Modellerkl?rungen zu finden. Es ist wichtig sicherzustellen, dass die Erkl?rungen von nicht-technischen Nutzern interpretierbar sind. Die Qualit?t dieser Erkl?rungen muss bei der Erreichung einer hohen Modellgenauigkeit aufrechterhalten werden.

Das obige ist der detaillierte Inhalt vonErkl?rbarkeit und Interpretierbarkeit von ML und KI Modellmodell. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!