TNT-LLM de Microsoft: Révolution de la production de taxonomie et de la classification du texte

Microsoft a dévoilé TNT-llm, un système révolutionnaire automatisant la création de taxonomie et la classification du texte, dépassant les méthodes traditionnelles à la fois en vitesse et en précision. Cette approche innovante tire parti de la puissance des modèles de grande langue (LLM) pour rationaliser et mettre à l'échelle la génération de taxonomies et de classificateurs, minimisant l'intervention manuelle. Ceci est particulièrement bénéfique pour les applications comme Bing Copilot, où la gestion des données textuelles dynamiques et diverses est primordiale.

Cet article démontre l'implémentation de TNT-llm à l'aide de GPT-4O et Langgraph pour un regroupement d'articles de presse efficace. Pour plus d'informations sur GPT-4O et Langgraph, consultez ces ressources:

• Qu'est-ce que le GPT-4O d'Openai?
• Tutoriel API GPT-4O: Président avec API d'Openai
• Tutoriel Langgraph: Qu'est-ce que Langgraph et comment l'utiliser?

Le document de recherche TNT-LLM original, "TNT-LLM: Minage de texte à grande échelle avec de grands modèles de langage", fournit des détails complets sur le système.

Comprendre tnt-llm

TNT-LLM (Taxonomie et classification de texte à l'aide de modèles de langage grand) est un framework en deux étapes con?u pour générer et classer les taxonomies à partir de données textuelles.

Phase 1: Génération de taxonomie

Cette phase initiale utilise un échantillon de documents texte et une instruction spécifique (par exemple, "générer une taxonomie pour cluster des articles de presse"). Un LLM résume chaque document, extraitant des informations clés. Grace à un raffinement itératif, le LLM construit, modifie et affine la taxonomie, résultant en une hiérarchie structurée des étiquettes et des descriptions pour une catégorisation d'articles de presse efficace.

Source: Mengting Wan et al.

Phase 2: Classification du texte

La deuxième phase utilise la taxonomie générée pour étiqueter un ensemble de données plus large. Le LLM applique ces étiquettes, créant des données de formation pour un classificateur léger (comme la régression logistique). Ce classificateur formé étiquette efficacement l'ensemble de données ou effectue une classification en temps réel.

Source: Mengting Wan et al.

La nature adaptable de TNT-llm le rend adapté à diverses taches de classification de texte, y compris la détection d'intention et la catégorisation des sujets.

Avantages de tnt-llm

TNT-LLM offre des avantages significatifs pour l'extraction et la classification de texte à grande échelle:

• Génération de taxonomie automatisée: automatise la création de taxonomies détaillées et interprétables à partir de texte brut, éliminant la nécessité d'un effort manuel étendu et d'une expertise du domaine.
• Classification évolutive: Permet efficacement la classification de texte évolutive à l'aide de modèles légers qui gèrent de grands ensembles de données et une classification en temps réel.
• Effectif-efficacité: optimise l'utilisation des ressources grace à l'utilisation de LLM à plusieurs niveaux (par exemple, GPT-4 pour la production de taxonomie, GPT-3.5-turbo pour le résumé et la régression logistique pour la classification finale).
• Sorties de haute qualité: La production de taxonomie itérative garantit des catégorisations de haute qualité, pertinentes et précises.
• Intervention humaine minimale: réduit l'entrée manuelle, minimisant les biais et les incohérences potentielles.
• Flexibilité: s'adapte à diverses taches et domaines de classification de texte, soutenant l'intégration avec divers LLM, méthodes d'intégration et classificateurs.

Implémentation de tnt-llm

Un guide d'implémentation étape par étape suit:

Installation:

Installez les packages nécessaires:

pip install langgraph langchain langchain_openai

Définir les variables d'environnement pour les clés API et les noms de modèle:

export AZURE_OPENAI_API_KEY='your_api_key_here'
export AZURE_OPENAI_MODEL='your_deployment_name_here'
export AZURE_OPENAI_ENDPOINT='deployment_endpoint'

Concepts de base:

• Documents: Données de texte brutes (articles, journaux de chat) structurés à l'aide de la classe Doc.
• Taxonomies: Clusters d'intentions ou de sujets classés, gérés par la classe TaxonomyGenerationState.

Construire une application TNT-llm simple:

Les sections suivantes détaillent les étapes d'implémentation, en utilisant des extraits de code pour illustrer les processus clés. En raison de la durée du code d'origine, une reproduction complète ici n'est pas pratique. Cependant, ce qui suit donne un aper?u structuré du processus:

• étape 0: Définissez la classe d'état du graphique, chargez des ensembles de données et initialisez GPT-4O: Cela implique de définir les structures de données et de charger l'ensemble de données d'articles d'information. Un modèle GPT-4O est initialisé pour une utilisation tout au long du pipeline.

• étape 1: résumer les documents: Chaque document est résumé à l'aide d'une invite LLM.

• étape 2: Créer des minibatches: Les documents résumés sont divisés en minibatchs pour le traitement parallèle.

• étape 3: Générer la taxonomie initiale: Une taxonomie initiale est générée à partir du premier minibatch.

• étape 4: Mettez à jour la taxonomie: La taxonomie est mise à jour itérativement lorsque les minibatches suivantes sont traitées.

• étape 5: Revoir la taxonomie: La taxonomie finale est examinée pour l'exactitude et la pertinence.

• étape 6: Orchestrer le pipeline TNT-LLM avec Stategraph: Un StateGraph orchestre l'exécution des différentes étapes.

• étape 7: regroupement et affichage de l'article de presse de TNT-llm Taxonomie: La taxonomie finale est affichée, montrant les grappes d'articles de presse.

Conclusion

TNT-llm offre une solution puissante et efficace pour l'exploitation et la classification de texte à grande échelle. Ses capacités d'automatisation réduisent considérablement le temps et les ressources nécessaires pour analyser les données de texte non structurées, permettant la prise de décision basée sur les données dans divers domaines. Le potentiel de développement et d'applications entre les industries est substantiel. Pour ceux qui s'intéressent au développement des applications LLM, un cours sur "Developing LLM Applications with Langchain" est recommandé.

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!