Périphériques technologiques
IA
KAN, qui remplace MLP, a été étendu à la convolution par des projets open source
KAN, qui remplace MLP, a été étendu à la convolution par des projets open source
Jun 01, 2024 pm 10:03 PM
Au début du mois, des chercheurs du MIT et d'autres institutions ont proposé une alternative très prometteuse au MLP - KAN.
KAN surpasse MLP en termes de précision et d'interprétabilité. Et il peut surpasser le MLP fonctionnant avec un plus grand nombre de paramètres avec un très petit nombre de paramètres. Par exemple, les auteurs ont déclaré avoir utilisé KAN pour reproduire les résultats de DeepMind avec un réseau plus petit et un degré d'automatisation plus élevé. Plus précisément, le MLP de DeepMind compte environ 300 000 paramètres, tandis que le KAN n'en compte qu'environ 200.
KAN a le même fondement mathématique solide que MLP, qui est basé sur le théorème d'approximation universelle, tandis que KAN est basé sur le théorème de représentation de Kolmogorov-Arnold.
Comme le montre la figure ci-dessous, KAN a des fonctions d'activation sur les bords, tandis que MLP a des fonctions d'activation sur les n?uds. KAN semble être plus efficace en termes de paramètres que MLP, mais chaque couche KAN a plus de paramètres que les couches MLP. image: [Figure 1?: Diagramme schématique] Brève explication: KAN est une structure de réseau neuronal basée sur les bords, et chaque n?ud a une fonction de poids de bord et d'activation. Il réalise la transmission et la mise à jour des informations via la propagation de périphérie. MLP est une structure de réseau neuronal basée sur des n?uds, chaque n?ud a une entrée
Récemment, certains chercheurs ont étendu le concept du cadre innovant KAN aux réseaux neuronaux convolutifs, transformant la transformation linéaire classique de la convolution au lieu d'un fonction d'activation non linéaire apprenable dans chaque pixel, la convolution KAN (CKAN) est proposée et open source.
Adresse du projet?: https://github.com/AntonioTepsich/Convolutional-KANs
Convolution KAN
La convolution KAN+ est très similaire à la convolution, mais pas dans le noyau et l'image au lieu de en appliquant un produit scalaire entre les pixels correspondants, une fonction d'activation non linéaire apprenable est appliquée à chaque élément puis additionnée. Le noyau de KAN+convolution est équivalent à une couche KAN+linéaire avec 4 neurones d’entrée et 1 neurone de sortie. Pour chaque entrée i, en appliquant la fonction apprenable ?_i, le pixel résultant de cette étape de convolution est la somme de ?_i (x_i).
Paramètres KAN en convolution
En supposant qu'il existe un noyau KxK, pour chaque élément de cette matrice, il existe un ? avec un nombre de paramètres de : taille de grille + 1, ? est défini comme :
Cela offre plus d'expressibilité pour la fonction d'activation b, le nombre de paramètres de la couche linéaire est taille de grille + 2. Par conséquent, la convolution KAN a un total de paramètres K ^ 2 (taille de la grille + 2), tandis que la convolution ordinaire n'a que K ^ 2.
évaluation initiale
Les différentes architectures testées par l'auteur sont :
- Couche convolutive KAN (KKAN) connectée à la couche linéaire KAN
- Couche convolutive KAN (CKAN) connectée au MLP )
- CKAN (CKAN_BN) avec normalisation par lots entre convolutions
- ConvNet (convolution classique connectée à MLP) (ConvNet)
- MLP simple
L'auteur déclare que la mise en ?uvre de convolution KAN est une idée prometteuse, même si elle en est encore à ses débuts. Ils ont mené quelques expériences préliminaires pour évaluer les performances des convolutions KAN.
Il convient de noter que la raison de la publication de ces résultats ? préliminaires ? est qu'ils espèrent introduire cette idée au monde extérieur le plus rapidement possible et promouvoir une recherche plus large dans la communauté.
Chaque élément de la liste dans la couche convolutive contient le numéro de convolution et la taille du noyau correspondant.
Sur la base de l'ensemble de données MNIST 28x28, on peut observer que les modèles KANConv et MLP atteignent une précision acceptable par rapport à ConvNet (grand). Cependant, la différence est que KANConv & MLP nécessitent 7 fois plus de paramètres que ConvNet standard. De plus, la précision de KKAN est inférieure de 0,04 à celle de ConvNet Medium, tandis que le nombre de paramètres (94 000 contre 157 000) est presque la moitié de celui de ConvNet Medium, ce qui montre le potentiel de cette architecture. Nous devons également mener des expériences sur davantage d’ensembles de données pour tirer des conclusions à ce sujet.
Dans les jours et semaines à venir, les auteurs peaufineront également en profondeur le modèle et les hyperparamètres des modèles utilisés à des fins de comparaison. Bien que certaines variantes d'hyperparamètres et d'architecture aient été essayées, il s'agit uniquement d'heuristiques et ne suivent aucune approche précise. Ils n’ont pas encore travaillé avec des ensembles de données volumineux ou plus complexes en raison de contraintes de puissance de calcul et de temps, et travaillent à résoudre ce problème.
à l'avenir, l'auteur mènera des expériences sur des ensembles de données plus complexes, ce qui signifie que la quantité de paramètres de KANS augmentera car davantage de couches convolutives KAN doivent être implémentées.
Conclusion
Actuellement, par rapport aux réseaux convolutifs traditionnels, l'auteur a déclaré qu'il n'a pas constaté d'amélioration significative des performances des réseaux convolutifs KAN. Leur analyse estime que cela est d? à l'utilisation d'ensembles de données et de modèles simples. Par rapport à la meilleure architecture essayée (ConvNet Big, cette comparaison est injuste en fonction du facteur d'échelle), l'avantage de cette architecture est qu'elle a un bon contr?le. paramètres. Les exigences sont bien moindres.
La comparaison entre 2 couches convolutives identiques et la couche convolutive KAN avec le même MLP connecté à la fin montre que la méthode classique est légèrement meilleure avec une augmentation de 0,06 en précision, tandis que la couche convolutive KAN et KAN linéaire Le nombre de paramètres dans la couche est presque la moitié de celle de la méthode classique, mais la précision est réduite de 0,04.
L'auteur a déclaré qu'à mesure que la complexité du modèle et de l'ensemble de données augmente, les performances du réseau convolutif KAN devraient s'améliorer. Dans le même temps, à mesure que la dimension d’entrée augmente, le nombre de paramètres du modèle augmentera également plus rapidement.
Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!
Outils d'IA chauds
Undress AI Tool
Images de déshabillage gratuites
Undresser.AI Undress
Application basée sur l'IA pour créer des photos de nu réalistes
AI Clothes Remover
Outil d'IA en ligne pour supprimer les vêtements des photos.
Clothoff.io
Dissolvant de vêtements AI
Video Face Swap
échangez les visages dans n'importe quelle vidéo sans effort grace à notre outil d'échange de visage AI entièrement gratuit?!
Article chaud
Outils chauds
Bloc-notes++7.3.1
éditeur de code facile à utiliser et gratuit
SublimeText3 version chinoise
Version chinoise, très simple à utiliser
Envoyer Studio 13.0.1
Puissant environnement de développement intégré PHP
Dreamweaver CS6
Outils de développement Web visuel
SublimeText3 version Mac
Logiciel d'édition de code au niveau de Dieu (SublimeText3)
L'IA bouleverse la recherche mathématique ! Le lauréat de la médaille Fields et mathématicien sino-américain a dirigé 11 articles les mieux classés | Aimé par Terence Tao
Apr 09, 2024 am 11:52 AM
L’IA change effectivement les mathématiques. Récemment, Tao Zhexuan, qui a prêté une attention particulière à cette question, a transmis le dernier numéro du ? Bulletin de l'American Mathematical Society ? (Bulletin de l'American Mathematical Society). En se concentrant sur le thème ? Les machines changeront-elles les mathématiques ? ?, de nombreux mathématiciens ont exprimé leurs opinions. L'ensemble du processus a été plein d'étincelles, intense et passionnant. L'auteur dispose d'une équipe solide, comprenant Akshay Venkatesh, lauréat de la médaille Fields, le mathématicien chinois Zheng Lejun, l'informaticien de l'Université de New York Ernest Davis et de nombreux autres universitaires bien connus du secteur. Le monde de l’IA a radicalement changé. Vous savez, bon nombre de ces articles ont été soumis il y a un an.
Bonjour, Atlas électrique ! Le robot Boston Dynamics revient à la vie, des mouvements étranges à 180 degrés effraient Musk
Apr 18, 2024 pm 07:58 PM
Boston Dynamics Atlas entre officiellement dans l’ère des robots électriques ! Hier, l'Atlas hydraulique s'est retiré "en larmes" de la scène de l'histoire. Aujourd'hui, Boston Dynamics a annoncé que l'Atlas électrique était au travail. Il semble que dans le domaine des robots humano?des commerciaux, Boston Dynamics soit déterminé à concurrencer Tesla. Après la sortie de la nouvelle vidéo, elle a déjà été visionnée par plus d’un million de personnes en seulement dix heures. Les personnes agées partent et de nouveaux r?les apparaissent. C'est une nécessité historique. Il ne fait aucun doute que cette année est l’année explosive des robots humano?des. Les internautes ont commenté : Les progrès des robots ont fait ressembler la cérémonie d'ouverture de cette année à des êtres humains, et le degré de liberté est bien plus grand que celui des humains. Mais n'est-ce vraiment pas un film d'horreur ? Au début de la vidéo, Atlas est allongé calmement sur le sol, apparemment sur le dos. Ce qui suit est à couper le souffle
Le modèle MoE open source le plus puissant au monde est ici, avec des capacités chinoises comparables à celles du GPT-4, et le prix ne représente que près d'un pour cent de celui du GPT-4-Turbo.
May 07, 2024 pm 04:13 PM
Imaginez un modèle d'intelligence artificielle qui non seulement a la capacité de surpasser l'informatique traditionnelle, mais qui permet également d'obtenir des performances plus efficaces à moindre co?t. Ce n'est pas de la science-fiction, DeepSeek-V2[1], le modèle MoE open source le plus puissant au monde est ici. DeepSeek-V2 est un puissant mélange de modèle de langage d'experts (MoE) présentant les caractéristiques d'une formation économique et d'une inférence efficace. Il est constitué de 236B paramètres, dont 21B servent à activer chaque marqueur. Par rapport à DeepSeek67B, DeepSeek-V2 offre des performances plus élevées, tout en économisant 42,5?% des co?ts de formation, en réduisant le cache KV de 93,3?% et en augmentant le débit de génération maximal à 5,76 fois. DeepSeek est une entreprise explorant l'intelligence artificielle générale
DualBEV?: dépassant largement BEVFormer et BEVDet4D, ouvrez le livre?!
Mar 21, 2024 pm 05:21 PM
Cet article explore le problème de la détection précise d'objets sous différents angles de vue (tels que la perspective et la vue à vol d'oiseau) dans la conduite autonome, en particulier comment transformer efficacement les caractéristiques de l'espace en perspective (PV) en vue à vol d'oiseau (BEV). implémenté via le module Visual Transformation (VT). Les méthodes existantes sont globalement divisées en deux stratégies?: la conversion 2D en 3D et la conversion 3D en 2D. Les méthodes 2D vers 3D améliorent les caractéristiques 2D denses en prédisant les probabilités de profondeur, mais l'incertitude inhérente aux prévisions de profondeur, en particulier dans les régions éloignées, peut introduire des inexactitudes. Alors que les méthodes 3D vers 2D utilisent généralement des requêtes 3D pour échantillonner des fonctionnalités 2D et apprendre les poids d'attention de la correspondance entre les fonctionnalités 3D et 2D via un transformateur, ce qui augmente le temps de calcul et de déploiement.
Google est ravi?: les performances de JAX surpassent Pytorch et TensorFlow?! Cela pourrait devenir le choix le plus rapide pour la formation à l'inférence GPU
Apr 01, 2024 pm 07:46 PM
Les performances de JAX, promu par Google, ont dépassé celles de Pytorch et TensorFlow lors de récents tests de référence, se classant au premier rang sur 7 indicateurs. Et le test n’a pas été fait sur le TPU présentant les meilleures performances JAX. Bien que parmi les développeurs, Pytorch soit toujours plus populaire que Tensorflow. Mais à l’avenir, des modèles plus volumineux seront peut-être formés et exécutés sur la base de la plate-forme JAX. Modèles Récemment, l'équipe Keras a comparé trois backends (TensorFlow, JAX, PyTorch) avec l'implémentation native de PyTorch et Keras2 avec TensorFlow. Premièrement, ils sélectionnent un ensemble de
Les robots Tesla travaillent dans les usines, Musk : Le degré de liberté des mains atteindra 22 cette année !
May 06, 2024 pm 04:13 PM
La dernière vidéo du robot Optimus de Tesla est sortie, et il peut déjà fonctionner en usine. à vitesse normale, il trie les batteries (les batteries 4680 de Tesla) comme ceci : Le responsable a également publié à quoi cela ressemble à une vitesse 20 fois supérieure - sur un petit "poste de travail", en sélectionnant et en sélectionnant et en sélectionnant : Cette fois, il est publié L'un des points forts de la vidéo est qu'Optimus réalise ce travail en usine, de manière totalement autonome, sans intervention humaine tout au long du processus. Et du point de vue d'Optimus, il peut également récupérer et placer la batterie tordue, en se concentrant sur la correction automatique des erreurs : concernant la main d'Optimus, le scientifique de NVIDIA Jim Fan a donné une évaluation élevée : la main d'Optimus est l'un des robots à cinq doigts du monde. le plus adroit. Ses mains ne sont pas seulement tactiles
KAN, qui remplace MLP, a été étendu à la convolution par des projets open source
Jun 01, 2024 pm 10:03 PM
Plus t?t ce mois-ci, des chercheurs du MIT et d'autres institutions ont proposé une alternative très prometteuse au MLP – KAN. KAN surpasse MLP en termes de précision et d’interprétabilité. Et il peut surpasser le MLP fonctionnant avec un plus grand nombre de paramètres avec un très petit nombre de paramètres. Par exemple, les auteurs ont déclaré avoir utilisé KAN pour reproduire les résultats de DeepMind avec un réseau plus petit et un degré d'automatisation plus élevé. Plus précisément, le MLP de DeepMind compte environ 300 000 paramètres, tandis que le KAN n'en compte qu'environ 200. KAN a une base mathématique solide comme MLP est basé sur le théorème d'approximation universelle, tandis que KAN est basé sur le théorème de représentation de Kolmogorov-Arnold. Comme le montre la figure ci-dessous, KAN a
Les performances d'exécution locale du service Embedding dépassent celles d'OpenAI Text-Embedding-Ada-002, ce qui est très pratique !
Apr 15, 2024 am 09:01 AM
Ollama est un outil super pratique qui vous permet d'exécuter facilement des modèles open source tels que Llama2, Mistral et Gemma localement. Dans cet article, je vais vous présenter comment utiliser Ollama pour vectoriser du texte. Si vous n'avez pas installé Ollama localement, vous pouvez lire cet article. Dans cet article, nous utiliserons le modèle nomic-embed-text[2]. Il s'agit d'un encodeur de texte qui surpasse OpenAI text-embedding-ada-002 et text-embedding-3-small sur les taches à contexte court et à contexte long. Démarrez le service nomic-embed-text lorsque vous avez installé avec succès o
