Une récente [étude] d'Anthropic, une société de sécurité et de recherche sur l'intelligence artificielle, commence à révéler la vérité sur ces processus complexes, montrant une complexité qui est avec inquiétude à notre propre domaine cognitif. L'intelligence naturelle et l'intelligence artificielle peuvent être plus similaires que nous ne le pensons.

Espection à l'intérieur: étude d'interprétabilité anthropique

Les nouvelles découvertes de la recherche menée par anthropique représentent des progrès importants dans le domaine de l'interprétabilité mécaniste, qui vise à rétro-ingénieur l'informatique interne de l'IA - pas simplement d'observer ce que fait l'IA, mais comprend comment il le fait au niveau des neurones artificiels.

Imaginez essayer de comprendre le cerveau en dessinant ce que les neurones tirent lorsque quelqu'un voit un objet spécifique ou pense à une idée spécifique. Les chercheurs anthropes ont appliqué un principe similaire à leur modèle Claude. Ils ont développé des méthodes pour scanner le grand nombre de réseaux dans le modèle de balayage et identifier des modèles ou des "fonctionnalités" spécifiques cohérents avec différents concepts. Ils démontrent la capacité d'identifier des millions de telles caractéristiques, reliant les concepts abstraits - des entités en béton comme le pont Golden Gate à des concepts plus nuancés qui peuvent être liés à la sécurité, au biais et même aux objectifs - à des modèles d'activité spécifiques et mesurables au sein du modèle.

C'est une énorme amélioration. Cela montre que l'IA n'est pas seulement un tas de [corrélations statistiques], mais a un système de représentation interne structuré. Les concepts ont des encodages spécifiques dans le réseau. Bien que la cartographie de chaque nuance du processus de ?pensée? de l'IA reste un énorme défi, cette étude montre que la compréhension de principe est possible.

De la carte interne au comportement émergent

La capacité d'identifier comment l'IA représente les concepts en interne a une signification intéressante. Si un modèle a des représentations internes différentes de concepts tels que la ?satisfaction des utilisateurs?, ?des informations précises?, ?un contenu potentiellement nocif? et même des objectifs instrumentaux tels que ?maintenir l'engagement des utilisateurs?, alors comment ces fonctionnalités internes interagissent-elles et affectent la sortie finale?

Les derniers résultats de la recherche stimulent la discussion sur [l'alignement de l'IA]: s'assurer que les systèmes d'IA agissent d'une manière qui s'aligne sur les valeurs et les intentions humaines. Si nous pouvons identifier les caractéristiques internes correspondant à des comportements problématiques potentiels tels que la génération de texte biaisé ou la poursuite d'objectifs inattendus, nous pouvons intervenir ou concevoir des systèmes plus s?rs. Au lieu de cela, il ouvre également la porte à comprendre comment réaliser des comportements idéaux, comme être honnête ou être utile.

Cela implique également [la capacité d'urgence], c'est-à-dire que le modèle développe des compétences ou des comportements sans programmation explicite pendant la formation. Comprendre les représentations internes peut aider à expliquer pourquoi ces capacités émergent, plut?t que de simplement les observer. En outre, il rend des concepts tels que la convergence instrumentale plus claire. Supposons que les principaux objectifs d'optimisation de l'IA (par exemple, l'aide). Va-t-il développer des représentations et des stratégies internes correspondant aux sous-objectifs (tels que ?faire confiance aux utilisateurs? ou ?éviter les réponses qui conduisent à l'insatisfaction?), ce qui peut conduire à la production qui ressemble à une gestion de l'impression humaine, et plus frangement - même s'il n'y a pas d'intention claire au sens humain, c'est une tromperie?

Miroir dérangeant: l'IA reflète Ni

Le travail d'interprétation d'Anthropic ne souligne pas explicitement que Claude triche activement les utilisateurs. Cependant, la révélation de l'existence de représentations internes à grain fin fournit une base technique pour une enquête attentive sur cette possibilité. Cela suggère que des ?blocs de construction? internes d'un comportement complexe et potentiellement opaque peuvent exister. Cela le rend étonnamment similaire à la pensée humaine.

C'est l'ironie. Les représentations internes stimulent nos propres comportements sociaux complexes. Nos cerveaux construisent des modèles de pensée du monde, de nous-mêmes et des autres. Cela nous permet de prédire le comportement des autres, de déduire leurs intentions, leur empathie, leur coopération et leur communication efficace.

Cependant, les mêmes mécanismes cognitifs rendent également les stratégies de navigation sociale qui ne sont pas toujours transparentes. Nous participons à la gestion des impressions et planifions soigneusement la fa?on dont nous nous présentons. Nous disons ?un mensonge de bonne volonté? pour maintenir l'harmonie sociale. Nous soulignons sélectivement les informations qui soutiennent nos objectifs et minimisent le fait que les inconvénients sont. Nos modèles internes d'attentes ou de désirs des autres fa?onnent constamment notre communication. Ce ne sont pas nécessairement des actes malveillants, mais font souvent partie intégrante du bon fonctionnement de la société. Ils proviennent de notre cerveau en mesure de représenter des variables sociales complexes et de prédire les résultats d'interaction.

L'image émergente à l'intérieur de LLM révélée par des études d'interprétabilité présente des similitudes fascinantes. Nous trouvons des représentations internes structurées dans ces systèmes d'IA, qui leur permettent de traiter les informations, de simuler les relations dans les données (y compris un grand nombre d'interactions sociales humaines) et de générer une sortie contextuelle.

Notre avenir dépend de la pensée critique

Des techniques con?ues pour rendre l'IA utile et inoffensive - en apprenant à partir de la rétroaction humaine, prédisant les séquences idéales de textes - peut conduit par inadvertance au développement de représentations internes qui imitent fonctionnellement certains aspects de la cognition sociale humaine, y compris des compétences en communication stratégique trompeuses adaptées aux attentes des utilisateurs percevables.

Les systèmes biologiques ou artificiels complexes développeront-ils des stratégies de modélisation internes similaires lors de la navigation des informations complexes et des environnements interactifs? Les recherches d'Anthropic offrent un aper?u attrayant du monde intérieur de l'IA, suggérant que sa complexité peut nous refléter plus que nous ne l'avons réalisé auparavant - et ce que nous espérions.

Comprendre les mécanismes internes de l'IA est crucial et ouvre un nouveau chapitre dans la résolution des défis en attente. Les caractéristiques de dessin ne sont pas les mêmes que le comportement entièrement prédit. Une grande échelle et une complexité signifient qu'une interprétabilité vraiment complète reste un objectif lointain. La signification éthique est d'une grande importance. Comment construisons-nous des systèmes capables, vraiment dignes de confiance et transparents?

Continuer à investir dans la sécurité de la sécurité, l'alignement et l'interprétabilité de l'IA reste essentiel. Les efforts d'Anthropic à cet égard et d'autres laboratoires de premier plan [efforts] sont cruciaux pour développer les outils et les compréhensions nécessaires pour guider le développement de l'IA, qui ne mettra pas en danger l'humanité qu'il devrait servir.

IMPORTANT: Utilisez le mensonge pour détecter les mensonges dans la pensée numérique

En tant qu'utilisateurs, l'interaction avec ces systèmes d'IA de plus en plus complexes nécessite un niveau élevé d'engagement critique. Bien que nous bénéficions de leurs capacités, le maintien de la prise de conscience de leur nature en tant qu'algorithmes complexes est essentiel. Pour faciliter cette pensée critique, considérez la logique de mensonge:

Clarité : recherchez clairement la nature et les limites de l'IA. Sa réponse est générée sur la base de modèles d'apprentissage et de représentations internes complexes, plut?t que de la compréhension, de la croyance ou de la conscience réelles. Questionner la source et la certitude évidente des informations fournies. Rappelez-vous régulièrement que votre chatbot ne ?sait pas? ou ne ?pense? pas au sens humain, même si sa sortie l'imite efficacement.

Intention : N'oubliez pas votre intention lors de l'incitation et les fonctions objectives programmatiques de l'IA (généralement définies comme des réponses aidant, inoffensives et générant des réponses cohérentes avec la rétroaction humaine). Comment votre requête fa?onne-t-elle la sortie? Cherchez-vous des souvenirs de faits, de l'exploration créative ou de la recherche inconsciemment de confirmation de vos propres biais? Comprendre ces intentions aide à mettre les interactions dans un contexte.

Efforts : un effort conscient pour vérifier et évaluer les résultats. N'acceptez pas passivement les informations générées par l'IA, en particulier dans les décisions clés. Référence croisée avec des sources fiables. L'engagement critique avec l'IA - explorez son raisonnement (même s'il est simplifié), testez ses limites et considèrez l'interaction comme une collaboration avec des outils puissants mais sujets aux erreurs plut?t que d'accepter les proclamations de prophètes infaillibles.

En fin de compte, le proverbe ?[déchets, poubelle]? est apparu t?t dans l'IA et s'applique toujours. Nous ne pouvons pas nous attendre à ce que la technologie d'aujourd'hui reflète les valeurs que les humains n'ont pas montrées hier. Mais nous avons le choix. Le voyage dans l'ère de l'IA avancée est un voyage de co-évolution. En favorisant la clarté, les intentions morales et l'engagement critique, nous pouvons explorer ce domaine avec curiosité et être franchement conscient de la complexité de notre intelligence naturelle et artificielle et de leurs interactions.

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!