Des chercheurs identifient des unités clés dans l’IA qui imitent le système de langage humain

Découverte majeure : des unités clés dans l’intelligence artificielle reflètent le système de langage humain

Des chercheurs de l’EPFL ont réalisé une avancée remarquable dans la compréhension des grands modèles de langage (LLM), en identifiant des unités spécialisées qui jouent un rôle crucial dans le traitement du langage, semblables aux réseaux cérébraux humains dédiés au langage.

Des modèles d’IA qui imitent le cerveau

Les LLM ne se contentent pas de comprendre et générer du texte. Ils peuvent aussi raisonner, résoudre des problèmes, et même anticiper les pensées ou émotions des interlocuteurs. Pourtant, la manière dont ils accomplissent ces tâches restait partiellement mystérieuse. Inspirés par les découvertes en neurosciences, notamment les réseaux spécifiques au langage dans le cerveau humain, les chercheurs ont voulu savoir si ces modèles possèdent eux aussi des unités ou modules spécialisés.

Après avoir étudié 18 modèles populaires, l’équipe a découvert que certains neurones du modèle forment un réseau central dédié au langage. Ces neurones, activés préférentiellement par des phrases cohérentes et non par des listes de mots aléatoires, ressemblent aux réseaux cérébraux du langage humain.

Moins de 100 neurones essentiels au langage

Pour vérifier leur rôle, les chercheurs ont désactivé ces unités spécialisées, puis comparé avec la désactivation aléatoire d’autres neurones. La conséquence a été frappante : en coupant ces neurones ciblés, le modèle ne pouvait plus produire de texte cohérent et échouait aux tests linguistiques, tandis que la désactivation aléatoire n’avait pas cet effet.

Moins d’1 % des neurones, soit une centaine environ, sont donc indispensables à la capacité du modèle à comprendre et générer le langage. Cette découverte est d’autant plus surprenante que le procédé pour identifier ces neurones était plus simple et efficace que les méthodes précédentes, habituellement beaucoup plus complexes.

Au-delà du langage : d’autres fonctions spécifiques ?

Les chercheurs ont également exploré la présence d’unités dédiées à d’autres fonctions comme le raisonnement ou la pensée sociale (théorie de l’esprit). Ils ont constaté que certains modèles en possèdent, tandis que d’autres non. Cette disparité soulève des questions sur les facteurs déterminant la spécialisation des unités, comme les types de données ou méthodes d’entraînement utilisés.

Perspectives futures et applications

Cette étude ouvre plusieurs voies passionnantes : comprendre mieux les modèles multimodaux capables de traiter texte, images, sons ; évaluer si désactiver ces réseaux spécialisés affecte d’autres capacités cognitives ; ou encore rapprocher ces connaissances du fonctionnement du cerveau humain, notamment pour améliorer le diagnostic et le traitement des maladies neurologiques.

À terme, mieux comprendre ces unités spécialisées dans les IA pourrait non seulement améliorer la performance des modèles mais aussi offrir un miroir scientifique pour étudier notre propre cerveau et ses dysfonctionnements.

👉 Source ici

A lire ensuite