Entraînement en temps réel : vers des LLM plus intelligents et adaptatifs

Améliorer les modèles de langage avec l’entraînement en temps réel

Les grands modèles de langage (LLM) sont impressionnants par leurs capacités, mais ils montrent souvent leurs limites face à des tâches nouvelles complexes qui demandent une réflexion approfondie. Par exemple, un LLM entraîné pour résumer des rapports financiers peut échouer lorsqu’il s’agit de prédire des tendances de marché ou de détecter des fraudes.

Une méthode innovante pour une meilleure adaptabilité

Des chercheurs du MIT ont exploré une technique appelée « entraînement en temps réel » (test-time training) visant à rendre ces modèles plus flexibles et performants face à des problèmes inédits. Cette méthode consiste à mettre à jour temporairement certains paramètres internes du modèle pendant son utilisation, en s’appuyant sur des exemples propres à la tâche à résoudre.

Leur cadre expérimental permet d’améliorer l’exactitude des modèles jusqu’à six fois par rapport aux approches classiques. Cette avancée pourrait permettre aux LLM d’aborder des tâches logiques complexes dans des domaines variés, allant du diagnostic médical à la gestion des chaînes d’approvisionnement.

Combiner apprentissage contextuel et entraînement en temps réel

Habituellement, les utilisateurs améliorent les LLM via l’apprentissage en contexte, qui consiste à fournir au modèle quelques exemples textuels pour guider ses réponses. Cependant, cette approche ne suffit pas toujours pour résoudre des problèmes nécessitant un raisonnement poussé.

Le MIT a montré que coupler apprentissage en contexte et entraînement en temps réel décuple les performances. Les chercheurs utilisent un petit ensemble d’exemples de la tâche, puis augmentent artificiellement ce jeu de données en modifiant légèrement les exemples. Ils appliquent ensuite une adaptation fine, dite low-rank adaption, sur un nombre réduit de paramètres, rendant le processus plus efficace.

Des applications prometteuses malgré une contrainte de temps

Cette démarche demande plus de temps pour chaque requête (de 5 à 10 minutes contre quelques secondes habituellement), ce qui empêche une utilisation systématique. Pourtant, elle est particulièrement utile pour des tâches très complexes ou inédites où les LLM classiques peinent.

Les tests réalisés sur des ensembles de données difficiles, tels que des énigmes nécessitant un raisonnement proche des tests de QI, attestent d’améliorations considérables allant jusqu’à six fois plus précises.

Vers des modèles capables d’apprendre en continu

L’objectif à long terme est de développer des modèles capables de juger eux-mêmes s’il faut appliquer l’entraînement en temps réel ou l’apprentissage en contexte, sans intervention humaine. Cette perspective pourrait révolutionner la manière dont les LLM s’adaptent et apprennent face aux nouvelles demandes.

Cette recherche, soutenue par le MIT-IBM Watson AI Lab et la National Science Foundation, ouvre une voie passionnante vers des intelligences artificielles plus agiles et performantes.

👉 Source ici

A lire ensuite