WeGeFT : booster les grands modèles sans surcoût
Les large language models (LLMs) sont entraînés sur d’énormes volumes de données. Pour qu’ils excellent sur des tâches ciblées – résoudre un problème mathématique, générer du code ou analyser une image – il faut les fine-tuner. Or, retrainer un modèle de plusieurs milliards de paramètres peut vite devenir inabordable.
Le défi du fine-tuning
Depuis 2022, la technique LoRA permet d’ajuster un petit sous-ensemble de paramètres clés pour améliorer les performances, tout en limitant la surcharge computationnelle. Cependant, toutes les variantes tentent d’optimiser LoRA sans toujours réussir à gagner en efficacité, ou en demandant plus de ressources.
Comment WeGeFT change la donne
Difficile à croire ? Pourtant, la méthode WeGeFT (Weight-Generative Fine-Tuning) mise au point par des chercheurs de l’université NC State apporte une astuce mathématique supplémentaire. Elle identifie non seulement quels paramètres sont les plus influents, mais détermine aussi lesquels sont réellement nouveaux pour le modèle. En leur donnant davantage de poids, WeGeFT améliore la performance sans surcharger la machine.
Performances et perspectives
En tests, WeGeFT rivalise ou surpasse LoRA sur des tâches variées : raisonnement de bon sens, calcul, génération de code ou reconnaissance visuelle. Ce n’est pas une révolution, mais ça mérite le détour. Prochaine étape ? Exploiter WeGeFT pour cibler les paramètres à l’origine de sorties indésirables et renforcer la sécurité des IA.
👉 Source ici