Nouvelle avancée mathématique : optimiser le transfert d’apprentissage dans les réseaux neuronaux

Un nouveau modèle mathématique révolutionne le transfert d’apprentissage dans les réseaux neuronaux

Dans le domaine de l’intelligence artificielle, l’entraînement des réseaux neuronaux nécessite généralement de vastes ensembles de données. Cependant, dans de nombreux secteurs, notamment la médecine, ces données massives sont difficilement accessibles. C’est dans ce contexte qu’Alessandro Ingrosso, chercheur à l’Institut Donders des Neurosciences, a développé, avec ses collègues italiens, une méthode mathématique innovante pour prédire l’efficacité du transfert d’apprentissage dans les réseaux neuronaux.

Le défi des données limitées

Imaginez un système d’intelligence artificielle chargé de reconnaître un chien sur une image. En étant entraîné avec des milliers de photos de chiens, il devient efficace pour identifier l’animal sur de nouvelles images. Mais lorsqu’il s’agit, par exemple, d’analyser des images médicales pour diagnostiquer un cancer par ultrasons, les exemples à disposition sont souvent en nombre insuffisant.

Cette pénurie de données entraîne un phénomène appelé surapprentissage (« overfitting »), où le réseau fonctionne bien sur les données d’entraînement mais échoue à généraliser ses prédictions sur de nouveaux cas. Conséquence : des taux élevés de faux positifs et faux négatifs, ce qui est particulièrement critique en médecine.

Le transfert d’apprentissage comme solution

Pour pallier ce problème, la technique du transfert d’apprentissage s’impose. Elle consiste à transférer les connaissances acquises par un réseau entraîné sur un large ensemble de données (« source ») vers un nouveau réseau qui doit apprendre avec peu de données (« cible »). Ingrosso et son équipe ont étudié un modèle simple de ce processus, en se concentrant sur les réseaux à une seule couche cachée, et ont élaboré une théorie mathématique précise pour anticiper les résultats du transfert.

Une approche analytique innovante

Leur méthode combine deux outils analytiques puissants : l’approche récente de « Kernel Renormalization » et la formalisation classique « Franz-Parisi » issue de la théorie des verres de spin. Ce mélange ingénieux permet de travailler directement avec des données réelles au lieu de simples modèles statistiques ou approximations, offrant ainsi une prédiction fiable de la capacité du réseau cible à généraliser les données après transfert.

Cette avancée ouvre la voie à des applications plus efficaces de l’intelligence artificielle dans des domaines à données rares, renforçant notamment les capacités diagnostics en médecine et d’autres secteurs spécialisés.

👉 Source ici

A lire ensuite