Un nouvel algorithme pour rendre les réponses d’IA plus fiables et efficaces

Les modèles de langage tels que ChatGPT impressionnent par leur capacité à fournir des réponses précises, mais ils peuvent aussi générer des informations erronées ou incertaines. Pour pallier ce problème, des chercheurs de l’ETH Zurich ont mis au point un algorithme innovant qui améliore la fiabilité des intelligences artificielles tout en réduisant leurs besoins en puissance de calcul.

**Comprendre le défi des modèles de langage**
Les grands modèles de langage (LLM), à la base des IA de traitement de texte, fonctionnent en se basant sur d’énormes ensembles de données. Toutefois, il est souvent difficile de savoir si leurs réponses reposent sur des informations solides ou sur des données incertaines ou insuffisantes. Cette incertitude dans les réponses constitue un frein majeur à leur utilisation fiable dans des contextes spécialisés.

**Un algorithme pour réduire l’incertitude**
L’équipe de recherche de l’Institut d’apprentissage automatique de l’ETH Zurich a développé une méthode baptisée SIFT (Selecting Informative data for Fine-Tuning) qui enrichit les modèles de langue avec des données spécifiques pertinentes pour la question posée. Par exemple, une entreprise ou un chercheur peut intégrer ses propres données locales à un modèle comme LLaMA, puis SIFT sélectionne les informations les plus utiles pour répondre avec précision.

**Comment fonctionne SIFT ?**
Les modèles de langage organisent les données sous forme de vecteurs dans un espace multidimensionnel, où chaque vecteur correspond à un élément de langage comme un mot ou un fragment. La méthode SIFT exploite ces vecteurs en analysant l’angle entre eux, qui indique la corrélation entre différentes informations. Un angle faible signifie une forte relation, tandis qu’un angle important suggère des informations complémentaires mais distinctes.

Contrairement à la méthode dite du plus proche voisin, qui peut accumuler des informations redondantes, SIFT privilégie la diversité des données complémentaires afin de couvrir l’ensemble des aspects d’une question complexe. Par exemple, pour une question à deux volets comme « Quel âge a Roger Federer et combien d’enfants a-t-il ? », SIFT identifiera des informations pertinentes pour les deux parties en évitant de se concentrer uniquement sur des données fréquentes comme la date de naissance.

**Des réponses plus fiables avec moins de ressources**
Cette sélection ciblée permet non seulement d’améliorer la pertinence des réponses, mais aussi d’optimiser l’utilisation des ressources informatiques. En mesurant indirectement le degré d’incertitude, le modèle peut décider de la quantité de données supplémentaires nécessaires pour répondre de façon fiable. Cela se traduit par une réduction du coût en calcul tout en maintenant une haute qualité de réponse.

De plus, le modèle s’affine en continu grâce à ce qu’on appelle l’entraînement en temps réel, ce qui le rend de plus en plus performant avec l’usage. Lors de tests, l’algorithme a permis à des modèles jusqu’à 40 fois plus petits d’égaler voire surpasser des modèles beaucoup plus grands.

**Des applications prometteuses dans divers domaines**
Au-delà de l’amélioration des modèles de langage, SIFT présente un intérêt pour la valorisation des données dans des secteurs spécialisés. Par exemple, en médecine, cet algorithme pourrait aider à déterminer quelles analyses ou mesures sont les plus significatives pour un diagnostic précis.

Cette innovation de l’ETH Zurich, reconnue par un prix lors de la conférence NeurIPS 2024, ouvre la voie à des intelligences artificielles plus fiables, efficaces et adaptées aux besoins spécifiques des utilisateurs.

👉 Source ici

A lire ensuite