SmolVLA : Le modèle d’IA open source qui booste la robotique sur ordinateur grand public

SmolVLA : Le nouveau modèle d’IA open source de Hugging Face révolutionne la robotique

Hugging Face vient de lancer SmolVLA, un modèle d’intelligence artificielle (IA) vision-langage-action (VLA) open source destiné aux workflows robotiques et aux tâches d’entraînement. Ce modèle se distingue par sa taille compacte – seulement 450 millions de paramètres – ce qui lui permet de fonctionner localement sur un ordinateur équipé d’un seul GPU grand public, voire sur un MacBook récent. Malgré sa taille modeste, SmolVLA promet de surpasser des modèles bien plus volumineux.

Un frein majeur dans l’innovation robotique

Le développement rapide de l’IA ne s’est pas pleinement répercuté dans le domaine de la robotique. Selon Hugging Face, le principal obstacle vient du manque de données de haute qualité et diversifiées, ainsi que de modèles de langage dédiés aux workflows robotiques. Les modèles VLA sont apparus pour répondre à ce besoin, mais la plupart des grands acteurs comme Google ou Nvidia exploitent des modèles propriétaires entraînés sur des jeux de données privés, limitant ainsi la recherche collaborative et l’innovation ouverte.

SmolVLA, une solution open source accessible

SmolVLA se pose comme une réponse à ces problématiques en proposant un modèle entièrement open source, entraîné sur un dataset public fourni par la communauté LeRobot. Sa conception repose sur une architecture associant un encodeur vision SigLip et un décodeur linguistique SmolLM2. L’encodeur traite les informations visuelles captées (images, vidéo, flux caméra), tandis que le décodeur transforme les commandes en langage naturel en instructions compréhensibles par le système.

Compréhension contextuelle et actions précises

Pour gérer les mouvements et actions physiques, le modèle intègre des signaux sensorimoteurs dans un token unique, permettant une analyse contextuelle intégrée sans dissocier données visuelles, commandes et actions. Ensuite, un composant appelé « action expert », basé sur une architecture transformer de 100 millions de paramètres, prend ces informations consolidées pour prédire une série de mouvements futurs, qu’il s’agisse de déplacements ou de manipulations robotiques.

Une opportunité pour les chercheurs et passionnés de robotique

Bien que SmolVLA s’adresse principalement à un public de spécialistes en robotique, le modèle, ainsi que ses poids, ensembles de données et recettes d’entraînement, sont librement téléchargeables. Cela offre aux chercheurs et aux amateurs équipés d’un bras robotique ou matériel similaire la possibilité de tester en conditions réelles des workflows robotiques basés sur IA, favorisant ainsi un écosystème plus ouvert et collaboratif.

En résumé, SmolVLA est un modèle d’IA agile, efficace et ouvert, conçu pour pallier les limites actuelles du secteur robotique. Il encourage une adoption plus large et une expérimentation plus accessible grâce à sa compatibilité avec du matériel courant.

👉 Source ici

A lire ensuite