Nouveau paradigme : générer et éditer des images IA sans générateur
L’intelligence artificielle connait une explosion dans la création d’images à partir de textes ou d’exemples visuels. Pourtant, la plupart des modèles reposent sur de vastes générateurs nécessitant des semaines de formation sur des millions d’images. Des chercheurs du MIT ont dévoilé une méthode innovante permettant de créer, éditer et inpaint sans recourir à un générateur.
Le rôle fondamental du tokenizer 1D
Au cœur de cette avancée se trouve un tokenizer unidimensionnel capable de traduire une image 256×256 en une suite de 32 nombres. Contrairement aux approches classiques qui découpent l’image en blocs, ce dispositif compresse l’information globale dans des tokens de 12 bits, soit un vocabulaire de 4 000 combinaisons.
Exploration et interprétation des tokens
En modifiant un token à la fois, les chercheurs ont observé des variations nettes : résolution, flou, luminosité ou position d’un sujet. Chaque token agit comme un mot d’un « langage caché », autorisant un contrôle fin de l’image.
Génération et inpainting sans générateur
La combinaison d’un tokenizer et d’un dé-tokenizer (décodeur) suffit à produire de nouvelles images. Guidés par le réseau CLIP, les chercheurs transforment un panda roux en tigre, ou créent un visuel à partir de valeurs aléatoires, en ajustant simplement les tokens. L’inpainting devient également possible, remplissant des zones manquantes sans modèle génératif.
Impacts et perspectives
Cette approche permet de réduire considérablement les coûts et la complexité du traitement. Au-delà de la vision par ordinateur, elle pourrait s’étendre à la tokenisation d’actions de robots ou de véhicules autonomes, ouvrant de nouvelles voies dans la robotique et la mobilité.
Un avenir repensé
En associant des outils existants sans créer de nouvelles architectures, l’équipe du MIT redéfinit le rôle des tokenizers, montrant qu’ils peuvent devenir le cœur de la création visuelle assistée par IA.
👉 Source ici