Un LLM suisse 100% open-source : l’IA transparente et multilingue
Une collaboration ouverte pour un modèle transparent
Difficile à croire ? Pourtant, cet été, l’EPFL et l’ETH Zurich dévoilent un LLM entièrement développé sur une infrastructure publique. Fruit d’une étroite coopération entre chercheurs et ingénieurs du Centre national suisse de calcul scientifique (CSCS), le nouveau modèle sera publié sous licence Apache 2.0 avec code source et poids ouverts. L’objectif : allier innovation et responsabilité, tout en assurant une traçabilité complète des données d’entraînement.
Multilingue par conception
Ce n’est pas une révolution, mais ça mérite le détour : le LLM parle plus de 1 000 langues. Entraîné sur un corpus de textes couvrant plus de 1 500 langues (60 % anglais, 40 % autres langues), ainsi que des données de code et de mathématiques, il garantit une applicabilité mondiale. Disponible en deux tailles (8 et 70 milliards de paramètres), il répond tant aux besoins d’un simple chatbot qu’à ceux d’applications plus complexes.
Supercalculateur et souveraineté numérique
La force de ce projet tient aussi dans son support matériel. Le modèle a été entraîné sur le supercalculateur Alps du CSCS à Lugano, équipé de plus de 10 000 NVIDIA Grace Hopper Superchips et alimenté à 100 % par de l’électricité neutre en carbone. Ce partenariat de longue date avec NVIDIA et HPE/Cray illustre comment une infrastructure publique peut soutenir une souveraineté technologique.
Accès public et impact global
En fin d’été, tous pourront télécharger ce LLM librement, accompagné d’une documentation détaillée sur l’architecture, les méthodes d’entraînement et les bonnes pratiques. En encourageant la réutilisation et le développement par la communauté, l’initiative vise à stimuler l’innovation en Suisse, en Europe et partout dans le monde.
👉 Source ici