Un LLM suisse 100% open-source : l’IA transparente et multilingue

Un LLM suisse 100% open-source : l’IA transparente et multilingue

Une collaboration ouverte pour un modèle transparent

Difficile à croire ? Pourtant, cet été, l’EPFL et l’ETH Zurich dévoilent un LLM entièrement développé sur une infrastructure publique. Fruit d’une étroite coopération entre chercheurs et ingénieurs du Centre national suisse de calcul scientifique (CSCS), le nouveau modèle sera publié sous licence Apache 2.0 avec code source et poids ouverts. L’objectif : allier innovation et responsabilité, tout en assurant une traçabilité complète des données d’entraînement.

Multilingue par conception

Ce n’est pas une révolution, mais ça mérite le détour : le LLM parle plus de 1 000 langues. Entraîné sur un corpus de textes couvrant plus de 1 500 langues (60 % anglais, 40 % autres langues), ainsi que des données de code et de mathématiques, il garantit une applicabilité mondiale. Disponible en deux tailles (8 et 70 milliards de paramètres), il répond tant aux besoins d’un simple chatbot qu’à ceux d’applications plus complexes.

Supercalculateur et souveraineté numérique

La force de ce projet tient aussi dans son support matériel. Le modèle a été entraîné sur le supercalculateur Alps du CSCS à Lugano, équipé de plus de 10 000 NVIDIA Grace Hopper Superchips et alimenté à 100 % par de l’électricité neutre en carbone. Ce partenariat de longue date avec NVIDIA et HPE/Cray illustre comment une infrastructure publique peut soutenir une souveraineté technologique.

Accès public et impact global

En fin d’été, tous pourront télécharger ce LLM librement, accompagné d’une documentation détaillée sur l’architecture, les méthodes d’entraînement et les bonnes pratiques. En encourageant la réutilisation et le développement par la communauté, l’initiative vise à stimuler l’innovation en Suisse, en Europe et partout dans le monde.

👉 Source ici

A lire ensuite