OpenAI GPT-Realtime révolutionne l’IA vocale

OpenAI GPT-Realtime révolutionne l’IA vocale

OpenAI dévoile son nouveau modèle GPT-Realtime avec la prise en charge des protocoles MCP (Model Context Protocol) et SIP (Session Initiation Protocol). Cette innovation permet aux entreprises de créer des agents vocaux autonomes et multimodaux, capables d’interagir avec des outils externes et de gérer des appels en temps réel.

Prise en charge des protocoles MCP et SIP

Grâce au protocole MCP, les développeurs peuvent connecter leurs agents à des serveurs distants listés comme serveurs MCP, sans installation locale. L’API GPT-Realtime automatise les appels d’outils externes, simplifiant ainsi l’ajout de fonctionnalités. Avec le support du protocole SIP, il devient possible d’intégrer directement les agents IA aux systèmes PBX et aux réseaux téléphoniques, ouvrant la voie au traitement automatisé des appels, à la prise de rendez-vous et à l’assistance multilingue pour les centres de contact.

Multimodalité renforcée avec entrée d’images

OpenAI a également ajouté la prise en charge des images dans GPT-Realtime. Les utilisateurs peuvent désormais soumettre des photos, captures d’écran ou tout autre visuel, en complément du texte et de l’audio. Le modèle analyse ces contenus pour répondre à des requêtes telles que « Que voyez-vous ? » ou « Pouvez-vous lire le texte dans cette image ? », ce qui enrichit significativement les cas d’usage en entreprise.

Des voix naturelles et des performances optimisées

La mise à jour du modèle améliore la reconnaissance du contexte, la gestion de la mémoire et la qualité du discours, désormais plus naturel et expressif. OpenAI propose aussi deux nouvelles voix, Cedar et Marin, pour varier les tonalités. Ces avancées permettent des interactions à faible latence dans des domaines comme la transcription médicale en temps réel, les assistants de réservation ou le service client pour la banque et les télécommunications.

👉 Source ici

A lire ensuite