Quand une mise à jour de Google Cloud a paralysé le web

Quand une mise à jour de Google Cloud a paralysé le web

Jeudi en fin de matinée (heure du Pacifique), une mise à jour automatisée de quota non valide dans les systèmes IAM de Google Cloud a entraîné un vaste incident technique. Pendant plus de sept heures, de nombreux services hébergés sur l’infrastructure de Google ont été partiellement ou totalement indisponibles, avant un rétablissement complet à 22h18 UTC.

Une erreur de configuration généralisée

L’origine de la panne tient à une donnée de quota corrompue diffusée à l’échelle mondiale. En rejetant les requêtes API externes comme un déni de service, Google a vu ses principaux services cloud—App Engine, Firestore, Cloud SQL, BigQuery ou Memorystore—se figer, impactant des applications et plateformes bâties sur ces briques.

Impacts en cascade sur les services

Outre les services cloud, de nombreux produits Google grand public ont subi des dysfonctionnements : Gmail, Drive, Docs, Calendar, Meet, et Chat étaient instables. Les assistants et objets connectés Nest et Google Home ont perdu leur connectivité. Sur Twitter, les utilisateurs ont signalé des interruptions de recherche vocale, d’Assistant et de fonctionnalités comme Google Lens ou Discover.

À l’extérieur de l’écosystème Google, plusieurs acteurs majeurs ont également ressenti la panne : Cloudflare (Workers KV, AI, Stream), Spotify, Discord, Snap, Shopify, fuboTV, UPS et d’autres ont rapporté des interruptions ou un service dégradé.

Récupération et leçons apprises

Pour rétablir la situation, Google Cloud a contourné la vérification des quotas erronés, permettant la reprise graduelle des services dans la plupart des régions en moins de deux heures. Le CEO Thomas Kurian a présenté des excuses officielles et annoncé des actions pour prévenir tout nouveau cas similaire :

  • Renforcement des contrôles de qualité des métadonnées et des tests automatisés
  • Évolution des processus de gestion des erreurs pour isoler plus rapidement les données invalides
  • Meilleure surveillance en temps réel pour détecter toute anomalie de configuration

L’incident rappelle qu’une simple mise à jour peut avoir un impact global, soulignant l’importance de stratégies de résilience et de tests rigoureux dans les environnements cloud.

👉 Source ici

A lire ensuite