Comment une erreur de codage a provoqué une panne de Rogers et laissé des millions de personnes sans service

Rogers Communications inc. RCI-BT Les ingénieurs ont commencé la sixième étape d’un processus en sept étapes pour mettre à niveau l’infrastructure de base qui prend en charge les réseaux sans fil et à large bande de l’entreprise à 2 h 27 le 8 juillet.

Deux heures et 16 minutes plus tard, une erreur de codage est apparue qui a déclenché une chaîne d’événements, entraînant une panne massive qui a laissé des millions de Canadiens sans téléphone mobile, Internet ou service de téléphonie résidentielle pendant au moins une journée.

La fermeture de l’un des principaux réseaux de télécommunications du Canada a entraîné un chaos généralisé. Rogers n’a pas pu envoyer quatre alertes d’urgence à ses clients sans fil en Saskatchewan, y compris trois avertissements de tornade et un rapport de personne dangereuse.

Les clients de Rogers n’ont pas été en mesure d’appeler le 911, et le système de rabais Interac a également été touché, ce qui a causé des problèmes tant aux consommateurs qu’aux entreprises. À Toronto, la tourmente a forcé l’auteur-compositeur-interprète canadien The Weeknd à reporter un concert qui devait avoir lieu au Rogers Centre ce soir-là.

Au début, même Rogers lui-même n’était pas sûr de la cause de l’interruption du service. Mais des semaines plus tard, dans une déclaration détaillée en réponse aux questions de la Société canadienne de la radio, de la télévision et des communications, la société a fourni un compte rendu complet de sa version des événements.

Opinion: Rogers a encore des explications sur la panne et les implications de l’accord avec Shaw

Opinion: Rogers ferme ses portes pour rappeler l’échec du Canada à créer un réseau sans fil sécurisé pour les services d’urgence

Ces documents, qui ont été rendus publics par le CRTC sous une forme révisée vendredi, fournissent de nouveaux détails sur la panne et donnent un premier aperçu de l’ensemble des faits que les dirigeants de Rogers tireront lundi, lorsqu’ils devraient témoigner au sujet de l’accident à une audience publique Devant le Comité de l’industrie et de la technologie de la Chambre des communes.

Comme bon nombre de ses pairs, Rogers possède actuellement un réseau central unique qui prend en charge tous les services qu’il offre. Le noyau est essentiellement le cerveau du réseau. Il reçoit, traite, transmet et connecte toutes les données audio, sans fil, Internet et télévision.

Les communications avaient entamé un processus en sept étapes pour mettre à niveau le noyau en février, après ce que la société a décrit comme un dépôt auprès du CRTC comme un processus de planification complet qui comprenait des approbations de budget et de projet, une évaluation des risques et des tests.

Les cinq premières étapes se sont bien déroulées. Mais, à 4h43 le 8 juillet, un morceau de code a été rendu qui a supprimé le filtre de routage. Dans les réseaux de télécommunications, les paquets de données sont acheminés et acheminés par des dispositifs appelés routeurs, et des filtres évitent que ces routeurs ne soient surchargés, en limitant le nombre de chemins possibles qui leur sont attribués.

La suppression du filtre a fait passer toutes les routes possibles vers Internet par des routeurs, ce qui a entraîné le dépassement de la mémoire et des capacités de traitement de nombreux appareils. Cela a provoqué l’arrêt du réseau central.

Rogers utilise de l’équipement de différents fabricants au cœur de son réseau, et les fournisseurs auprès desquels l’entreprise achète des routeurs ont des conceptions et des méthodes différentes pour gérer le trafic et protéger l’équipement contre la surcharge. La société a déclaré dans les documents que ces différences sont au cœur de la panne subie par Rogers.

Mais au petit matin, les techniciens de l’entreprise n’avaient pas encore déterminé la cause du sinistre. Il semble que Rogers ait envisagé la possibilité que ses réseaux soient attaqués par des cybercriminels. À 6 heures du matin, Jorge Fernandez, qui était alors le directeur de la technologie de l’entreprise, a contacté ses homologues de Telus Corp. TT et Bell Canada de BCE Inc. BC-T Pour les informer de la coupure de courant et les avertir de se méfier des cyberattaques de l’entreprise Il a dit dans son introduction.

Bien que Bell et Telus aient offert leur aide, Rogers a rapidement décidé qu’il ne serait pas en mesure de transférer ses clients vers les réseaux de ses concurrents car certains éléments du réseau de Rogers, comme sa base de données centrale d’utilisateurs, étaient inaccessibles en raison de la panne. Dans tous les cas, a déclaré le transporteur, les réseaux concurrents n’ont pas été en mesure de gérer l’augmentation soudaine du trafic des 10,2 millions d’abonnés sans fil de Rogers.

Champagne dit que la panne de Rogers pourrait affecter la décision d’acquérir environ 26 milliards de dollars de Shaw

Fernandez était au Portugal lorsque la panne a commencé et a immédiatement commencé à prendre des dispositions pour retourner au Canada, selon deux sources familières avec ses allées et venues. Le Globe n’a pas identifié les sources car elles ne sont pas autorisées à parler publiquement de la question.

Pendant ce temps, l’équipe de Rogers Network s’est réunie au centre d’exploitation du réseau de l’entreprise à Brampton, en Ontario, a rétabli l’accès au réseau et a commencé à essayer de déterminer la cause de la panne.

Afin de communiquer entre eux et de coordonner les efforts de récupération, certains employés ont commencé à échanger leurs cartes SIM contre des cartes SIM Bell ou Telus qu’ils ont reçues en 2015 dans le cadre d’un plan d’urgence établi entre les opérateurs de téléphonie mobile.

L’entreprise n’a reconnu publiquement la situation qu’à 8 h 54, soit environ quatre heures après le début de la panne. « Nous savons à quel point il est important pour nos clients de rester en contact », ont tweeté les communications via leur compte de service client. « Nous sommes conscients des problèmes qui affectent actuellement nos réseaux et nos équipes sont pleinement engagées pour résoudre le problème dès que possible. Nous continuerons à vous tenir au courant car nous avons plus d’informations à partager. »

Les divulgations de l’entreprise au CRTC indiquent que la réaction tardive pourrait être liée à des problèmes de connexion aux comptes en ligne utilisés pour communiquer avec les clients. La société de télécommunications a déclaré qu’elle veillera à l’avenir à ce que les équipes d’intervention en cas de crise disposent d’autres moyens d’accéder aux comptes de médias sociaux protégés par deux facteurs associés aux appareils Rogers.

Il a fallu toute la journée à l’équipe de Grid pour récupérer Grid. Ils ont dû déconnecter l’appareil à l’origine du problème, rediriger le trafic et confirmer la stabilité du réseau avant de remettre lentement les services en ligne. La société a déclaré que le processus devrait être effectué systématiquement pour éviter une surcharge du réseau et provoquer une autre panne.

« Nos services sans fil commencent à se rétablir et nos équipes techniques travaillent dur pour remettre tout le monde en ligne le plus rapidement possible », a tweeté la société peu avant 22 heures.

Le lendemain matin, Rogers a annoncé qu’elle avait rétabli les services à la « grande majorité » de ses clients. Mais les problèmes intermittents ont continué tout au long du week-end.

Ce dimanche, dans une lettre ouverte aux clients, Le PDG de Rogers, Tony Staveri, s’est engagé à investir davantage dans les testset la censure et l’intelligence artificielle pour améliorer la fiabilité des réseaux d’entreprise. Le prix des changements a été estimé à environ 10 milliards de dollars sur trois ans.

Staveri a déclaré que le géant du sans fil séparera efficacement ses réseaux fédérateurs sans fil et câblés pour s’assurer qu’aucune panne future n’affecte les deux services.

La semaine dernière, la société remplacer M. Fernandez, ancien PDG de Vodafone, avec le PDG vétéran des télécommunications, Ron McKenzie. M. McKenzie était auparavant président de Rogers pour entreprise, la division qui fournit des services Internet et sans fil aux entreprises clientes.

M. McKenzie commencera son nouveau rôle par une comparution devant le comité de la Chambre des communes examinant la pause. Le comité, composé de députés des quatre principaux partis fédéraux, devrait l’interroger, ainsi que M. Staveri et le directeur de la réglementation de Rogers, Ted Woodhead, sur le crédit de facturation de cinq jours que l’entreprise offre pour indemniser ses clients pour le panne. Le comité peut également poser des questions sur le réseau et les changements opérationnels que les plans de communication doivent apporter afin de prévenir de futures pannes.

Avec tout cela, Rogers attend l’approbation réglementaire pour son acquisition contestée de 26 milliards de dollars de Shaw Communications Inc. , avant la date limite du 31 juillet. Le bureau de la concurrence tente d’empêcher la fusion, arguant qu’elle conduira à un service médiocre et à des prix plus élevés pour les clients mobiles.

Votre temps est précieux. Recevez notre bulletin d’information sur les principaux titres d’entreprise facilement livré dans votre boîte de réception le matin ou le soir. Inscrivez-vous aujourd’hui.