INCIDENT PROCESSING P1 | Interruption de trafic / Traffic disruption

Bonjour,

Deux semaines après l’incident majeur qui a entraîné l’interruption de nos services, nous souhaitons vous partager un dernier point sur la situation.

Tout d’abord, nous vous confirmons que nos services fonctionnent à nouveau de manière nominale.

Nous avons préparé un post-mortem sous forme de Q&A que nous vous proposons de retrouver ici : https://www.payplug.com/fr/post-mortem-gcp/ .

Afin de répondre à toutes vos questions, et dans un souci de transparence, nous vous proposons également de rejoindre Antoine Grimaud, CEO et Armand Dos Santos, CTO pour une session de Q&A le jeudi 25 mai à 13h30. Pour vous inscrire à cette session, cliquez sur ce lien : https://app.getcontrast.io/register/payplug-q-a-post-incident-gcp .

Enfin, vos contacts habituels sont à votre disposition pour vous accompagner sur l’ensemble de vos interrogations.

L’équipe Payplug

==============ENGLISH VERSION==============

Hello,

Two weeks after the major incident that led to the interruption of our services, we would like to share with you a final update on the situation.

First of all, we would like to confirm that our services are working again in a nominal way.

We have prepared a post-mortem in the form of a Q&A that you can find here : https://www.payplug.com/qa-gcp-incident/ .

In order to answer all your questions, we also invite you to join Antoine Grimaud, CEO and Armand Dos Santos, CTO for a Q&A session (in French) on Thursday, May 25 at 1:30 pm. To register for this session, click on this link : https://app.getcontrast.io/register/payplug-q-a-post-incident-gcp .
For any question, please raise your questions to your Customer Success Manager and we will contact you shortly.

Finally, your usual contacts are at your disposal to help you with all your questions.

The Payplug team

Bonjour,

Nos équipes continuent de se mobiliser afin de rétablir l’ensemble de nos services.

Nous tenons à confirmer que les services de paiement sont opérationnels.
Les reversements ont été rattrapés et les fonds seront reversés aujourd'hui
9000 opérations (0.5% du total) restent cependant en investigation et seront rattrapées demain.
Les reversements de paiement en magasin passant par CB2A restent reversés en J+2

Les services suivants ont été rétablis depuis notre dernière mise à jour vendredi 28/04 :
- Reversement et export de réconciliation financière
- Nouveau rapport settlements
- Mise à disposition des rapports via SFTP

Des opérations restent en cours pour stabiliser la plateforme avec un objectif de retrouver un état nominal demain.

A nouveau, nous tenons à vous assurer de l’engagement de nos équipes afin de résoudre cet incident au plus vite.

L’équipe Payplug

==============ENGLISH VERSION==============

Hello,

Our team are mobilized to recover all our services.

We want to confirm that payment services are operational.
Settlements were rectified and will be delivered today
9000 operations (0,5% of the total) still are under investigation and will be settled tomorrow.
Settlements of payments going through CB2A are still performed on a J+2 basis.

Following services have been restored since our last update on Friday the 28th of April.
- Settlement and financial reconciliation export
- New settlement reports
- SFTP reports availability

Some operations are still ongoing to stabilize plateform with the objective of restoring nominal state tomorrow.

We want to ensure you once again of the full commitment of our teams to solve this incident as soon as possible

The Payplug team

Bonjour,

Nos équipes continuent de se mobiliser afin de rétablir l’ensemble de nos services.

La performance de la chaine de reversement a été fortement impactée par la reconstruction toujours en cours de nos serveurs en Belgique. Malgré un allégement du nombre de transactions à reverser, il n'a pas été possible de tenir les délais et aucune transaction n'a pu être reversée aujourd'hui.
Les impacts sont les suivants :
- Un reversement partiel des transactions qui auraient dû être reversées hier et aujourd'hui est garanti pour mardi 2 mai. La réconciliation financière correspondante est déjà disponible sur Dashboard et Extranet
- Le reliquat de transactions devra passer par la prochaine chaine de reversement pour espérer être reversé mardi.
Nous serons en mesure de vous confirmer le reversement de ce reliquat mardi.


Vous trouverez également plus bas l'état de la situation.

Ce qui est déjà opérationnel :
- Processing
- outils de visualisation Dashboard, Cockpit ainsi que les données à jour
- environnement de test Sandbox
- Export des transactions réconciliées (ancien rapport) du virement du 26/04, disponible depuis le Dashboard, Extranet et Export API.
- Export des transactions réconciliées (ancien rapport) du reversement partiel des transactions qui auraient dû être reversées hier et aujourd'hui, disponible depuis le Dashboard, Extranet et Export API.

Les services en cours de rétablissement :
- Nouveau Rapport settlements => cible : fin de journée
- Mise à disposition des rapports spécifiques ou via SFTP => cible : fin de journée
- Possibilité de rembourser via Dashboard => à confirmer mardi (extranet en solution de backup : https://extranet.dalenys.com/)

A nouveau, nous tenons à vous assurer de l’engagement de nos équipes afin de résoudre cet incident au plus vite.

L’équipe Payplug

==============ENGLISH VERSION==============

Hello,

Our team are mobilized to recover all our services.

Settlement chain performance has been significantly impacted by ongoing server reconstruction in Belgium. Despite limiting the number of transactions to settle, we weren't able to meet our deadlines and no transaction could be settled today.
Impacts are as follow:
- Partial settlement of the transactions that should have been settled yesterday and today is now guaranteed for Tuesday the 2nd of May. The associated financial reconciliation is already available on Dashboard and Extranet.
- The remaining transactions will have to go through next settlement chain to be settled on tuesday as well.
The treatment of the settlement will be confirmed on Tuesday.

You will also find current status below.

Operational services :
- Processing
- Data monitoring tools Dashboard, Cockpit along with updated data
- Sandbox test environment
- Reconciled transaction export associated to the 26th of April settlement will be available on Dashboard, Extranet and API export.
- Reconciled transaction export associated to the transactions that should have been settled yesterday and today will be available on Dashboard, Extranet and API export.

Ongoing service recovery :
- New settlement reports => target ; tomorrow
- Specific report / SFTP reports availability => target : end of the day
- Refund capacity using Dashboard => to be confirmed on tuesday (extranet as a back solution : https://extranet.dalenys.com/)

We want to ensure you once again of the full commitment of our teams to solve this incident as soon as possible

The Payplug team

Bonjour,

Nos équipes continuent de se mobiliser afin de rétablir l’ensemble de nos services.
Nous vous ferons une prochaine communication en début d'après midi.

L’équipe Payplug

==============ENGLISH VERSION==============

Hello,

Our team are still mobilized to resume all our services.
We will provide an updated status beginning of the afternoon.

The Payplug team

Bonjour,

Nous souhaitons vous informer des dernières évolutions sur la reprise de notre service.
Nous vous confirmons que depuis hier soir, les services de paiement sont opérationnels.

Nos équipes sont mobilisées pour remettre en place l’ensemble des autres services et nous vous informerons au long de la journée de l’évolution de la situation.

Ce qui est déjà opérationnel :
- Processing
- outils de visualisation Dashboard, Cockpit ainsi que les données à jour
- environnement de test Sandbox

Les services en cours de rétablissement :
- Reversements e-commerce et proximité CB2A => cible : rattrapage demain
- Reversements proximité NEXO => cible : rattrapage mardi 2 mai
- Possibilité de rembourser via Dashboard => cible : fin de journée (extranet en solution de backup : https://extranet.dalenys.com/)
- Settlement reports => cible : demain

A titre informatif, lundi 1er mai est un jour férié bancaire.
Par conséquent, il n'y aura pas de traitement des opérations bancaires ce jour-là.

L’équipe Payplug.

==============ENGLISH VERSION==============

Hello,

we wish to update you regarding service recovery.
We confirm that payment services are operational since yesterday evening.

Our team are mobilized to recover all the other services and we will inform you about our progress during the day.

Operational services :
- Processing
- Data monitoring tools Dashboard, Cockpit along with updated data
- Sandbox test environment

Ongoing service recovery :
- e-commerce and CB2A proximity payment settlements => target : tomorrow
- NEXO proximity payment settlements => target : tuesday the 2nd of May
- Refund capacity using Dashboard => target : end of the day (extranet as a back solution : https://extranet.dalenys.com/)
- Settlement reports => target ; tomorrow

For your information, Monday the 1st of May 2023 is a bank holiday.
Consequently, there will be no processing of banking transactions on this day.

The Payplug team

Bonjour,
Nous souhaitons vous informer des dernières évolutions sur la reprise de notre service.
Depuis hier, notre priorité a été de rétablir le plus rapidement le processing des paiements.

Nous vous confirmons que depuis hier soir, les services de paiement sont opérationnels.

Nos équipes ont été mobilisées pour remettre en place l’ensemble des autres services et nous vous informerons au long de la journée de l’évolution de la situation.

Ce qui est déjà opérationnel :
- Processing
- outils de visualisation Dashboard, Cockpit ainsi que les données à jour
- environnement de test Sandbox

Ce qui n’est pas encore opérationnel - remise en service en cours :
- Télécollecte des paiements
- Reversements
- Settlement reports

N’hésitez pas à consulter notre status page pour avoir la dernière information à jour.
Toute l’équipe est consciente de l’importance d’une résolution rapide et se tient à votre disposition pour vous accompagner et répondre à vos questions. Merci pour votre compréhension tout au long de la journée d’hier.

L’équipe Payplug

==============ENGLISH VERSION==============

Good morning,

we wish to update you regarding service recovery.
We have first been focused on resuming payment processing as soon as possible.

We can confirm that payment services are operational since yesterday evening.

Our team were also mobilized to recover all the other services and we will inform you about our progress during the day.

Currently operational services :
- Processing
- Data monitoring tools Dashboard, Cockpit along with updated data
- Sandbox test environment

Currently non operational services - Ongoing service recovery :
- Payment collection
- Settlements
- Settlement reports

Don't hesitate to check our status page to get the last updated information.
The whole team is aware of the importance of a quick resolution and is available to support you and answer to your questions. Thank you for your understanding

The Payplug team

Depuis 19h15 environ, nos services de paiement reviennent progressivement à la normale.
L’ensemble de nos équipes reste mobilisé afin de maintenir la stabilité de la plateforme.

Nous souhaitons également revenir plus en détail sur les événements de la journée. Ils feront également l’objet d’un post mortem que nous vous partagerons prochainement ainsi que les actions correctives mises en place afin de préserver la qualité de notre service.

Que s’est-il passé ?
Depuis ce matin 8h26, les services de paiement de Payplug ont été interrompus suite à l’incident de Google Cloud Platform qui touche la région de Paris.

Un incident dans un datacenter où est située une partie de la région cloud de Google en France a déclenché une réaction en chaîne entraînant une interruption de services informatiques. Sur les conseils de Google Cloud , nous avons priorisé la migration de toutes nos données vers une autre région, et ce au-delà des anticipations et de l'hébergement multi-zonal prévu dans le cadre de notre plan de sécurité informatique.

Si l’ensemble des données de Payplug sont hébergées au sein d’une même région, précisons qu’elles n’étaient pas hébergées au même endroit mais bien dans 3 groupes de datacenters différents, et que notre Plan de Secours Informatique ne prévoyait pas leurs interruptions simultanées.

Les médias se sont par ailleurs fait l'écho des différents acteurs impactés par cet incendie près de Paris au-delà de ceux de Google Cloud : https://www.bfmtv.com/tech/cybersecurite/lille-cannes-courbevoie-un-incendie-dans-un-centre-de-serveurs-paralyse-des-sites-web-de-grandes-villes_AV-202304260428.html ou https://www.lemondeinformatique.fr/actualites/lire-google-cloud-sous-l-eau-suite-a-un-incendie-chez-global-switch-clichy-90281.html.

Plan de Continuité d’Activité
Dans le cadre de notre plan de continuité d’activité, une cellule de crise est active depuis ce matin sous la supervision d’Antoine Grimaud, notre CEO. Nous avons mobilisé toutes nos ressources afin de travailler à la mise en place d’une solution technique et de répondre aux questions de nos marchands et de nos partenaires.

Rétablissement des services

A cette heure, des serveurs de bases de données ont été créés sur la région Belgique et la migration des données de production essentielles au processing est terminée. La réactivation des services devrait avoir lieu de manière progressive au plus vite.

Toutes les équipes sont pleinement mobilisées, l'urgence étant la stabilisation de l’ensemble de notre service. Nous avons désormais confiance en la stabilisation de notre plateforme et nous allons monitorer de près l’ensemble de notre infrastructure.

Pour retrouver les éléments communiqués par Google Cloud Platform à propos de l’incident, rejoignez la status page Google Cloud de l’incident : https://status.cloud.google.com/incidents/dS9ps52MUnxQfyDGPfkY.

L’équipe Payplug

==============ENGLISH VERSION==============

Since about 7:15 pm, our payment services are gradually returning to normal.
All of our teams remain mobilized in order to maintain the stability of the platform.
We invite you to follow the evolution of the situation on our status page.

We would also like to come back to the events of the day in more detail. They will also be the subject of a post mortem that we will share with you soon as well as the corrective actions implemented to preserve the quality of our service.

What happened today?
Since 8:26 amtoday, Payplug's payment services have been interrupted due to the Google Cloud Platform incident that affects the Paris area.

An incident in a datacenter where part of Google's cloud region in France is located has triggered a chain reaction resulting in an interruption of IT services. With the help of Google Cloud, we have prioritized the migration of all our data to another region, beyond the anticipation and multi-zonal hosting provided for in our IT security plan.

Although all Payplug data is hosted in the same region, it should be noted that it was not hosted in the same Location but in 3 different datacenter groups, and that our IT Disaster Recovery Plan did not foresee the simultaneous interruption of the 3 environments.

Business Continuity Plan
As part of our business continuity plan, a crisis unit has been active since this morning under the supervision of our CEO Antoine Grimaud. We have mobilized all our resources to work on the implementation of a technical solution and to answer questions from our merchants and partners.

Restoration of services
At this time, database servers have been created in the Belgium region and the migration of critical production data for processing is complete. The reactivation of services should take place progressively as soon as possible.

All the teams are fully mobilized, the urgency being the stabilization of our entire service. We are now confident that the situation is stabilizing and we will closely monitor our entire infrastructure.

To find the elements communicated by Google Cloud Platform about the incident, join the Google Cloud status page of the incident: https://status.cloud.google.com/incidents/dS9ps52MUnxQfyDGPfkY.

The Payplug team

La reprise progressive des services est estimée entre 18h30 et 19h30.

==============ENGLISH VERSION==============

The gradual resumption of services is estimated to take place between 6:30pm and 7:30pm. (CET)

We are continuing to work on a fix for this issue.

La restitution des services est en cours, nous estimons pouvoir lancer des batteries aux alentours de 17h30.
En fonction des résultats, nous pourrons préciser le délai d'un retour à la normale.

==============ENGLISH VERSION==============

The services are currently being restored and we estimate that we will be able to launch batteries at around 5.30 pm. (CET)
Depending on the results, we will be able to specify the timeframe for a return to normal.

Nos équipes sont pleinement mobilisées pour le rétablissement de notre plateforme de paiement.
Nous maintenons nos estimations pour un rétablissement progressif en fin d'après-midi.
Prochain point à 16h.

==============ENGLISH VERSION==============

Our teams are fully committed to restore our payment platform.
We maintain our estimates for a gradual recovery in the late afternoon.
Next update at 4pm. (CET)

Nos équipes sont pleinement mobilisées pour le rétablissement de notre plateforme de paiement.
Nous envisageons une reprise progressive des services dans le milieu / fin d'après-midi.
Prochain point à 14h.

==============ENGLISH VERSION==============

Our teams are fully committed to restore our payment platform.
We expect a progressive resumption of services in the mid/late afternoon.
Next update at 2pm.

Nous travaillons toujours au rétablissement de nos services et sommes attentifs aux communications de GCP.
Les paiements E-commerce et In-store sont impactés, malgré l'affichage possible des formulaires de paiement.
Prochain point à midi.

==============ENGLISH VERSION==============

We are still working to restore our services and are expecting GCP communications.
E-commerce and in-store payments are impacted, although payment forms can be displayed.
Next update at noon. (CET)

Une partie de nos services est toujours hébergée sur l'infrastructure défaillante ce qui engendre une panne de notre plateforme de paiement.
Nos équipes sont pleinement mobilisées pour rétablir la situation dans les meilleurs délais.

==============ENGLISH VERSION==============

Part of our services are still hosted on the faulty infrastructure, which has caused a breakdown in our payment platform.
Our teams are fully mobilised to restore the situation as soon as possible.

Nous observons à nouveau une interruption de trafic pour plusieurs marchands
Nos équipes investiguent pour rétablir le service au plus vite

==============ENGLISH VERSION==============

We are observing another trafic interruption for multiple merchants
Our teams are investigating to resume service as soon as possible

La root cause a été identifiée : Un incident impacte une partie de l'infrastructure et a engendré une panne générale de notre plateforme de paiement.
Le trafic a été routé vers une infrastructure de secours et est rétabli.
Nous continuons de monitorer jusqu'à un retour à la normale.

==============ENGLISH VERSION==============

The root cause has been identified: An incident affecting part of the infrastructure caused a general breakdown of our payment platform.
The traffic has been routed to a backup infrastructure and has been restored.
We are continuing to monitor until the situation is back to normal.

Reprise progressive du trafic depuis 5h10. CET
Les paiements instore sont aussi concernés.
Enquête toujours en cours.

==============ENGLISH VERSION==============

Progressive resumption of traffic since 5.10 am. CET
Instore payments are also affected.
Investigation still ongoing.

- First interruption / First interruption : 26 avril 04h41 à 05h10 (CET) / April the 20th 4.41am to 5.10am (CET)
- Seconde interruption / Second interruption : 26 avril 08h31 (CET) / April the 20th 8.31am (CET)
- Fin / End : En cours / Pending
- Catégorie / Category : Production
- Responsabilité / Responsibility : A confirmer / Unconfirmed
- Priorité / Priority : P1

Nous subissons actuellement l'incident GCP qui touche toute la région europe west 9 (Paris).
Nos équipes sont en train de basculer nos services sur des solutions de remplacement en Europe.
Référence vers l'incident GCP: https://status.cloud.google.com/incidents/dS9ps52MUnxQfyDGPfkY

==============ENGLISH VERSION==============

We are currently experiencing the GCP incident which affects the whole of the Europe West 9 region (Paris).
Our teams are in the process of switching our services to alternative solutions in Europe.
Reference to the GCP incident: https://status.cloud.google.com/incidents/dS9ps52MUnxQfyDGPfkY