Interrupção Parcial no Cloud Chat

🇧🇷 Português

[Resolvido] Incidente no Cloud Chat
O incidente foi resolvido às 19:23 BRT / 18:23 EST. Após mais de uma hora de monitoramento, não identificamos novos problemas nos logs nem recebemos relatos de clientes.

⸻

🇺🇸 English

[Resolved] Cloud Chat Incident
The incident was resolved at 6:23 PM EST / 7:23 PM BRT. After more than an hour of monitoring, no further issues were detected in the logs and no problems were reported by clients.

🇧🇷 Português

[Resolvido] Incidente no Cloud Chat

O incidente foi totalmente normalizado às 19:23 BRT / 18:23 EST, e todos os usuários já têm acesso restabelecido. Nossa equipe segue monitorando para garantir estabilidade.

Resumo do ocorrido:
• Uma atualização relacionada ao WhatsApp, liberada às 17:30 BRT, impactou o processamento de mensagens em alguns canais de clientes e afetou o acesso de parte dos usuários.
• Assim que identificado, realizamos rollback para a versão estável, o que normalizou o processamento das mensagens às 18:43 BRT.
• Para restabelecer totalmente o acesso dos usuários, foi necessário um ajuste adicional após o rollback, o que exigiu uma atualização progressiva em todos os pods. Esse processo foi concluído às 19:23 BRT.

Próximos passos:
Estamos implementando melhorias de arquitetura (Argo CD e Blue-Green Deploy no Cloud Chat, já utilizados em outras aplicações) que aumentarão a resiliência e evitarão incidentes semelhantes.

Agradecemos a paciência e compreensão.

⸻

🇺🇸 English

[Resolved] Cloud Chat Incident

The incident was fully resolved at 6:23 PM EST / 7:23 PM BRT, and all users now have access restored. Our team continues to monitor to ensure stability.

Summary of what happened:
• A WhatsApp-related update released at 5:30 PM BRT impacted message processing in some client channels and temporarily affected user access.
• Once detected, we rolled back to the stable version, which restored message processing by 5:43 PM EST.
• To fully restore user access, an additional adjustment was required after the rollback, involving a progressive rollout across all pods. This was completed by 6:23 PM EST.

Next steps:
We are implementing infrastructure improvements (Argo CD and Blue-Green Deploy for Cloud Chat, already used in other applications) to increase resilience and prevent similar incidents.

Thank you for your patience and understanding.

🇧🇷 Português

Atualização sobre o incidente no Cloud Chat

Mais de 90% dos acessos já foram restabelecidos.

Desde o reprocessamento total das mensagens em fila, concluído às 18:43 BRT / 17:43 EST, a ClaudIA já estava respondendo normalmente. O que permanecia pendente era apenas o acesso ao front-end de alguns usuários, que está sendo gradualmente normalizado.

Seguiremos acompanhando até a completa resolução.

⸻

🇺🇸 English

Update on the Cloud Chat Incident

Over 90% of user access has already been restored.

Since the full reprocessing of queued messages was completed at 5:43 PM EST / 6:43 PM BRT, ClaudIA has been responding normally. The only remaining effect was user front-end access, which is now being gradually normalized.

We will continue monitoring until full resolution.

🇧🇷 Português

Atualização sobre o incidente no Cloud Chat

Metade dos pods afetados já foi normalizada, o que significa que pelo menos metade dos usuários impactados já deve ter recuperado o acesso.

A previsão é que a normalização completa aconteça em aproximadamente 5 minutos, à medida que o processo é concluído para todos os pods.

Seguiremos monitorando de perto e atualizaremos aqui assim que o incidente for totalmente resolvido.

⸻

🇺🇸 English

Update on the Cloud Chat Incident

Half of the affected pods have already been restored, which means that at least half of the impacted users should have regained access.

We estimate that full normalization will be completed within the next 5 minutes, as the process finishes across all pods.

We will continue closely monitoring and will update here once the incident is fully resolved.

🇧🇷 Português

Atualização sobre o incidente no Cloud Chat

Identificamos que a instabilidade ocorreu após a liberação de uma nova funcionalidade integrada ao WhatsApp. Essa atualização impactou parte do sistema de controles, afetando tanto o processamento de mensagens quanto o acesso de alguns usuários.

Assim que percebemos o problema, realizamos um rollback para a versão estável e o consumo das mensagens em fila foi finalizado às 18:43 BRT / 17:43 EST. Neste momento, estamos normalizando gradualmente o acesso dos usuários ao Cloud Chat.

O processo de restauração completa acontece de forma progressiva, com estimativa de normalização total em até 15 minutos.

Seguiremos monitorando de perto e traremos novas atualizações aqui.

Agradecemos pela paciência e compreensão.

⸻

🇺🇸 English

Update on the Cloud Chat Incident

We identified that the instability occurred after the release of a new WhatsApp-related feature. This update impacted part of our control systems, affecting both message processing and user access for some clients.

Once detected, we rolled back to the stable version, and the processing of queued messages was completed at 5:43 PM EST / 6:43 PM BRT. We are now gradually restoring user access to Cloud Chat.

The full restoration process is progressive, with an estimated completion time of up to 15 minutes.

We will continue to closely monitor the situation and provide updates here.

Thank you for your patience and understanding.

🇧🇷 Português
[Interrupção Parcial] Cloud Chat
Início: 16:30 EST / 17:30 BRT
Estamos enfrentando uma indisponibilidade parcial no Cloud Chat que afeta alguns usuários de clientes. Os problemas identificados são:

Alguns usuários não conseguem abrir o Cloud Chat.

Alguns clientes não estão recebendo mensagens no Cloud Chat (as mensagens foram enviadas para o cliente, mas não estão sendo entregues na plataforma). Elas estão entrando no nosso backend e estão em fila esperando para serem processadas.
Nossa equipe já mapeou a causa do problema e está trabalhando ativamente em um ajuste. Nas próximas atualizações, publicaremos detalhes sobre a origem da falha e as medidas corretivas.
Agradecemos pela compreensão.

🇺🇸 English
[Partial Outage] Cloud Chat
Start: 4:30 PM EST / 5:30 PM BRT
We are currently experiencing a partial outage in Cloud Chat affecting some client users. The identified issues are:

Some users are unable to open Cloud Chat.

Some clients are not receiving messages in Cloud Chat (messages have been sent to the client but are not being delivered on the platform). They are entering our backend and are queued, waiting to be processed.
Our team has already identified the root cause and is actively working on a fix. In the next updates, we will share details about the issue and the corrective measures.
Thank you for your understanding.