Operational issue - Multiple services

Proveedor informa:

Hemos resuelto el problema que provocaba un aumento de las tasas de error y las latencias de las API de Kinesis Data Streams en la región US-EAST-1. CloudWatch Logs, ECS Fargate, API Gateway y Lambda también se han recuperado por completo. Las métricas y los registros que se vieron afectados durante este tiempo pueden retrasarse hasta que se recuperen por completo. El problema se ha resuelto y todos los servicios están funcionando con normalidad.

De nuestro lado se evidencia una estabilidad por lo que se procede con el cierre del incidente.

Se recibe update por parte de proveedor:


Las tasas de error de Kinesis Data Streams y Cloudwatch Logs se han recuperado por completo y están funcionando normalmente dentro de la región US-EAST-1. Otros servicios, incluidos ECS Fargate, API Gateway y Lambda también se han recuperado.

Si bien esperaríamos una recuperación para la gran mayoría de las aplicaciones de los clientes, seguimos trabajando para lograr una recuperación total.

Se mantiene en monitoreo y cualquier novedad se informará de manera oportuna.

Se recibe update por parte de proveedor:

Estamos viendo una recuperación significativa para la mayoría de los servicios de en esta etapa. Si bien aún no nos hemos recuperado por completo, la mayoría de los servicios están observando una recuperación.

Estamos viendo una recuperación completa para los lanzamientos de Fargate en este momento. A medida que nos recuperamos, esperamos ver nuevos registros de CloudWatch que se muestran a medida que estén disponibles. Continuamos trabajando para lograr una recuperación completa para los servicios de AWS restantes. Continuamos esperando que la recuperación completa se produzca dentro de las próximas 2 horas.

Se mantiene en monitoreo y cualquier novedad se informará de manera oportuna.

Se recibe update por parte de proveedor:

Seguimos trabajando para lograr la recuperación, aunque el progreso es más lento de lo que se anticipó originalmente. Estamos viendo algunas mejoras internamente, aunque es posible que no sean visibles externamente. Es posible que algunos servicios (como Cloudwatch Logs) no observen la recuperación hasta que hayamos resuelto por completo el problema subyacente dentro del subsistema de Kinesis. En paralelo a nuestros esfuerzos de mitigación, estamos trabajando activamente para acelerar el proceso de recuperación.

En este momento, aún esperamos que la recuperación completa esté a 1 o 2 hora. Seguiremos compartiendo actualizaciones a medida que tengamos información adicional para compartir, o dentro de los próximos 60 minutos.

Se mantiene en monitoreo y cualquier novedad se informará de manera oportuna.

Al momento se recibe nuevo update por parte de proveedor:

Seguimos trabajando para resolver el aumento de las tasas de error y las latencias de las API de Kinesis en la región US-EAST-1. Queríamos brindarle más detalles sobre la causa del problema. A partir de las 3:12 p. m. PDT, un subsistema dentro de Kinesis comenzó a experimentar un aumento de la contención al procesar los datos entrantes. Si bien esto tuvo un impacto limitado para la mayoría de las cargas de trabajo de los clientes, provocó que algunos servicios internos de AWS, incluidos CloudWatch, ECS Fargate y API Gateway, experimentaran un impacto posterior.

Los ingenieros identificaron la causa principal del problema que afecta a Kinesis y están trabajando para abordar la contención. Si bien estamos avanzando, esperamos que tome de 2 a 3 horas resolverlo por completo.

Como resultado de este problema, CloudWatch Logs está experimentando mayores tasas de error y latencias al procesar los registros entrantes. Cualquier cliente que use las API de CloudWatch Logs puede experimentar errores elevados. La extracción de métricas de CloudWatch de estos registros puede demorarse y las alarmas pueden pasar al estado "INSUFFICIENT_DATA" si se configuran en métricas retrasadas.

ECS Fargate está experimentando fallas al intentar iniciar nuevas tareas, también debido a una dependencia de los registros de CloudWatch. Actualmente, estamos trabajando en un cambio para eliminar esta dependencia y también hemos tomado medidas para reducir la probabilidad de retiro de tareas.

API Gateway continúa procesando solicitudes correctamente, pero ve errores al enviar registros a CloudWatch. Algunos clientes también pueden experimentar errores al usar Lambda con API Gateway, pero creemos que esto está relacionado con fallas dentro del código de función Lambda en sí, como intentos de invocar las API de registros de CloudWatch.

AWS Lambda continúa procesando las invocaciones correctamente, pero no puede enviar registros a los registros de CloudWatch. Como resultado, es posible que los clientes no puedan ver los registros de sus invocaciones asincrónicas de Lambda.

También hemos visto períodos de fallas elevadas con IAM Identity Center y Organizations como resultado de este problema.

Continuaremos brindando actualizaciones cada 30 a 60 minutos, o antes si tenemos información adicional para compartir.

Nos mantenemos en monitoreo y cualquier novedad se informará de manera oportuna.

Se recibe actualización por parte de proveedor donde se informa:

Seguimos trabajando para resolver el aumento de las tasas de error y las latencias en la región US-EAST-1. Hemos identificado la causa raíz y estamos trabajando activamente en múltiples rutas paralelas para mitigar el problema.

Como resultado de este problema, los registros de CloudWatch siguen experimentando demoras en la entrega de registros, pero las métricas siguen funcionando con normalidad. Algunos clientes también pueden estar experimentando fallas elevadas con IAM Identity Center y Organizations como resultado de este problema. Seguiremos brindando actualizaciones a medida que avancemos.

Nos mantenemos en monitoreo y cualquier novedad se informará de manera oportuna.

El caso se encuentra en revisión por parte del proveedor.

Nos mantenemos en monitoreo y cualquier novedad se informará de manera oportuna.

Se recibe actualización por parte de proveedor donde se informa:

Podemos confirmar un aumento de las tasas de error y latencias para las API de Kinesis dentro de la región US-EAST-1. Hemos identificado la causa raíz y estamos trabajando activamente para resolver el problema. Como resultado de este problema, otros servicios, como CloudWatch, también están experimentando un aumento de las tasas de error y demoras en la entrega de registros de Cloudwatch. Seguiremos manteniéndolos informados a medida que avancemos en la resolución del problema.

Nos mantenemos en monitoreo y cualquier novedad se informará de manera oportuna.

Por parte de proveedor de servicios en la nube se recibe notificación que observan observando un aumento de las tasas de error y latencias para algunas API de servicio dentro de la región US-EAST-1.

Nos mantenemos en monitoreo y cualquier novedad se informará de manera oportuna.