Lentitud en la plataforma

Incident Report for Multivende

Postmortem

Los días sábado 10 y domingo 11 de febrero realizamos una actualización de nuestra base de datos a la versión más reciente y estable recomendada por nuestro proveedor de infraestructura. Como un paso previo a ese proceso, realizamos pruebas con nuestros ambientes de desarrollo y de staging de manera exitosa, por lo que decidimos proceder en las fechas mencionadas a realizar la actualización.Una vez finalizada la actualización de la base de datos nuestros equipos de desarrollo y producto se encargaron de monitorear el rendimiento durante las primeras horas operativas del lunes 12 de febrero, momento en el que identificamos que el rendimiento de la plataforma estaba bajando en comparación con las semanas anteriores.De inmediato comenzamos a consultar con los expertos del equipo de soporte de nuestra infraestructura, quienes nos recomendaron realizar varias configuraciones y ajustes tanto a nivel de servidores como de desarrollos, los cuales aplicamos durante la semana y resumimos a continuación:

Cambiamos los servidores de la base de datos a una clase más moderna y estable.
Realizamos varios ajustes a los parámetros de configuración de la base de datos.
A nivel de desarrollo optimizamos varias funcionalidades de lectura y escritura a la base de datos.
Contratamos un servicio de discos optimizados para el manejo de transacciones, para poder manejar las solicitudes de lectura y escritura de manera separada cuando el sistema se encuentra manejando alta demanda de transacciones.

Luego de realizar éstas acciones y monitorear el rendimiento de la plataforma, pudimos evidenciar que tuvieron un impacto positivo, permitiendo que los procesos hayan regresado a la normalidad y además, notamos mejoras de rendimiento asociadas a la actualización de la base de datos.Entendemos que durante este periodo la operación regular se vio afectada por lo que agradecemos su paciencia y comprensión. Así mismo tomaremos los aprendizajes de este proceso para minimizar las probabilidades de incidentes en futuras actualizaciones.

Saludos,
Equipo Ingeniería Multivende

Posted Feb 16, 2024 - 13:04 GMT-03:00

Resolved

Nuestro servicio de base de datos ya se encuentra estable y la lentitud general de la plataforma evidenciada en días anteriores mejoró considerablemente. Los procesos vuelven a la normalidad y adicionalmente identificamos mejoras en el rendimiento asociadas a la actualización de la versión de nuestra base de datos.

Posted Feb 16, 2024 - 13:03 GMT-03:00

Update

El incidente asociado a la actualización de nuestra base de datos ha sido más complejo de lo usual. El cambio realizado el fin de semana (fuera de horario hábil) generó problemas inesperados que han causado que el funcionamiento general de la plataforma se haya visto afectado durante ésta semana.

Actualmente estamos tomando varias medidas para resolver el problema: aumentamos la infraestructura para mitigar el impacto del incidente, modificamos parámetros según recomendaciones de expertos y optimizamos localmente el código de algunos procesos críticos, entre otras cosas.

Seguiremos informando sobre la situación a través de este medio. Lamentamos los problemas que esto ha causado en la operación y estamos poniendo todos nuestros esfuerzos para resolverlo.

Posted Feb 15, 2024 - 12:03 GMT-03:00

Update

Continuamos con la optimización de nuestra base de datos, es por esto que muchos de nuestros procesos se han visto afectados con lentitud e inestabilidad.
Estamos trabajando y ajustando nuestros procesos, para que estos cambios afecten lo menos posible en las operaciones del día a día.

Posted Feb 13, 2024 - 16:21 GMT-03:00

Monitoring

Durante la mañana de hoy hemos estado presentando lentitud en la carga y visualización general de la plataforma así como en el procesamiento de las distintas solicitudes.

Esto se debe a un proceso de optimización de recursos que inició el fin de semana con una actualización en nuestra base de datos y que continuará durante el resto del día.

Informaremos una vez finalice este proceso así como cualquier otra novedad por este medio.

Posted Feb 12, 2024 - 14:58 GMT-03:00

This incident affected: Aplicación (Interfaz web, Dashboard, Integraciones vía API, Amazon Web Services, Webhooks), Acciones masivas (Generación de archivos, Procesamiento de archivos, Generación de reportes, Carga de imágenes), Creación de productos (Todos los canales de venta), Sincronización de productos (Todos los canales de venta), Registro de órdenes (Todos los canales de venta), Cambio de estado de las órdenes (Todos los canales de venta), Generación de etiquetas/guías de despacho (Todos los canales de venta), Auditorías (Todos los canales de venta), Sincronización de precios y campañas (Todos los canales de venta), Sincronización de inventario (Todos los canales de venta), and Carga de documentos de facturación/documentos tributarios (Todos los canales de venta).