Alta latencia en el destino durante la replicación de datos en AWS DMS

Question

Alta latencia en el destino durante la replicación de datos en AWS DMS

Sanchez 20

No logro mantener sincronizada una base de datos en AWS DMS que utilizamos para los reportes de nuestro negocio bajo el entorno de Windows. La tarea CDC inicia correctamente, pero experimenta una latencia altísima en el endpoint de destino cada vez que entran operaciones masivas de actualización (bulk updates).

Hemos ajustado la capacidad de la instancia de replicación esperando que procese los cambios a tiempo, pero el retraso sigue acumulándose y afecta la disponibilidad de la información en nuestras aplicaciones corporativas. También hemos revisado las configuraciones básicas del flujo sin lograr una mejora en la velocidad de escritura.

¿Cómo podemos optimizar los ajustes de aplicación en el endpoint de destino de DMS para acelerar el procesamiento por lotes y eliminar este retraso?

0 comentarios

1 respuesta

Su respuesta

Answer 1

El patrón de un CDCLatencySource bajo pero un CDCLatencyTarget creciente durante las actualizaciones masivas normalmente significa que DMS está capturando los cambios con suficiente rapidez, pero no puede aplicarlos al destino con la misma velocidad.

Para los destinos de base de datos que lo admitan, edite la configuración de la tarea de DMS y establezca "TargetMetadata": {"BatchApplyEnabled": true}; AWS recomienda específicamente la aplicación optimizada por lotes para cargas de trabajo con un gran volumen de cambios, ya que agrupa las transacciones en lugar de aplicarlas individualmente. A continuación, ajuste ChangeProcessingTuning, especialmente BatchApplyMemoryLimit, BatchApplyTimeoutMin/Max y BatchSplitSize; si las transacciones se están volcando al disco, ajuste también MemoryLimitTotal y MemoryKeepTime. Aumente estos valores de forma gradual mientras supervisa el uso de memoria y la latencia del destino, en lugar de establecer valores elevados de forma arbitraria.

Asegúrese de que las tablas de origen afectadas tengan una clave primaria o única, ya que sin ella DMS no puede procesar por lotes las actualizaciones y eliminaciones. Revise también los registros de DMS para detectar errores de datos, porque un error durante la aplicación puede hacer que DMS abandone el modo por lotes y vuelva al procesamiento individual de los cambios. Asimismo, compruebe las IOPS y el rendimiento de escritura de la base de datos de destino, además de posibles bloqueos durante el período de actualizaciones masivas; aumentar únicamente el tamaño de la instancia de replicación no resolverá el problema si la base de datos de destino está bloqueada o no puede procesar los cambios con suficiente rapidez.