Hohe Target Apply Latency bei Data Migration Service während Batch-Updates

Question

Hohe Target Apply Latency bei Data Migration Service während Batch-Updates

FELIO VLADIMIR 0

Hallo, innerhalb unserer Unternehmensinfrastruktur nutze ich den Data Migration Service zur Synchronisierung unserer zentralen Datenbanken für die Firmen-PCs und Arbeitsplätze. Die initiale Replikation und der reguläre Datenabgleich klappen gut. Leider kommt es bei größeren Batch-Updates zu einer extrem hohen Target Apply Latency auf der Zielseite. Sobald größere Transaktionsblöcke übertragen werden, kommt die Fehlermeldung bzw. Warnung in den Logs:

"Target apply latency exceeded acceptable operational threshold. Task CDC throughput constrained by memory pressure and serialized transaction execution buffer."

Inzwischen habe ich den Task neu gestartet und den Puffer temporär entlastet. Ohne Erfolg. Weiterhin habe ich versucht, die CDC-Einstellungen manuell zu prüfen, aber die Verzögerung bleibt bei Lastspitzen bestehen. Wie können wir MemoryLimitInMB und die parallele Transaktionsausführung (parallel transaction execution) in den Task-Einstellungen optimal anpassen?

Was kann ich tun.

0 Kommentare

1 Antwort

Ihre Antwort

Answer 1

Hallo FELIO VLADIMIR,

Die Meldung deutet darauf hin, dass der CDC-Prozess durch Speicherdruck und die serielle Verarbeitung von Transaktionen ausgebremst wird. Zunächst sollten Sie prüfen, ob während Lastspitzen Änderungen auf Datenträger ausgelagert werden oder ob die Replikationsinstanz ihre Speichergrenzen erreicht.

Neben dem verfügbaren Arbeitsspeicher spielt auch das Zielsystem eine wichtige Rolle. Bei relationalen Datenbanken hat die Art und Weise, wie Änderungen angewendet werden (Apply Processing), oft einen größeren Einfluss auf die Latenz als die reine Größe des Arbeitsspeichers. Deshalb sollten Sie zuerst die CDC- und Batch-Apply-Einstellungen des Tasks sowie die aktuellen CloudWatch-Metriken überprüfen.

Können Sie angeben, welches Quell- und Zielsystem verwendet wird und welchen Typ die Replikationsinstanz hat? Damit lässt sich besser beurteilen, ob die Ursache hauptsächlich Speicherdruck, die Apply-Strategie oder die Zielplattform selbst ist. Wenn Ihnen die Antwort hilft, akzeptieren Sie sie bitte als Lösung.

Tracy Le.