Application Load Balancer weigert inkomende HTTP-verzoeken met statuscode 504 tijdens piekbelasting

Question

Application Load Balancer weigert inkomende HTTP-verzoeken met statuscode 504 tijdens piekbelasting

Lotte Visser 40

We hebben een Application Load Balancer in productie die tijdens plotselinge verkeerspieken inkomende HTTP-verzoeken begint te laten vallen. In de logging zien we massaal HTTP 504 Gateway Timeout-fouten terugkomen, wat erop wijst dat de verbindingen naar de achterliggende doelen worden verbroken. Het probleem is dat legitieme transacties hierdoor voortijdig mislukken.

Het lijkt erop dat de backend targets onder zware belasting net iets meer tijd nodig hebben om de requests af te handelen dan de huidige limiet toestaat. De load balancer sluit de verbinding simpelweg af voordat het doel een response kan terugsturen, wat direct leidt tot foutmeldingen bij de gebruikers. De omgeving is volop actief en in productie.

Hoe kunnen we de target response timeout van de Application Load Balancer het beste verhogen om dit probleem tijdens piekmomenten op te vangen? We monitoren het verkeer nauwlettend, maar we moeten deze time-outs zo snel mogelijk elimineren.

0 opmerkingen

1 antwoord

Uw antwoord

Answer 1

Hallo Lotte,

In AWS hanteert de Application Load Balancer een vaste idle timeout voor verbindingen met targets, standaard ingesteld op 60 seconden. Wanneer backend-targets onder zware belasting langer nodig hebben om te antwoorden, sluit de ALB de verbinding en geeft een HTTP 504 terug. Om dit te verhelpen moet je de idle timeout-waarde verhogen op de ALB. In de AWS Management Console ga je naar EC2 → Load Balancers → Attributes → Idle timeout en stel je deze bijvoorbeeld in op 120 seconden zodat er meer ruimte is tijdens piekbelasting. Als je infrastructuur via Terraform beheert, pas dan de parameter idle_timeout in de aws_lb resource aan en voer een nieuwe deployment uit. Hierdoor wacht de ALB langer voordat een verbinding wordt beëindigd en worden legitieme transacties minder snel afgebroken. Houd wel de latency-metrics in CloudWatch in de gaten en kies een waarde die piekbelasting opvangt zonder dat ongezonde targets te lang verborgen blijven.

Harry.