Ungleichmäßige Consumer-Last bei Kafka-Topic-Partitionen

Hallo Julian Hoffmann,

Wenn mehrere Topic-Partitionen unbearbeitet bleiben, liegt die Ursache häufig an einer ungeeigneten Partition Assignment Strategy innerhalb der Consumer-Gruppe. Erzwingen Sie eine passende Zuordnungsstrategie über die Consumer-Eigenschaft partition.assignment.strategy, beispielsweise erforderlich org.apache.kafka.clients.consumer.CooperativeStickyAssignor für möglichst stabile Rebalances oder org.apache.kafka.clients.consumer.RangeAssignor bzw. RoundRobinAssignor, fällt eine gleichmäßigere Verteilung an.

Wichtig ist, dass alle Consumer dieselbe Consumer-Gruppe dieselbe Assignor-Konfiguration verwenden, da gemischte Strategien zu unerwarteten Rebalances und unausgewogener Partitionsverteilung führen können. Überprüfen Sie außerdem die Consumer-Lags und die Partitionszuordnung mit den Kafka-Consumer-Group-Metriken, um festzustellen, ob ein einzelner Worker aufgrund von Ressourcenengpässen oder Anwendungsthrottling zurückfällt. Falls die Last dauerhaft ungleich verteilt ist, kann ein benutzerdefinierter Assignor implementiert und auf allen Consumer-Instanzen bereitgestellt werden, um partitionsspezifische Geschäftsregeln durchzusetzen. Nach der Änderung sollte ein kontrollierter Rebalance durchgeführt werden, um sicherzustellen, dass alle Partitionen aktiv zugewiesen werden und keine Consumer-Instanz überlastet bleibt.

Wenn meine Antwort für Sie nützlich ist, klicken Sie bitte auf „Antwort für mich akzeptieren“.

HL.