Problema con el scheduler de airflow

Hola Carmen Fernandez

Por lo que describes, el mensaje "Scheduler heartbeat timed out" suele indicar que el Scheduler no puede completar sus operaciones dentro del tiempo esperado, normalmente debido a una base de datos sobrecargada, falta de recursos o una configuración demasiado restrictiva. Como primer paso, revisaría el tamaño del pool de conexiones de la base de datos y consideraría aumentarlo gradualmente para evitar que el Scheduler se quede esperando conexiones disponibles. También es recomendable incrementar los valores de worker timeout y verificar que los workers no estén ocupados con tareas de larga duración que puedan bloquear recursos críticos.

Además, merece la pena comprobar el uso de CPU, memoria y latencia de la base de datos durante los momentos en que ocurre el problema. En muchos casos, una combinación de más conexiones disponibles, tiempos de espera más amplios y una optimización de las consultas a la base de datos ayuda a estabilizar el Scheduler significativamente. Si el entorno ejecuta una carga elevada de DAGs, también puede ser útil revisar la concurrencia y la frecuencia de planificación para reducir la presión sobre el componente Scheduler.

Espero que esta orientación te ayude a avanzar en el diagnóstico. Si la respuesta te resulta útil, te agradecería que hicieras clic en "Accept Answer"