Hallo LiamDe,
Dit probleem ontstaat doordat strikte parsers direct falen wanneer een numerieke waarde decimalen bevat terwijl het doelschema een integer vereist. Om dit binnen uw ETL-pipeline flexibel op te vangen, kunt u het inkomende veld in de staging-laag eerst inlezen als een double of string. Vervolgens past u een expliciete cast-transformatie toe, waarbij u de waarde eerst afrondt met een functie zoals round of floor alvorens deze te converteren naar een 64-bit integer, waardoor zwevende kommawaarden niet langer tot verwerkingsfouten leiden.
Maakt u gebruik van PySpark of Azure Data Factory, dan kunt u in Spark de configuratie spark.sql.ansi.enabled op false zetten om te voorkomen dat typeconversies runtime exceptions veroorzaken, of de functie try_cast gebruiken om ongeldige data veilig af te handelen. Als deze aanpak uw pipeline stabiliseert en de data-ingestie weer vlekkeloos verloopt, nodig ik u van harte uit om het antwoord te accepteren.
Tracy Le.