Échec des requêtes sur les tables externes BigQuery en raison d'un fichier source GCS supprimé et configuration des wildcards

Question

Échec des requêtes sur les tables externes BigQuery en raison d'un fichier source GCS supprimé et configuration des wildcards

Sébatien Montclair 0

Nous rencontrons des problèmes avec nos requêtes sur les tables externes BigQuery qui échouent sans cesse parce que le fichier source sur Google Cloud Storage a été supprimé, et il semble que la documentation de Google rende la résolution de ce problème impossible. Les pages d'assistance ne fournissent aucune instruction spécifique pour la situation que nous traversons, et lorsque nous essayons de configurer par nous-mêmes les caractères génériques pour le chemin de la table (table path wildcards), le système ne nous permet pas de continuer et renvoie continuellement des erreurs de syntaxe. Tout conseil à ce sujet serait grandement apprécié.

0 commentaires

1 réponse

Votre réponse

Answer 1

Sébatien Montclair Les erreurs que vous rencontrez résultent de l'utilisation de caractères jokers incorrects ou de leur placement dans des segments invalides du chemin de stockage.

Pour résoudre ce problème, vous devez redéfinir les URI sources de la table externe en utilisant la syntaxe des jokers correcte, qui utilise strictement un astérisque. Au lieu de pointer la table vers un fichier spécifique, configurez l'URI source pour cibler le niveau du répertoire, formaté exactement comme gs://your-bucket/your-folder/*. En utilisant cette syntaxe, BigQuery scannera et lira dynamiquement tous les fichiers existant actuellement dans le chemin du bucket lors de l'exécution de la requête. Si un fichier est supprimé, la requête traitera simplement les fichiers restants correspondant au motif astérisque sans générer d'erreur de fichier manquante.

J'espère que cette réponse vous a apporté des informations utiles. Si c'est le cas, veuillez cliquer sur « accepter la réponse ». Si vous avez des questions, n'hésitez pas à laisser un commentaire.

VPHAN