Accès S3 refusé avec Redshift Spectrum lors de la lecture de fichiers Parquet chiffrés

Question

Accès S3 refusé avec Redshift Spectrum lors de la lecture de fichiers Parquet chiffrés

Jean Martin 40

Les requêtes exécutées sur des tables externes via Redshift Spectrum échouent avec une erreur S3 Access Denied lors de la lecture de fichiers Parquet chiffrés. Le rôle IAM associé à Amazon Redshift semble ne pas disposer des autorisations nécessaires pour accéder au bucket S3 et/ou déchiffrer les objets concernés. Comment vérifier les permissions requises et attacher correctement les policies IAM nécessaires aux rôles Redshift afin de permettre l’accès aux fichiers Parquet chiffrés ?

0 commentaires

1 réponse

Votre réponse

Answer 1

Bonjour,

D’après les informations que vous avez fournies, l’erreur rencontrée lors de l’interrogation de fichiers Parquet chiffrés via Redshift Spectrum est généralement due soit à des autorisations S3 manquantes sur le bucket, soit à des permissions insuffisantes pour utiliser la clé de chiffrement protégeant les objets. La première vérification que je recommande consiste à confirmer que le rôle IAM associé au cluster Redshift dispose des autorisations nécessaires pour effectuer les opérations ListBucket et GetObject sur le bucket cible ainsi que sur les préfixes contenant les fichiers Parquet.

Si les fichiers sont chiffrés avec AWS KMS, le rôle IAM utilisé par Redshift doit également disposer des autorisations nécessaires pour utiliser la clé KMS correspondante afin de déchiffrer les objets. Il est important de vérifier à la fois la stratégie IAM associée au rôle Redshift et la key policy de la clé KMS, car l’accès peut être refusé si l’un ou l’autre de ces éléments ne contient pas les autorisations requises. Je recommande également de vérifier la bucket policy S3 afin de s’assurer qu’aucune instruction explicit deny ne vient remplacer les autorisations accordées au rôle.

Une étape de dépannage utile consiste à identifier précisément le rôle IAM associé au cluster Redshift et à vérifier qu’il est correctement attaché et actif. Vous pouvez ensuite comparer les autorisations du rôle avec la bucket policy ainsi qu’avec la configuration de chiffrement des objets concernés. Si le problème est apparu récemment, il peut également être utile de vérifier si le bucket, la clé KMS ou les stratégies IAM ont été modifiés dans le cadre d’un renforcement de la sécurité.

Une fois les autorisations S3 et KMS requises confirmées, relancez une requête Spectrum sur un petit échantillon de données et surveillez les erreurs générées par la requête. Dans la plupart des cas, la correction des autorisations du rôle et de l’accès à la clé KMS permet de résoudre le problème sans nécessiter de modification des tables externes ou des fichiers Parquet.

J’espère que ces informations vous seront utiles. Si cette réponse vous a aidé, n’hésitez pas à cliquer sur « Accept Answer » afin de confirmer qu’elle a répondu à votre problème.

Jason