veilletech.fr
2 oct. Feed du jour
#09 POSTGRES Article

Aurora PostgreSQL lit vos Parquet S3 via DuckDB

L'historique peut rester sur S3. C'est la requête qui va le chercher.

Aurora PostgreSQL peut désormais interroger des tables Apache Iceberg et des fichiers Parquet sur S3 dans la même requête que ses propres tables, sans copie, via des tables étrangères et un moteur DuckDB embarqué. Il faut Aurora PostgreSQL 17.11 ou 18.6 au minimum, l'extension aurora_analytics et un rôle IAM dédié ; la fonction est gratuite, pas le calcul ni les lectures S3.

2 min de lectureintermédiairevidéo 1:19
Partager
Sommaire4 sections
  1. Ce qui se passe
  2. Comment ça marche
  3. Prérequis et coûts
  4. À retenir

Ce qui se passe

Croiser les transactions récentes d'une base avec un historique archivé en Parquet sur S3 imposait jusqu'ici de recharger cet historique, puis de le tenir à jour. AWS ouvre dans Aurora PostgreSQL la lecture directe de tables Apache Iceberg et de fichiers Parquet, dans la même requête SQL que les tables de la base, par les connexions existantes.

Le travail analytique est confié à un moteur DuckDB embarqué. Selon heise, Duck Labs, la société derrière DuckDB, a récemment été rachetée par Amazon.

Comment ça marche

On crée des tables étrangères qui pointent vers le data lake. Pour du Parquet, le schéma est lu dans les métadonnées des fichiers, et IMPORT FOREIGN SCHEMA crée plusieurs tables d'un coup. Sont pris en charge les tables Iceberg du catalogue AWS Glue, Iceberg et Parquet sur S3 et S3 Tables, et les catalogues Iceberg REST par fédération avec Glue.

Aurora ne lit que les colonnes et les données utiles à la requête, et garde en cache ce qui revient souvent. Les lectures passent par l'instance d'écriture comme par les réplicas.

Prérequis et coûts

Disponible dans toutes les régions commerciales et GovCloud (US). Pas de supplément pour la fonction, mais le calcul ajouté et les requêtes S3 sont facturés. aurora_analytics_stat_statements() donne les octets lus sur S3 et les succès du cache. Pour des temps de réponse très courts, mieux vaut toujours copier les données dans une table ordinaire.

Source (en allemand) : Historische Daten in S3? AWS Aurora holt sie jetzt direkt, heise Developer, 1er octobre 2026. Annonce d'origine : blog AWS.