veilletech.fr
La falaise de Pandas vous vend un cluster
La thèse n'est pas que Pandas est lent, mais que sa falaise mémoire pousse vers un système distribué bien avant que le volume le justifie. L'auteur s'appuie sur le papier « Why TPC is not enough » publié par Amazon en 2024 sur son parc Redshift : environ 95 % des tables y contiennent moins de 100 Go. Entre la falaise et l'endroit où un cluster devient nécessaire, Polars et DuckDB tiennent sur une seule machine.