Source · 31 jours de veille

jdagostino.github.io

Ce qui a été retenu de cette source, et sur quels thèmes. Chaque fiche est une synthèse originale et renvoie à l'article d'origine.

1fiche

1jour sur 31

4min de lecture

IA & LLMthème

Quatre GPU, et le goulot était dans le BIOS

Deuxième volet d'un montage de serveur d'inférence maison à quatre GPU AMD. L'auteur y traque la lenteur du multi-GPU sous llama.cpp et découvre que les transferts directs entre cartes ne fonctionnaient pas du tout : tout passait par le processeur. Deux réglages, un dans le BIOS et un dans le noyau, multiplient les débits.

26 août4 min

LLM