veilletech.fr
Magnitude compile ses kernels sur votre machine
Magnitude, moteur d'inférence open source (Apache 2.0) lancé sur Hacker News, compile et règle ses kernels sur la machine de l'utilisateur au lieu de livrer des binaires génériques. L'éditeur annonce un décodage 92 % plus rapide que llama.cpp sur Metal et 19 % sur CUDA — des mesures non vérifiées de façon indépendante.