Kolibri : un MoE de 78B à 3B actifs, sous Apache 2.0
Aleph Alpha publie Kolibri, un mélange d'experts anglais-allemand de 78 milliards de paramètres dont 3 actifs par jeton, sous licence Apache 2.0. Pensé pour coûter peu à servir — 18 requêtes longues en parallèle sur deux H100, contre 3 pour une variante à 123 milliards — il se lance avec vLLM et un plugin dédié, et accepte jusqu'à un million de jetons de contexte.