Smallem : un LLM en Rust et CUDA, à partir de zéro
Construire un modèle de langage de type GPT en Rust, sans framework, avec chaque calcul sur GPU fait par un kernel écrit à la main.
Fonctionnement interne des IA
Construire un modèle de langage à partir de zéro pour voir, de l'intérieur, comment il apprend, répond et se sert.
Smallem : servir un modèle
Générer du texte vite, à plusieurs et avec peu de mémoire : profil, génération par lots, quantification, décodage spéculatif et cache par pages.