Smallem : un LLM en Rust et CUDA, à partir de zéro
Construire un modèle de langage de type GPT en Rust, sans framework, avec chaque calcul sur GPU fait par un kernel écrit à la main.
Articles
Comprendre en construisant
Des projets menés de bout en bout et racontés étape par étape, avec le code et les mesures.
Fonctionnement interne des IA
Construire un modèle de langage à partir de zéro pour voir, de l'intérieur, comment il apprend, répond et se sert.
Smallem : servir un modèle
Générer du texte vite, à plusieurs et avec peu de mémoire : profil, génération par lots, quantification, décodage spéculatif et cache par pages.
Flux Atom pour suivre les parutions.