Concepts

Modèle entraîné à prédire le token suivant sur un corpus massif. Tout le reste (raisonnement, code, dialogue) émerge de cet objectif à très grande échelle.

Les modèles au sommet du classement du moment (Claude, GPT, Gemini, GLM 5.2, Kimi K3). Le sommet bouge tous les mois.

Modèle dont les poids sont téléchargeables et exécutables sur ta machine ou ton cloud. Gemma, Qwen, Kimi, DeepSeek : pas nécessairement open-source au sens code, mais poids ouverts.

Un modèle dense utilise tous ses paramètres à chaque token (Llama 405B = 405 milliards lus par token, intenable). Un MoE (Mixture of Experts) découpe en experts et n'en réveille que quelques-uns par token. C'est ce qui rend le quasi-frontier jouable en local.

Sur un MoE, la part réellement lue par token. C'est ça qui gouverne la vitesse de décode, pas la taille totale. DeepSeek 671B / 37B actifs, Qwen 35B / 3B actifs.

Le hub central des modèles open-weight, en safetensors (poids bruts) ou GGUF (quantizé pour llama.cpp). C'est là qu'on télécharge Gemma, Qwen, Kimi, Ornith, la plupart des variantes communautaires. La CLI huggingface-hub gère les téléchargements résumables.

Le format binaire quantizé de la famille llama.cpp. Un seul fichier .gguf contient les poids compressés + les métadonnées. Notre banc utilise des GGUF Q8 pour ornith et aganta1.

Compression des poids : le modèle est entraîné en 16 bits par paramètre ; on les stocke sur 8 bits (quasi sans perte) ou 4 bits (perte légère). Divise la mémoire et le débit nécessaires : un 35B passe de ~70 Go (fp16) à ~37 Go (Q8) à ~20 Go (Q4).

Format concurrent de GGUF, natif Hugging Face, plutôt utilisé côté PyTorch / vLLM. GGUF domine côté llama.cpp et matos modeste.

Phase d'utilisation d'un modèle entraîné (générer des réponses), par opposition à l'entraînement. C'est ce que fait une API ou un llama-server local.

Prefill = lire tout le prompt d'un coup, borné par la puissance de calcul (le GPU excelle). Décode = écrire token par token, borné par la bande passante mémoire (le tuyau, pas les cœurs). Deux régimes différents.

La mémoire embarquée sur la carte graphique. La 2060 en a 6 Go. Très rapide, très chère, c'est la denrée rare de tout le sujet.

Le débit auquel on lit la mémoire (Go/s). LA grandeur qui gouverne le décode. Échelle : DDR4 laptop ~40 Go/s, RTX 3090 ~940 Go/s, RTX 5090 ~1790, H100 ~3350.

Astuce llama.cpp pour faire tenir un MoE trop gros : les experts vont en RAM (lus par le CPU), l'attention et les couches partagées restent en VRAM. C'est comme ça qu'un 35B tient sur 6 Go de VRAM + 64 Go de RAM.

Le moteur d'inférence de référence pour du matos modeste. Roi du GGUF et de l'offload CPU/GPU. Le mode llama-server expose une API OpenAI-compatible sur :8080.

La mémoire de travail d'une conversation : pendant le prefill, le modèle calcule pour chaque token des vecteurs Key/Value. Les garder évite de tout recalculer au message suivant. C'est cette structure qu'on sauve/restaure entre les tours (Loom : slot save/restore sur llama.cpp).

Un LLM placé dans une boucle avec des outils et un objectif. Il décide ses actions, observe les résultats, itère jusqu'à ce que la tâche soit faite (par opposition à un simple question→réponse).

Tout le code non-IA autour du modèle : boucle, exécution des outils, gestion du contexte, permissions, erreurs. La qualité d'un agent dépend autant du harnais que du modèle. Un bon harnais outille, il ne pilote pas.

Le modèle reçoit un catalogue d'outils décrits en JSON Schema ; il répond par des appels structurés (nom + arguments) que le harnais exécute réellement. Le modèle décide quand et quoi appeler.

L'art de concevoir la boucle agentic : quand s'arrêter, quand relancer, comment détecter une non-progression, quels garde-fous (plafond de tours, anti-répétition), comment injecter les résultats d'outils. La différence entre un agent qui converge et un agent qui boucle.

Le cycle fondamental : prompt → le modèle répond ou appelle un outil (stop_reason=tool_use) → le harnais exécute → le résultat est réinjecté → le modèle continue, jusqu'à end_turn.

Un agent enfant lancé avec un contexte isolé et une mission autonome. Il ne voit pas la conversation principale, ne renvoie que son résultat final. Protège le contexte du principal des gros chantiers.

Protocole ouvert d'Anthropic qui standardise la connexion entre applications IA et sources externes : un serveur MCP expose outils, ressources et prompts. Un peu "l'USB-C des applis IA". Voir notre pratique EDP en production.

Format de capacités déclenchables par le modèle lui-même (fichiers SKILL.md avec frontmatter). Nos plugins open-source (legal, accounting, strategy, defensive-prompt-injection) suivent ce format ; Loom l'implémente aussi côté open-weight.

Le nombre maximal de tokens que le modèle peut voir en une requête (prompt + réponse). Claude standard : 200 000 tokens. En local, la fenêtre se calibre par machine : pas de valeur figée.

Marquer les préfixes stables du prompt (system, gros documents, schémas d'outils) avec des points de cache. Les requêtes suivantes qui partagent ce préfixe coûtent ~10 % du prix et accélèrent. Modification du préfixe = invalidation cascade.

Remplacer les vieux tours par un résumé dense pour libérer des tokens tout en préservant les faits décisifs. Risque : perdre un détail dont une étape future a besoin. Loom fait une compaction multi-étage avec force-fit déterministe.

Faire répondre le modèle à partir de sources récupérées à la demande (via embeddings ou recherche), plutôt que de sa mémoire d'entraînement. Réduit les hallucinations à la source.

Le modèle affirme avec assurance quelque chose de faux (fait, citation, API inexistante). Se mitige par le grounding, les outils, la vérification déterministe (railguards) : pas par le prompt seul.

Contrôles déterministes autour du modèle : validation des sorties, listes d'interdits, appels d'outils forcés sur les questions à risque, plafonds. Complément indispensable du prompt, qui n'est jamais une garantie.

Attaque où un contenu ingéré (URL, PDF, sortie d'outil) contient des instructions déguisées que le modèle risque d'exécuter. Défense : marquer tout contenu externe comme DONNÉE, pas comme instruction. C'est ce que fait notre plugin defensive-prompt-injection.