Choisir son premier modèle LLM local

Par Emmanuel Sauvage · Publié le · Mis à jour le

Cette page peut contenir des liens partenaires Amazon : si vous achetez après un clic, le site peut percevoir une commission sans surcoût pour vous. Nos conseils restent indépendants. En savoir plus.

Après installer Ollama ou la première IA en 15 minutes, la question suivante est presque toujours la même : quel fichier de modèle télécharger ? Un LLM (large language model, grand modèle de langage) existe en plusieurs tailles (3B, 7B, 13B… où B = milliards de paramètres) et en plusieurs quantifications (compression du fichier GGUF). Ce guide vous évite les tags au hasard et les modèles trop gros pour votre RAM ou votre VRAM.

Prérequis

  • Ollama installé et fonctionnel (ollama --version répond).
  • Connaissance approximative de la RAM (16, 32, 64 Go) et, le cas échéant, de la VRAM (mémoire de la carte graphique).
  • Espace disque : prévoir 3–8 Go par modèle quantifié — voir SSD et stockage modèles.

Durée estimée : 25 minutes (téléchargement inclus selon votre débit).

Variante instruct : indispensable pour un assistant

Sur Ollama, préférez les tags contenant instruct : ce sont des modèles entraînés pour suivre des consignes (résumé, traduction, « réponds en trois puces »). Une variante dite « base » sans instruct répond souvent comme un texte libre, moins pratique au quotidien.

Exemples de tags valides (oct. 2026, à vérifier sur la fiche officielle du modèle) :

  • llama3.2:3b-instruct-q4_K_M — très léger, idéal 16 Go RAM.
  • mistral:7b-instruct-q4_K_M — bon équilibre qualité / poids.
  • llama3.1:8b-instruct-q4_K_M — un peu plus exigeant en mémoire.

Tableau quantification GGUF (cœur du choix)

Quantif. Taille disque ~7B Qualité RAM/VRAM indicative
Q4_K_M ~4,5 Go Bon compromis foyer 8–12 Go libres
Q5_K_M ~5,5 Go Légèrement plus nuancé 10–14 Go
Q8_0 ~7 Go Proche original 12–16 Go

Exemple commenté pour 32 Go RAM : vous pouvez viser un 8B instruct Q4_K_M (~5 Go) en laissant de la marge pour Windows, le navigateur et Open WebUI. Sur 16 Go, préférez un 3B instruct Q4_K_M ou un 7B uniquement si peu d’applications ouvertes.

Étapes numérotées

  1. Noter la mémoire
    Windows : Paramètres → Système → Informations. macOS : Pomme → À propos de ce Mac → Mémoire. Linux : terminal, commande free -h (ligne « total » / « disponible »). GPU NVIDIA : nvidia-smi (ligne « Memory-Usage »). GPU AMD (ROCm installé) : rocm-smi. Sans carte graphique dédiée (Intel/AMD intégré seulement) : ignorez nvidia-smi / rocm-smi et basez-vous sur la RAM seule — voir GPU, iGPU et eGPU si vous hésitez.

  2. Choisir une taille

    • 16 Go RAM → 3B–7B instruct Q4.
    • 32 Go → 7B–8B confortable ; 13B possible en CPU si vous fermez le reste.
    • GPU 8 Go VRAM → souvent 7B–8B en grande partie sur GPU — détail dans VRAM quel modèle.
  3. Télécharger avec la commande exacte

    ollama pull mistral:7b-instruct-q4_K_M

    Remplacez le tag par celui copié depuis ollama.com/library.

  4. Lancer une session test

    ollama run mistral:7b-instruct-q4_K_M

    Demandez : « Résume en trois puces pourquoi l’IA locale peut aider un foyer. »

    Résultat attendu : en moins de 60 secondes, le modèle répond avec exactement trois puces en français, sans paragraphe unique ni liste numérotée à la place des tirets. Si le format est ignoré, vérifiez le tag instruct avant de changer de taille.

    Encart optionnel — fenêtre de contexte
    Le contexte (context length, longueur de contexte) est le texte (prompt + historique) que le modèle « voit » d’un coup. Un token est une unité de texte pour le modèle (mot ou morceau de mot). Sur Ollama, les modèles foyer tournent souvent autour de 8k tokens (≈ 6 000–8 000 mots) — suffisant pour un mail ou une page de notes. Les gros PDF passent plutôt par n8n ou un découpage manuel ; ne surdimensionnez pas la taille du modèle pour cette seule raison.

  5. Évaluer vitesse et qualité
    Si la réponse met plus de 30–60 s par paragraphe sur CPU, testez un modèle plus petit. Si les réponses ignorent le format, vérifiez le tag instruct.

Erreurs fréquentes (symptômes observables)

Erreur Conséquence Correction
Télécharger un 70B sur 16 Go RAM Disque qui grinde, réponses très lentes ou crash ollama rm puis modèle 3B–7B
Oublier instruct Modèle qui ne respecte pas les consignes Repull avec tag instruct
Confondre VRAM et RAM mauvais modèle GPU Relire VRAM
Tag sans quantification visible Fichier plus lourd que prévu Choisir explicitement q4_K_M

Interface familiale et suite

Pour partager le chat dans le foyer : Open WebUI pour débutants (interface web sur le même Ollama) ou installer LM Studio (interface graphique sans terminal, pratique pour comparer des modèles avant de figer un tag Ollama). Si vous ajustez la répartition CPU/GPU à la main dans LM Studio, le déchargement sur carte graphique (GPU offload) est expliqué pas à pas. Côté usages : assistant privé familial, Home Assistant, n8n.

Matériel si vous achetez une machine dédiée

Croisez le sélecteur matériel et choisir matériel IA. Fourchette mini-PC indicative 500–800 € (prix à vérifier sur le marché, oct. 2026) : mini-PC 32 Go sur Amazon.fr (lien partenaire — affiliation).

Économie et vie privée

Comparer 3B, 7B, 8B et 13B (usage foyer)

Taille Intérêt Limite
3B PC modeste, tests rapides Réponses moins nuancées
7B–8B Meilleur compromis quotidien Peut saturer 16 Go RAM
13B Rédaction plus riche CPU lent sans GPU ; 32 Go+
14B+ Réservé machines confort Risque swap — voir RAM 32/64

Pour un premier téléchargement, restez sur 7B instruct Q4 sauf contrainte matérielle évidente (16 Go RAM → plutôt 3B).

Lire une fiche sur ollama.com/library

  1. Ouvrez ollama.com/library et cherchez mistral, llama3.2, qwen2.5, etc.
  2. Onglet Tags : repérez une ligne contenant instruct et q4_K_M (casse exacte affichée sur la fiche).
  3. Copiez le tag exact (casse et deux-points inclus) dans ollama pull.
  4. Notez la taille affichée (~4,5 Go pour un 7B Q4) et comparez à votre SSD — stockage modèles.

Si plusieurs quantifications existent, Q4_K_M reste le réflexe foyer ; Q5 si vous avez de la marge RAM et voulez un peu plus de qualité.

Français et multilingue

La plupart des modèles instruct récents répondent correctement en français si vous le demandez explicitement (« Réponds en français »). Pour la voix, la transcription reste du ressort de Whisper, pas du LLM. Pour le code hobby, Continue (extension de l’éditeur de code du même nom) accepte souvent un backend Ollama — voir assistant code local Continue une fois le bon modèle tiré.

Gérer l’espace disque

Lister :

ollama list

Supprimer un modèle inutilisé :

ollama rm nom_du_tag

Gardez un modèle généraliste plus un petit modèle de secours plutôt qu’une dizaine de variantes identiques.

Quand changer de modèle

Signal Action
Latence > 1 min par réponse courte Passer à 3B–7B ou activer GPU
Réponses inventées sur faits récents Normal sans recherche web ; ne pas confondre avec bug modèle
Format toujours ignoré Vérifier tag instruct
Qualité insuffisante sur tâches difficiles Tester 8B Q5 ou 13B si RAM/GPU OK

Scénarios LocAIhome (modèle conseillé)

Sécurité minimale

Ne exposez pas le port Ollama (11434) sur Internet sans authentification. Pour une stack Docker, voir Docker Ollama et Open WebUI et ne pas publier le port 8080 sans protection.

Questions fréquentes

Quel premier modèle pour un foyer ?

Un 7B–8B en variante instruct (entraînée pour suivre des consignes), quantification q4_K_M, si vous avez 16–32 Go de RAM ou 8 Go+ de VRAM GPU.

Comment copier le bon tag ollama pull ?

Sur ollama.com/library, ouvrez la fiche du modèle et repérez un tag contenant instruct et q4_K_M, par ex. llama3.2:3b-instruct-q4_K_M ou mistral:7b-instruct-q4_K_M.

Pourquoi mon modèle ne suit pas mes consignes ?

Vous avez peut‑être téléchargé une variante base (sans instruct) ou un modèle trop lourd qui swap sur le disque et produit des réponses incohérentes.

Sources

Affiner avec le sélecteur matériel