Kies je eerste lokale taalmodel

Door Emmanuel Sauvage · Gepubliceerd · Bijgewerkt

Deze pagina kan Amazon-affiliatelinks bevatten. Een aankoop na een klik kan de site een commissie opleveren, zonder extra kosten voor jou. Het advies blijft onafhankelijk. Hoe affiliatie werkt.

Na Ollama installeren of een eerste lokale AI in 15 minuten is de volgende vraag bijna altijd dezelfde: welk modelbestand download je? Een LLM (large language model, een groot taalmodel) bestaat in meerdere groottes (3B, 7B, 13B… waarbij B voor miljarden parameters staat) en in meerdere kwantisaties (compressie van het GGUF-bestand). Deze gids houdt je weg van willekeurige tags en van modellen die te groot zijn voor je RAM of je VRAM.

Wat je nodig hebt

  • Ollama geïnstalleerd en werkend (ollama --version antwoordt).
  • Een ruwe indruk van het RAM (16, 32 of 64 GB) en, als je die hebt, van het VRAM (het geheugen van de grafische kaart).
  • Schijfruimte: reken op 3–8 GB per gekwantiseerd model — zie SSD en opslag voor modellen.

Geschatte tijd: 25 minuten (download meegerekend, afhankelijk van je verbinding).

De instruct-variant: wat je wilt voor een assistent

Op Ollama hebben tags met instruct de voorkeur. Dat zijn modellen die getraind zijn om opdrachten te volgen (samenvatten, vertalen, “antwoord in drie streepjes”). Een zogenaamde base-variant zonder instruct antwoordt vaak als vrije tekst, en dat is in het dagelijks gebruik minder handig.

Geldige tags (oktober 2026, controleer ze op de officiële modelpagina):

  • llama3.2:3b-instruct-q4_K_M — heel licht, ideaal bij 16 GB RAM.
  • mistral:7b-instruct-q4_K_M — een goede balans tussen kwaliteit en gewicht.
  • llama3.1:8b-instruct-q4_K_M — vraagt iets meer geheugen.

Tabel GGUF-kwantisatie (de kern van de keuze)

Kwant. Schijfgrootte ~7B Kwaliteit Indicatief RAM/VRAM
Q4_K_M ~4,5 GB Goed compromis voor thuis 8–12 GB vrij
Q5_K_M ~5,5 GB Iets genuanceerder 10–14 GB
Q8_0 ~7 GB Dicht bij het origineel 12–16 GB

Voorbeeld bij 32 GB RAM: een 8B instruct Q4_K_M (ongeveer 5 GB) past, en er blijft ruimte over voor Windows, de browser en Open WebUI. Op 16 GB kies je liever een 3B instruct Q4_K_M, of een 7B alleen als er weinig andere programma’s openstaan.

Genummerde stappen

  1. Noteer het geheugen Windows: Instellingen → Systeem → Info. macOS: Apple-menu → Over deze Mac → Geheugen. Linux: terminal, opdracht free -h (de regel total en available). NVIDIA-GPU: nvidia-smi (de regel “Memory-Usage”). AMD-GPU (als ROCm geïnstalleerd is): rocm-smi. Zonder losse grafische kaart (alleen Intel of AMD geïntegreerd): sla nvidia-smi en rocm-smi over en ga uit van het RAM alleen — zie GPU, iGPU en eGPU als je twijfelt.

  2. Kies een grootte

    • 16 GB RAM → 3B–7B instruct Q4.
    • 32 GB → 7B–8B loopt prettig; 13B kan op de CPU als je de rest sluit.
    • GPU met 8 GB VRAM → vaak 7B–8B grotendeels op de GPU. Het detail staat in VRAM en welk model.
  3. Download met de exacte opdracht

    ollama pull mistral:7b-instruct-q4_K_M

    Vervang de tag door de tag die je kopieert van ollama.com/library.

  4. Start een testsessie

    ollama run mistral:7b-instruct-q4_K_M

    Vraag: “Vat in drie streepjes samen waarom lokale AI een huishouden kan helpen.”

    Dit wil je zien: binnen 60 seconden antwoordt het model met precies drie streepjes in het Nederlands. Eén losse alinea, of een genummerde lijst, telt niet. Negeert het de vorm, controleer dan de tag instruct voor je van grootte wisselt.

    Optioneel kader — contextvenster De context (context length, de contextlengte) is de tekst (opdracht plus geschiedenis) die het model in één keer “ziet”. Een token is een teksteenheid voor het model (een woord of een stuk van een woord). Op Ollama draaien modellen voor thuis vaak rond 8k tokens (ongeveer 6.000–8.000 woorden). Dat is genoeg voor een mail of een pagina notities. Grote pdf’s lopen beter via n8n of een handmatige opdeling. Vergroot het model niet alleen om die reden.

  5. Beoordeel snelheid en kwaliteit Duurt een antwoord langer dan 30–60 seconden per alinea op de CPU, test dan een kleiner model. Negeren de antwoorden de gevraagde vorm, controleer dan de tag instruct.

Fouten die je kunt zien (en wat je doet)

Fout Gevolg Oplossing
Een 70B downloaden op 16 GB RAM Schijf gaat malen, antwoorden heel traag of een crash ollama rm en daarna een model van 3B–7B
instruct vergeten Model houdt zich niet aan de opdracht Opnieuw pullen met een instruct-tag
VRAM en RAM door elkaar halen Verkeerd GPU-model VRAM opnieuw lezen
Tag zonder zichtbare kwantisatie Bestand zwaarder dan verwacht Kies expliciet q4_K_M

Interface voor het gezin, en wat daarna komt

Om de chat thuis te delen: Open WebUI voor beginners (webinterface op dezelfde Ollama) of LM Studio installeren (grafische interface zonder terminal, handig om modellen te vergelijken voor je een Ollama-tag vastlegt). Pas je in LM Studio de verdeling tussen CPU en GPU met de hand aan, dan staat GPU-offload in LM Studio stap voor stap uitgelegd. Aan de gebruikskant: privéassistent voor het gezin, Home Assistant, n8n.

Hardware als je een eigen machine koopt

Leg de hardwarekiezer naast hardware kiezen voor AI. Een indicatieve band voor een mini-pc van € 500–800 (controleer de marktprijs, oktober 2026): mini-pc’s met 32 GB op Amazon.nl (partnerlink — affiliatie).

Kosten en privacy

3B, 7B, 8B en 13B vergelijken (gebruik thuis)

Grootte Waarde Grens
3B Bescheiden pc, snelle tests Antwoorden minder genuanceerd
7B–8B Beste compromis voor elke dag Kan 16 GB RAM vullen
13B Rijkere tekst Traag op de CPU zonder GPU; 32 GB of meer
14B en groter Voor machines met ruimte Risico op swap — zie RAM 32/64

Voor een eerste download blijf je op 7B instruct Q4, tenzij de hardware duidelijk minder aankan (16 GB RAM → eerder 3B).

Een pagina lezen op ollama.com/library

  1. Open ollama.com/library en zoek op mistral, llama3.2, qwen2.5 en vergelijkbare namen.
  2. Tabblad Tags: zoek een regel met instruct en q4_K_M (precies de hoofdletters die de pagina toont).
  3. Kopieer de exacte tag (hoofdletters en dubbele punt inbegrepen) in ollama pull.
  4. Noteer de getoonde grootte (ongeveer 4,5 GB voor een 7B Q4) en leg die naast je SSD — opslag voor modellen.

Zijn er meerdere kwantisaties, dan blijft Q4_K_M de reflex voor thuis. Q5 als je RAM over hebt en iets meer kwaliteit wilt.

Nederlands en andere talen

De meeste recente instruct-modellen antwoorden goed in het Nederlands als je dat expliciet vraagt (“Antwoord in het Nederlands”). Spraak is een aparte klus: transcriberen doe je met Whisper. Voor code als hobby accepteert Continue (de editoruitbreiding met die naam) vaak een Ollama-backend. Zie de lokale codeassistent Continue zodra het juiste model binnen is.

Schijfruimte beheren

Lijst:

ollama list

Een ongebruikt model verwijderen:

ollama rm naam_van_de_tag

Houd één algemeen model plus een klein reservemodel, in plaats van een tiental bijna identieke varianten.

Wanneer je van model wisselt

Signaal Actie
Wachttijd langer dan 1 minuut per kort antwoord Naar 3B–7B, of de GPU aanzetten
Verzonnen antwoorden over recente feiten Normaal zonder zoeken op het web. Haal dat niet door elkaar met een bug in het model
Vorm wordt steeds genegeerd Tag instruct controleren
Kwaliteit te mager op moeilijke taken 8B Q5 of 13B proberen als RAM en GPU dat aankunnen

Scenario’s van LocAIhome (een model dat past)

  • Woonkamer / Open WebUI: 8B instruct Q4 — assistent voor het gezin.
  • Domotica: 3B–8B met lage wachttijd — Home Assistant.
  • Beelden: een andere stack (ComfyUI), niet hetzelfde chatmodel.
  • Mac: dezelfde logica voor de grootte, met unified memory (één geheugen voor CPU en GPU) — Mac mini M4.

Een minimum aan veiligheid

Zet de Ollama-poort (11434) niet op internet zonder authenticatie. Voor een Docker-stack, zie Docker, Ollama en Open WebUI. Zet poort 8080 niet open zonder bescherming.

Veelgestelde vragen

Welk eerste model past bij een huishouden?

Een 7B–8B in de instruct-variant (getraind om opdrachten te volgen), kwantisatie q4_K_M, als je 16–32 GB RAM hebt of 8 GB of meer VRAM op de GPU.

Hoe kopieer ik de juiste tag voor ollama pull?

Open op ollama.com/library de pagina van het model en zoek een tag die instruct en q4_K_M bevat, bijvoorbeeld llama3.2:3b-instruct-q4_K_M of mistral:7b-instruct-q4_K_M.

Waarom volgt mijn model mijn opdrachten niet?

Je hebt misschien een base-variant gedownload (zonder instruct), of een model dat zo zwaar is dat het naar de schijf swapt en onsamenhangend antwoordt.

Bronnen

Verfijn het met de hardwarekiezer · Franse versie van deze rubriek