Kies je eerste lokale taalmodel
Deze pagina kan Amazon-affiliatelinks bevatten. Een aankoop na een klik kan de site een commissie opleveren, zonder extra kosten voor jou. Het advies blijft onafhankelijk. Hoe affiliatie werkt.
Na Ollama installeren of een eerste lokale AI in 15 minuten is de volgende vraag bijna altijd dezelfde: welk modelbestand download je? Een LLM (large language model, een groot taalmodel) bestaat in meerdere groottes (3B, 7B, 13B… waarbij B voor miljarden parameters staat) en in meerdere kwantisaties (compressie van het GGUF-bestand). Deze gids houdt je weg van willekeurige tags en van modellen die te groot zijn voor je RAM of je VRAM.
Wat je nodig hebt
- Ollama geïnstalleerd en werkend (
ollama --versionantwoordt). - Een ruwe indruk van het RAM (16, 32 of 64 GB) en, als je die hebt, van het VRAM (het geheugen van de grafische kaart).
- Schijfruimte: reken op 3–8 GB per gekwantiseerd model — zie SSD en opslag voor modellen.
Geschatte tijd: 25 minuten (download meegerekend, afhankelijk van je verbinding).
De instruct-variant: wat je wilt voor een assistent
Op Ollama hebben tags met instruct de voorkeur. Dat zijn modellen die getraind zijn om opdrachten te volgen (samenvatten, vertalen, “antwoord in drie streepjes”). Een zogenaamde base-variant zonder instruct antwoordt vaak als vrije tekst, en dat is in het dagelijks gebruik minder handig.
Geldige tags (oktober 2026, controleer ze op de officiële modelpagina):
llama3.2:3b-instruct-q4_K_M— heel licht, ideaal bij 16 GB RAM.mistral:7b-instruct-q4_K_M— een goede balans tussen kwaliteit en gewicht.llama3.1:8b-instruct-q4_K_M— vraagt iets meer geheugen.
Tabel GGUF-kwantisatie (de kern van de keuze)
| Kwant. | Schijfgrootte ~7B | Kwaliteit | Indicatief RAM/VRAM |
|---|---|---|---|
| Q4_K_M | ~4,5 GB | Goed compromis voor thuis | 8–12 GB vrij |
| Q5_K_M | ~5,5 GB | Iets genuanceerder | 10–14 GB |
| Q8_0 | ~7 GB | Dicht bij het origineel | 12–16 GB |
Voorbeeld bij 32 GB RAM: een 8B instruct Q4_K_M (ongeveer 5 GB) past, en er blijft ruimte over voor Windows, de browser en Open WebUI. Op 16 GB kies je liever een 3B instruct Q4_K_M, of een 7B alleen als er weinig andere programma’s openstaan.
Genummerde stappen
-
Noteer het geheugen Windows: Instellingen → Systeem → Info. macOS: Apple-menu → Over deze Mac → Geheugen. Linux: terminal, opdracht
free -h(de regeltotalenavailable). NVIDIA-GPU:nvidia-smi(de regel “Memory-Usage”). AMD-GPU (als ROCm geïnstalleerd is):rocm-smi. Zonder losse grafische kaart (alleen Intel of AMD geïntegreerd): slanvidia-smienrocm-smiover en ga uit van het RAM alleen — zie GPU, iGPU en eGPU als je twijfelt. -
Kies een grootte
- 16 GB RAM → 3B–7B instruct Q4.
- 32 GB → 7B–8B loopt prettig; 13B kan op de CPU als je de rest sluit.
- GPU met 8 GB VRAM → vaak 7B–8B grotendeels op de GPU. Het detail staat in VRAM en welk model.
-
Download met de exacte opdracht
ollama pull mistral:7b-instruct-q4_K_MVervang de tag door de tag die je kopieert van ollama.com/library.
-
Start een testsessie
ollama run mistral:7b-instruct-q4_K_MVraag: “Vat in drie streepjes samen waarom lokale AI een huishouden kan helpen.”
Dit wil je zien: binnen 60 seconden antwoordt het model met precies drie streepjes in het Nederlands. Eén losse alinea, of een genummerde lijst, telt niet. Negeert het de vorm, controleer dan de tag instruct voor je van grootte wisselt.
Optioneel kader — contextvenster De context (context length, de contextlengte) is de tekst (opdracht plus geschiedenis) die het model in één keer “ziet”. Een token is een teksteenheid voor het model (een woord of een stuk van een woord). Op Ollama draaien modellen voor thuis vaak rond 8k tokens (ongeveer 6.000–8.000 woorden). Dat is genoeg voor een mail of een pagina notities. Grote pdf’s lopen beter via n8n of een handmatige opdeling. Vergroot het model niet alleen om die reden.
-
Beoordeel snelheid en kwaliteit Duurt een antwoord langer dan 30–60 seconden per alinea op de CPU, test dan een kleiner model. Negeren de antwoorden de gevraagde vorm, controleer dan de tag instruct.
Fouten die je kunt zien (en wat je doet)
| Fout | Gevolg | Oplossing |
|---|---|---|
| Een 70B downloaden op 16 GB RAM | Schijf gaat malen, antwoorden heel traag of een crash | ollama rm en daarna een model van 3B–7B |
| instruct vergeten | Model houdt zich niet aan de opdracht | Opnieuw pullen met een instruct-tag |
| VRAM en RAM door elkaar halen | Verkeerd GPU-model | VRAM opnieuw lezen |
| Tag zonder zichtbare kwantisatie | Bestand zwaarder dan verwacht | Kies expliciet q4_K_M |
Interface voor het gezin, en wat daarna komt
Om de chat thuis te delen: Open WebUI voor beginners (webinterface op dezelfde Ollama) of LM Studio installeren (grafische interface zonder terminal, handig om modellen te vergelijken voor je een Ollama-tag vastlegt). Pas je in LM Studio de verdeling tussen CPU en GPU met de hand aan, dan staat GPU-offload in LM Studio stap voor stap uitgelegd. Aan de gebruikskant: privéassistent voor het gezin, Home Assistant, n8n.
Hardware als je een eigen machine koopt
Leg de hardwarekiezer naast hardware kiezen voor AI. Een indicatieve band voor een mini-pc van € 500–800 (controleer de marktprijs, oktober 2026): mini-pc’s met 32 GB op Amazon.nl (partnerlink — affiliatie).
Kosten en privacy
- Ollama tegenover ChatGPT over 3 jaar
- Stroombudget voor een AI-server
- AVG en gegevens die 100 procent lokaal blijven
3B, 7B, 8B en 13B vergelijken (gebruik thuis)
| Grootte | Waarde | Grens |
|---|---|---|
| 3B | Bescheiden pc, snelle tests | Antwoorden minder genuanceerd |
| 7B–8B | Beste compromis voor elke dag | Kan 16 GB RAM vullen |
| 13B | Rijkere tekst | Traag op de CPU zonder GPU; 32 GB of meer |
| 14B en groter | Voor machines met ruimte | Risico op swap — zie RAM 32/64 |
Voor een eerste download blijf je op 7B instruct Q4, tenzij de hardware duidelijk minder aankan (16 GB RAM → eerder 3B).
Een pagina lezen op ollama.com/library
- Open ollama.com/library en zoek op
mistral,llama3.2,qwen2.5en vergelijkbare namen. - Tabblad Tags: zoek een regel met
instructenq4_K_M(precies de hoofdletters die de pagina toont). - Kopieer de exacte tag (hoofdletters en dubbele punt inbegrepen) in
ollama pull. - Noteer de getoonde grootte (ongeveer 4,5 GB voor een 7B Q4) en leg die naast je SSD — opslag voor modellen.
Zijn er meerdere kwantisaties, dan blijft Q4_K_M de reflex voor thuis. Q5 als je RAM over hebt en iets meer kwaliteit wilt.
Nederlands en andere talen
De meeste recente instruct-modellen antwoorden goed in het Nederlands als je dat expliciet vraagt (“Antwoord in het Nederlands”). Spraak is een aparte klus: transcriberen doe je met Whisper. Voor code als hobby accepteert Continue (de editoruitbreiding met die naam) vaak een Ollama-backend. Zie de lokale codeassistent Continue zodra het juiste model binnen is.
Schijfruimte beheren
Lijst:
ollama list
Een ongebruikt model verwijderen:
ollama rm naam_van_de_tag
Houd één algemeen model plus een klein reservemodel, in plaats van een tiental bijna identieke varianten.
Wanneer je van model wisselt
| Signaal | Actie |
|---|---|
| Wachttijd langer dan 1 minuut per kort antwoord | Naar 3B–7B, of de GPU aanzetten |
| Verzonnen antwoorden over recente feiten | Normaal zonder zoeken op het web. Haal dat niet door elkaar met een bug in het model |
| Vorm wordt steeds genegeerd | Tag instruct controleren |
| Kwaliteit te mager op moeilijke taken | 8B Q5 of 13B proberen als RAM en GPU dat aankunnen |
Scenario’s van LocAIhome (een model dat past)
- Woonkamer / Open WebUI: 8B instruct Q4 — assistent voor het gezin.
- Domotica: 3B–8B met lage wachttijd — Home Assistant.
- Beelden: een andere stack (ComfyUI), niet hetzelfde chatmodel.
- Mac: dezelfde logica voor de grootte, met unified memory (één geheugen voor CPU en GPU) — Mac mini M4.
Een minimum aan veiligheid
Zet de Ollama-poort (11434) niet op internet zonder authenticatie. Voor een Docker-stack, zie Docker, Ollama en Open WebUI. Zet poort 8080 niet open zonder bescherming.
Veelgestelde vragen
Welk eerste model past bij een huishouden?
Een 7B–8B in de instruct-variant (getraind om opdrachten te volgen), kwantisatie q4_K_M, als je 16–32 GB RAM hebt of 8 GB of meer VRAM op de GPU.
Hoe kopieer ik de juiste tag voor ollama pull?
Open op ollama.com/library de pagina van het model en zoek een tag die instruct en q4_K_M bevat, bijvoorbeeld llama3.2:3b-instruct-q4_K_M of mistral:7b-instruct-q4_K_M.
Waarom volgt mijn model mijn opdrachten niet?
Je hebt misschien een base-variant gedownload (zonder instruct), of een model dat zo zwaar is dat het naar de schijf swapt en onsamenhangend antwoordt.
Bronnen
Verfijn het met de hardwarekiezer · Franse versie van deze rubriek