VRAM: welk lokaal model past bij je GPU

Door Emmanuel Sauvage · Gepubliceerd · Bijgewerkt

Deze pagina kan Amazon-affiliatelinks bevatten. Een aankoop na een klik kan de site een commissie opleveren, zonder extra kosten voor jou. Het advies blijft onafhankelijk. Hoe affiliatie werkt.

VRAM (het geheugen op de videokaart) bepaalt voor een groot deel welk model je helemaal op de GPU kunt laden, hoe snel de tokens terugkomen, en of je een deel van het rekenwerk op de CPU moet laten lopen. Dat CPU-pad is trager. Op een RTX 4060 is het soms de enige manier om een 13B überhaupt te laten passen. Deze gids is voor huishoudens die Ollama of LM Studio op een mini-pc, een toren of een Mac zetten: tabellen voor 8, 12, 16 en 24 GB, hoe dat samenvalt met systeem-RAM, en een apart stuk over FLUX en ComfyUI zodra tekstchat niet meer de enige klus is.

Snelle lezing

Je kwam voor… Lees daarna
Alleen chat (Ollama, Open WebUI, LM Studio-tekst) Chattabellen voor 8, 12 en 16 GB. Je kunt het hele FLUX-stuk overslaan als je geen beelden maakt.
Beelden met FLUX of ComfyUI VRAM voorbij de chat. Beeldmodellen gebruiken geheugen los van een chat-LLM (beelden zonder cloud).

De trede van 24 GB en dichte 32B+-modellen: bijlage voor gevorderd gebruik (weinig nut als gezinschat de enige klus is).

Voor wie, en hoe lang

Profiel Wat je eerst nodig hebt Ruwe tijd Pad
Beginner (eerste lokale model) Een pc die aan staat, bij voorkeur met Ollama al geïnstalleerd ~8 min Snelle lezing voor alleen chat, plus de trede 8 GB
Gevorderd (13B, code, lange context) Je hebt lokale chat al geprobeerd, en GGUF en Q4_K_M hieronder gelezen ~12 min De tabellen 12 GB en 16 GB, plus de rest op de CPU
Beelden en tekst op één machine Je denkt aan ComfyUI of een FLUX-project ~15 min Eerst chat, daarna FLUX-beelden
Kaart of mini-pc vervangen Je weet al dat VRAM de bottleneck is (trage antwoorden, of een out-of-memory-fout) ~5 min Meten, daarna de hardwarekiezer

VRAM, RAM en GGUF: drie stukken van de puzzel

Een gekwantiseerd GGUF-bestand (Q4_K_M, Q5_K_M en vergelijkbare labels) neemt een bepaald aantal gigabytes op schijf in. GGUF is het gecomprimeerde modelformaat dat Ollama en LM Studio laden. Eenmaal geladen:

  • een deel, idealiter het hele model, staat in VRAM als je een compatibele NVIDIA-GPU, AMD-GPU of geïntegreerde GPU hebt;
  • de rest draait op de CPU en in het systeem-RAM. Ollama doet dat vanzelf als de VRAM op is;
  • de context (de chatgeschiedenis, en documenten die je plakt) gebruikt extra geheugen boven op de modelgewichten.

Een praktische regel: houd 1–3 GB VRAM vrij voor context, de driver en pieken. Vul je de kaart tot 100%, dan riskeer je een out-of-memory-fout, of een plotselinge val terug op de CPU.

Kwantisatieniveaus die huishoudens echt gebruiken:

GGUF-label Schijfgrootte, ongeveer 7B Kwaliteit Geheugen voor alleen de gewichten
Q4_K_M ~4,5 GB Een solide compromis ~5–6 GB
Q5_K_M ~5,5 GB Iets meer nuance ~6–7 GB
Q8_0 ~7 GB Dicht bij het origineel ~8–9 GB

Om de eerste download kleiner te maken: een eerste model kiezen.

Kies een trede in 30 seconden

Wat je hebt Begin met Typisch gebruik
Geen dedicated GPU, 16–32 GB RAM 3B–7B Q4 op de CPU of iGPU Bescheiden gezinschat
8 GB VRAM 7B–8B Q4_K_M Het beste Ollama-chatcompromis
12 GB VRAM 13B Q4 of 8B Q8 Een code-assistent, en ruimte voor context
16 GB of meer 13B–32B Q4 Coderen, en een eerste poging met ComfyUI
Regelmatig FLUX-dev-beelden 16 GB VRAM (24 GB zit comfortabel) Zie het ComfyUI-stuk hieronder

VRAM-treden voor Ollama-chat (ruw, oktober 2026)

Aanname: Llama 3.x-, Mistral- of Qwen-instruct-modellen, gezinschat, een matige context (4k–8k tokens). Dit zijn geen garanties. Sommige 8B-modellen zijn zwaarder dan de naam doet vermoeden.

Vóór de treden. Een RTX 4060, een 4070, een 5070 Ti, een 5090, een RX 6600 en de rest zijn voorbeelden van oktober 2026, geen belofte dat ze op voorraad liggen. De echte VRAM (8, 12, 16 of 24 GB) telt zwaarder dan de naam op de doos. Controleer het specificatieblad van de maker en wat de winkel op voorraad heeft. Dezelfde serie komt vaak met meer dan één geheugengrootte.

8 GB VRAM (RTX 4060 laptop, RTX 3070, RX 6600 en vergelijkbaar)

Model dat je wilt Kwantisatie Helemaal op de GPU? Opmerking
3B–4B Q4–Q8 Ja Heel snel, bescheiden kwaliteit
7B–8B Q4_K_M Ja Beste compromis bij 8 GB
7B–8B Q5 / Q8 Soms Een lange context duwt lagen naar de CPU
13B Q4 Zelden Een deel van de lagen op de CPU, en het wachten groeit
32B en hoger — Nee Onrealistisch

Advies voor thuis: blijf op een 8B Q4 voor Open WebUI. Stap je over naar een 13B, accepteer dan het tragere tempo, of vervang de GPU.

12 GB VRAM (RTX 4070, GeForce RTX 3060 12 GB, RX 7700 XT en vergelijkbaar)

Model Kwantisatie Opmerking
8B Q5–Q8 Comfortabel, met ruimte voor context
13B Q4_K_M Realistisch helemaal op de GPU, of heel dichtbij
14B–16B Q4 Hangt af van de precieze architectuur
32B Q3–Q4 Vaak deels op de CPU

Een goede prijs-snelheidsbalans voor een mini-pc met een dedicated kaart uit het middensegment. Zie de mini-pc-vergelijking.

16 GB VRAM (RTX 4080, 5070 Ti, RX 7800 XT en vergelijkbaar)

Model Kwantisatie Opmerking
13B–14B Q5–Q8 Veeleisende chat, en Continue (een VS Code-extensie voor code met hulp van een lokaal model)
32B Q4_K_M Gevorderd gebruik kan
70B Q2–Q3 Experimenteel, en de kwaliteit wisselt

Grote MoE-modellen (mixture of experts: meerdere interne blokken, waarvan er per token maar één actief is) staan niet in deze tabel. Hun VRAM-gebruik verandert terwijl ze draaien. Zie alleen de bijlage van 24 GB.

Bijlage — de trede van 24 GB (gevorderd gebruik)

Weinig huishoudens hebben 24 GB nodig voor alleen gezinschat. Het begint te tellen bij FLUX-dev-beelden, een lange context en 32B+-modellen. Meet MoE-modellen bij het laden (nvidia-smi of het equivalent), in plaats van te gokken vanaf een regel „13B Q4” in de chattabellen.

Model Kwantisatie Opmerking
32B Q5–Q8 Dicht bij een lokale premiumopstelling
70B Q4 Mogelijk, afhankelijk van het precieze model
Grote MoE Q4 Echte VRAM op het moment van laden. Expertgebruik.

Typische kaarten: RTX 4090, 5090, RTX 6000 (voorbeelden van oktober 2026; zie de winkelnoot hierboven).

Als een deel van het model op de CPU draait

Als de VRAM tekortschiet, houdt Ollama of LM Studio sommige lagen op de GPU en draait de rest op de CPU, met systeem-RAM. Dat is het hele verhaal: een deel van het model draait op de CPU. Haal dat niet door elkaar met de frase „GPU offload” in Amerikaanse documentatie, die soms het omgekeerde betekent: lagen naar de GPU schuiven, weg van de CPU.

Wat je merkt:

  • De eerste token duurt langer, omdat het pad gesplitst is.
  • De snelheid (tokens per seconde) zakt als de meeste lagen op de CPU staan.
  • Verbruik: de CPU zit op 100%, en de ventilatoren van de mini-pc worden luid. Lees geluid en verbruik van een mini-pc.
  • Systeem-RAM: 32 GB wordt het comfortabele minimum als je 8–12 GB VRAM hebt en een 13B die maar deels op de GPU staat. Zie 32 of 64 GB RAM.

De instelling num_gpu op de opdrachtregel van Ollama kan afdwingen hoeveel lagen op de GPU blijven. Handig om te diagnosticeren. Het maakt geen extra VRAM.

LM Studio heeft schuiven voor „GPU layers”. Begin met ongeveer 80% van de lagen op de GPU, doe een testchat, en schuif omhoog of omlaag als de VRAM volloopt. Het hele stappenplan: GPU-lagen instellen in LM Studio.

Zonder dedicated GPU: iGPU, Apple Silicon, alleen CPU

Platform Geünificeerd of gedeeld geheugen Een realistisch profiel
Mac mini M4, 16 GB geünificeerd Een 8B zit comfortabel, een 13B is krap
Mac mini M4, 32 GB geünificeerd 13B–14B, gemengd gebruik
Ryzen 7840HS of Core Ultra iGPU gedeeld RAM 7B–8B, matig
NAS of N100, alleen CPU alleen RAM 3B–7B, traag

De Apple-pagina: Mac mini M4 voor lokale AI. Op een pc zonder kaart: breid eerst het RAM uit voordat je een RTX koopt.

VRAM en beelden maken (voorbij de chat)

Alleen chat? Blijf bij de chattabellen en een eerste model kiezen. Het blok Alleen beelden hieronder is voor FLUX en ComfyUI (beelden zonder cloud).

Alleen beelden — FLUX en ComfyUI (open dit als je pixels maakt)

Tekstchat en FLUX, SDXL of Stable Diffusion hebben niet dezelfde VRAM nodig als een 7B van Ollama. ComfyUI koppelt knopen aan elkaar (het model, CLIP, de KSampler, een upscale, enzovoort). FLUX.1 dev is zwaarder dan SD 1.5. Overzicht voor thuis, inclusief privacy en de stack: beelden zonder cloud.

Ruwe cijfers voor 1024×1024, een eenvoudige workflow, oktober 2026:

Opstelling FLUX schnell FLUX dev SDXL
8 GB VRAM Moeilijk, of verlaag de resolutie Onhaalbaar Oké met optimalisaties
12 GB schnell is oké, dev is krap Traag, of deels op de CPU Comfortabel
16 GB dev is bruikbaar Een goed compromis voor thuis Makkelijk
24 GB Comfortabel Comfortabel, plus ruimte om te upscalen Makkelijk

Als de VRAM volloopt: checkpoints in fp8 of gekwantiseerd, CPU-offload van de text encoder (hier betekent dat VRAM sparen, wat iets anders is dan een taalmodel op de CPU laten overlopen), een resolutie van 768 en daarna een upscale, en sluit Ollama voordat je ComfyUI opent. Stap voor stap: ComfyUI en FLUX lokaal. Op een GPU van 8 GB is een lichtere Stable Diffusion, of een eGPU via OCuLink, een betere dagelijkse keuze dan FLUX dev. Ollama en ComfyUI op dezelfde pc: 32 GB RAM, en één zware GPU-klus tegelijk.

Meten voordat je koopt of vervangt

  1. Op de machine die je nu hebt: ollama run met het model dat je wilt. In Windows open je Prestaties → GPU en noteer je Toegewezen GPU-geheugen zodra het vlak wordt.
  2. Onder Linux draai je nvidia-smi tijdens een generatie.
  3. Blijft het gebruik boven 90% van de VRAM, verlaag dan de kwantisatie, het model of de context.
  4. Ga je beelden maken, draai dan één ComfyUI-FLUX-sessie. Een chat-test alleen is niet genoeg.

Wat je aan het eind moet weten: of je huidige trede bij de tabel van 8, 12 of 16 GB past, of dat je een deel van de lagen op de CPU moet laten draaien, voordat je kaarten online vergelijkt.

Hardwarekiezer: VRAM, RAM en wat je echt doet op één lijn

Waarom dit na een meting komt. Een zoekopdracht naar „RTX 4070” die de gemeten VRAM negeert, mengt op dezelfde winkelpagina vaak kaarten van 8 GB en 12 GB. De hardwarekiezer legt wat je doet (chat 7B, 13B, af en toe beelden), een ruw budget en, als je wilt, de kilowattuurprijs van het huishouden naast elkaar, zodat je geluid en een stroomrekening over 24 uur kunt inschatten.

Drie klikken (gratis, geen account nodig):

  1. Gebruik de VRAM die je hebt gemeten, of de trede die je in de tabellen hierboven koos.
  2. Vink de klussen aan die je echt doet (alleen tekst, code, beelden, enzovoort). De kiezer laat profielen vallen die niet passen bij 32 of 64 GB RAM en SSD-opslag.
  3. Lees de voorgestelde profielen als een korte lijst om te leggen naast hardware kiezen. Hier wordt niets besteld.

Affiliatie: volg je daarna een partnerzoekopdracht in het stuk hieronder, doe dat na deze sortering. De site kan een commissie verdienen, zonder extra kosten voor jou. De details staan op hoe affiliatie werkt (oktober 2026).

Meerdere mensen, en een lange context

Open WebUI met vier gezinsaccounts vermenigvuldigt de VRAM niet met vier. Een consumentenkaart draait één zware generatie tegelijk. Een context van 32k tokens (school-pdf’s plakken) kan enkele tijdelijke gigabytes extra kosten. Bewaar je lange gesprekken, test dan met je echte gebruik, niet met een eenregelig hallo uit een demo. Voor gevoelige documenten: een kleiner model, en samenvatten in kleinere stukken. Zie privacy als AI thuis blijft.

Veelgemaakte fouten

  • De gigabytes van het bestand op schijf en het geheugen dat het tijdens het draaien nodig heeft door elkaar halen (context plus overhead).
  • 64 GB RAM kopen en 8 GB VRAM houden voor een 32B-model. De CPU wordt de bottleneck.
  • FLUX dev draaien op een RTX 4060 van 8 GB en concluderen dat lokale AI niet werkt.
  • Vergeten dat Docker plus Open WebUI ook een beetje RAM gebruikt, en indirect een beetje VRAM.

Meer hardwaregidsen

Software na de hardware

Ollama installeren, Open WebUI voor beginners, of de Docker-stack. Om het zonder verplichting te proberen: een eerste lokale AI in 15 minuten.

Winkelen, nadat je hebt gemeten en de kiezer hebt gebruikt

Een verstandige volgorde: (1) test het model dat je wilt op de GPU die je hebt, (2) de hardwarekiezer, (3) vergelijk pas daarna de winkelpagina’s. De links hieronder openen een zoekopdracht op Amazon.nl als startpunt. De site kan een commissie verdienen, zonder extra kosten voor jou. Prijs, echte VRAM en beschikbaarheid moet je nog op elke productpagina controleren (hoe affiliatie werkt, oktober 2026).

VRAM die je nodig hebt (deze gids) Voorbeeldzoekopdracht Herinnering
8 GB, chat met 7B–8B Q4 RTX 4060 op Amazon.nl Past bij de trede 8 GB. Bevestig 8 GB op de productpagina, niet alleen de naam „4060”.
12 GB, een comfortabele 13B Q4 RTX 4070 op Amazon.nl Past bij de trede 12 GB. Een kaart van 16 GB (sommige recente varianten) is in deze tabellen niet inwisselbaar met „12 GB”.

Afmetingen van de behuizing, de voeding en de lengte van de kaart: leg die naast GPU, iGPU en OCuLink voordat je bestelt.

Conclusie

8 GB is de beste plek voor chat met 7B–8B. 12–16 GB dekt een 13B en een echt begin met beelden. 24 GB (de bijlage) dekt 32B-tekst en een redelijke FLUX dev in ComfyUI. Als de VRAM op is, houdt de rest op de CPU laten draaien de opstelling in leven, tegen snelheid en geluid in. Stem het model af op de kaart. Wil je beelden zonder prompts naar een derde te sturen, ga dan verder met beelden zonder cloud en ComfyUI en FLUX.

Ruwe cijfers voor oktober 2026. Controleer de precieze labels en bestandsgroottes op de modelpagina voordat je een GPU koopt.

Veelgestelde vragen

Is 8 GB VRAM genoeg voor lokale chat?

Vaak wel voor een 7B–8B in Q4_K_M. Een 13B wordt krap, en Ollama laat een deel van de lagen op de CPU draaien, wat de antwoorden vertraagt. Leg de 8 GB-trede in deze gids naast een test met `ollama run` op je eigen machine, in plaats van alleen op dit antwoord te leunen.

Hoe zie ik hoeveel VRAM vrij is?

Windows Taakbeheer (GPU), Activiteitenweergave op macOS, of nvidia-smi / rocm-smi onder Linux.

Wat gebeurt er zonder dedicated videokaart?

Ollama gebruikt het systeem-RAM en, als dat kan, de geïntegreerde GPU. Kies kleinere modellen, en minstens 32 GB RAM voor een comfortabele 7B.

Bronnen

Verfijn het met de hardwarekiezer · Franse versie van deze rubriek