LM Studio: GPU-offload voor lokale modellen
Deze pagina kan Amazon-affiliatelinks bevatten. Een aankoop na een klik kan de site een commissie opleveren, zonder extra kosten voor jou. Het advies blijft onafhankelijk. Hoe affiliatie werkt.
LM Studio is een programma met een grafische interface om GGUF-modellen te laden (GPT-Generated Unified Format, het gekwantiseerde gewichtsformaat voor lokale LLM-inferentie) en de GPU-offload af te stellen (hoe de lagen van het model verdeeld worden over de VRAM, het geheugen van de videokaart, en het systeem-RAM). Ollama past vaak beter bij een serverstack (Docker, Home Assistant). LM Studio is een goede manier om modellen te vergelijken voor je ze met Ollama ophaalt.
Korte woordenlijst van de interface van LM Studio (Engelse labels)
| Engels (interface) | Nederlands |
|---|---|
| Discover | Modellen ontdekken en downloaden |
| Local | Modellen die al op schijf staan |
| GPU Layers | Lagen die op de GPU draaien |
| Chat | Een testgesprek |
Vereisten
- LM Studio is geïnstalleerd — beginnersgids LM Studio.
- Een NVIDIA- of AMD-kaart met bijgewerkte drivers, of Apple Silicon (gedeeld geheugen — zie Mac mini M4).
- Weet hoeveel VRAM je hebt: VRAM en welk model.
Indicatieve tabel: VRAM en GPU-lagen (7B–8B Q4)
Ordes van grootte, indicatief voor oktober 2026. Pas ze aan in GPU Layers (GPU-lagen, zie de woordenlijst) op jouw kaart. Gebruik deze tabel terwijl je de GPU-lagen instelt (stap 3 hieronder). Op een telefoon wijst een kader naar dezelfde tabel, zonder hem over te nemen.
| VRAM ongeveer | Model 7B–8B Q4_K_M | GPU-lagen (indicatief) |
|---|---|---|
| 6 GB | riskant | 0–15 (vaak CPU) |
| 8 GB | te doen (minimum voor comfortabel 7B Q4) | 20–28 |
| 12 GB | comfortabel | 30–35 (bijna alles op de GPU) |
| 16 GB of meer | ruime marge | max of dicht bij max |
Loopt de generatie vast, of wordt hij plots traag, verlaag dan het aantal lagen met 4 en test opnieuw.
De VRAM aflezen terwijl je afstelt (Windows)
- Open Taakbeheer, dan Prestaties, dan GPU, en kijk naar de kolom Toegewezen GPU-geheugen.
- Laad het model in LM Studio met GPU Layers op 0 en noteer de VRAM in rust na het laden.
- Ga omhoog in stappen van 8. Zodra de balk tijdens het genereren tegen 95% aanzit, ga je 4 lagen terug.
Onder Linux toont de opdracht nvidia-smi (het NVIDIA-programma op de opdrachtregel) memory.used / memory.total. Dat is handig via SSH op een mini-pc zonder bureaublad. Heb je geen NVIDIA, leun dan op de CPU/RAM-tabel van de VRAM-gids en reken op een 7B die vooral op de processor draait.
Modellen instruct tegenover base
Kies in Discover (Ontdekken, woordenlijst) de modellen met het label instruct (getraind om te praten en opdrachten te volgen) boven base (ruwe gewichten, minder geschikt voor een chat). De kwantisatie Q4_K_M (4 bits, een gangbaar compromis tussen grootte en kwaliteit in oktober 2026) blijft de gebruikelijke keuze thuis voor een 7B. Dezelfde logica staat in een eerste model kiezen.
Stappen
- Open LM Studio, ga naar het tabblad Discover (Ontdekken, zie de woordenlijst) of Local (modellen op schijf, dezelfde woordenlijst) en download een instruct-model in Q4 (bijvoorbeeld Mistral 7B instruct).
- Open het tabblad Chat (testgesprek, woordenlijst), selecteer het model en klik rechtsonder in het chatvenster op het pictogram CPU/GPU. Het paneel Hardware opent, met de schuif GPU Layers en een voorbeeld van de verdeling CPU/GPU.
- Stel GPU Layers (GPU-lagen) in: begin op 0 en ga omhoog in stappen van 8, terwijl je de VRAM bekijkt (Taakbeheer onder Windows, of
nvidia-smionder Linux). Leg dat naast de VRAM-tabel voor je te hoog gaat. Het kader onder deze stappen wijst op een telefoon naar dezelfde tabel. - Geef drie keer dezelfde opdracht (“Vat samen in 3 bullets…”) en vergelijk vertraging en kwaliteit.
- Noteer de stabiele instelling, zodat je die later onder Ollama kunt nadoen als je overstapt — een eerste model kiezen.
Dezelfde VRAM-tabel (stap 3). Houd tijdens het afstellen van de GPU Layers de indicatieve tabel van VRAM en GPU-lagen bovenaan in het oog (hier geen kopie: één bron). Loopt de generatie vast, verlaag dan met 4 lagen en test opnieuw.
Mac met Apple Silicon
Er is geen aparte VRAM: het gedeelde geheugen wordt gedeeld. Stel minder scherp in als je 16 GB gedeeld geheugen hebt. Met 24–32 GB zijn 8B-modellen comfortabel. Details staan bij Mac mini M4.
Daarna: koppelingen en lokale code
Zodra de GPU-instelling in LM Studio stabiel is, stappen de meeste huishoudens over naar Ollama voor de gezinschat (Open WebUI, privé-assistent). Voor ontwikkelen in VS Code (Visual Studio Code, de editor van Microsoft) is de extensie Continue een zijbalk die je geopende bestanden naar een LLM stuurt om code aan te vullen. In de praktijk mikt die op de Ollama-API op http://127.0.0.1:11434, en op LM Studio alleen bij een geavanceerde configuratie. Eigen gids: lokaal coderen met Continue.
Andere nuttige links:
- GPU, iGPU, eGPU en OCuLink als je een RTX of een externe behuizing bouwt.
- VRAM en welk model voor je een kaart koopt.
- Stroombudget als de toren aan blijft voor LM Studio en Ollama.
- SSD voor modellen: de GGUF-bestanden die je via Discover downloadt, nemen tientallen GB in.
Hardware als de VRAM een 7B Q4 tegenhoudt. Vergelijk eerst jouw regel in de tabel (minimaal 8 GB voor comfortabel bij een 7B Q4, lagen ongeveer 20–28). Zit je daaronder (6 GB, of minder stabiele lagen), dan kan een kaart met 8 GB VRAM de volgende stap zijn. We noemen hier geen prijs en geen exact model: open een zoekopdracht en lees de specificaties (VRAM, lengte, voeding). Indicatieve zoekopdracht naar een RTX 4060 (vaak 8 GB), oktober 2026: RTX 4060 op Amazon.nl (partnerlink — affiliatie).
Stabiliteit: tekenen dat de GPU te strak staat
- De generatie stopt midden in een zin.
- Een geheugenfout, of een zwart scherm van de NVIDIA-driver.
- De VRAM staat al bij het laden constant op 100%.
Wat je doet: verlaag de GPU-lagen met 4, start LM Studio opnieuw en test opnieuw.
Exporteren naar Ollama
Heb je het model in LM Studio gevalideerd (bijvoorbeeld Mistral 7B Instruct Q4_K_M, getest via Discover), open dan de pagina mistral in de Ollama-bibliotheek, kies een tag die dicht bij jouw kwantisatie in LM Studio ligt en haal hem op:
ollama pull mistral:7b-instruct-q4_K_M
Antwoordt de opdracht met success (of het equivalent in jouw Ollama-versie), dan is hetzelfde type model klaar voor Docker en Home Assistant. De tags Q4 en Q5 staan uitgelegd in Ollama installeren.
Veiligheid
LM Studio luistert soms op een lokale API als je die aanzet. Houd de firewall aan en zet de poort niet op internet zonder authenticatie.
Veelvoorkomende fouten (GPU-offload)
| Symptoom | Wat je probeert |
|---|---|
| VRAM op 0% terwijl GPU Layers aan staat | Verouderde NVIDIA-driver, of de verkeerde backend geselecteerd |
| Dezelfde kwaliteit op CPU en GPU | Te weinig GPU-lagen. Ga omhoog in stappen van 8 |
| Een Mac met 16 GB gedeeld geheugen zit vol | Sluit de browser en andere apps. Test alleen een model 7B Q4 |
| Model onvindbaar na Discover | Controleer de modelmap van LM Studio en leg dat naast de SSD |
Verder lezen
- LM Studio installerenDiscover en een lokale chat de eerste keer openen.
- Eerste stappen met WhisperTranscriptie zonder via Ollama te gaan.
- ComfyUI en FLUXEen andere VRAM-verbruiker. Eén zware klus tegelijk.
- Kosten over 3 jaarAlleen LM Studio vervangt geen cloudabonnement.
LM Studio of Ollama: één keuzetabel
| Situatie | LM Studio | Ollama | Aanbevolen vervolg |
|---|---|---|---|
| GGUF’s testen of vergelijken (visuele chat) | ja — GPU Layers | kan via de CLI | Noteer de stabiele instelling, daarna een vergelijkbare ollama pull |
| GPU-offload fijn afstellen | ja | gedeeltelijke offload, afhankelijk van de versie | Houd LM Studio voor het afstellen van de VRAM |
| Minder terminal aan het begin | begeleide interface (Discover, Chat) | CLI plus koppelingen die je zelf naloopt | LM Studio installeren en daarna Ollama |
| Stabiele lokale API (scripts, Docker) | beperkt | ja | Docker met Ollama en Open WebUI |
| Chat in de browser voor het hele gezin | via Ollama | ja, plus Open WebUI | LM Studio blijft nuttig voor losse tests |
| Domotica of workflows | alleen niet genoeg | ja | Home Assistant, n8n |
| Code met AI-hulp (VS Code) | eerst de VRAM afstellen | Ollama-API voor Continue | Lokaal coderen met Continue |
In de praktijk: LM Studio om GPU Layers af te stellen op een RTX of een Mac, en daarna Ollama om hetzelfde type model voor het hele huis beschikbaar te maken. Meet het verbruik als de machine aan blijft (stroom).
Checklist voor de eerste sessie (15–30 min)
- Installeer LM Studio — beginnersgids.
- Download een 7B instruct Q4 via Discover (Ontdekken, woordenlijst).
- Stel GPU Layers in, in stappen van 8, tot de eerste geheugenfout, en ga dan 4 lagen terug.
- Noteer de stabiele instelling in een tekstbestand (
gpu-layers-mistral-7b.txt). - Zoek het equivalent op Ollama en doe
ollama pullvoor Open WebUI. - Warmt de toren de woonkamer op, vergelijk dan met een mini-pc die alleen de chat doet.
Deze checklist voorkomt dat je in LM Studio blijft hangen terwijl het doel thuis een stabiele Ollama-API voor het hele gezin is. Een herinnering aan Ollama tegenover LM Studio? Ga terug naar de keuzetabel hierboven.
Veelgestelde vragen
LM Studio of Ollama voor een huishouden?
LM Studio is sterk om modellen te proberen in een visuele interface. Ollama past bij API's, Docker en koppelingen zoals Home Assistant en n8n.
De GPU verschijnt niet in LM Studio
Werk de NVIDIA- of AMD-drivers bij. Controleer op een Mac of de Metal-backend aan staat. Start LM Studio opnieuw na de driverinstallatie.
Hoeveel GPU-lagen stel je in?
Zet ze omhoog tot de VRAM bijna vol is, en haal er 4 lagen af als de app crasht of de generatie stopt. Dat is dezelfde volgorde als de stappen in deze gids.
Bronnen
Verfijn het met de hardwarekiezer · Franse versie van deze rubriek