LLM-Finetuning auf einem gebrauchten Laptop: Was Ihr VRAM wirklich erlaubt (2026)
Kann man ein Sprachmodell auf einem gebrauchten Laptop finetunen? Ja — innerhalb strenger, vorhersehbarer VRAM-Grenzen, die dieser Leitfaden darlegt. Wir behandeln, was LoRA und QLoRA tatsächlich brauchen, was jede VRAM-Stufe trainieren kann, realistische Laufzeiten und den ehrlichen Punkt, an dem eine gemietete Cloud-GPU Ihren Laptop schlägt.
Vollständiges Finetuning fällt aus — und das ist in Ordnung
Vollständiges Finetuning aktualisiert jedes Gewicht im Modell. Für ein 7B-Modell in bf16 bedeutet das grob 14 GB für die Gewichte, weitere ~28 GB für Optimizer-States, plus Gradienten und Aktivierungen — bequem über 60 GB VRAM. Kein Laptop qualifiziert sich, gebraucht oder neu.
Was Laptops können, ist parametereffizientes Finetuning. LoRA friert das Basismodell ein und trainiert kleine Adapter-Matrizen (typischerweise <1 % der Parameter). QLoRA geht weiter: Das eingefrorene Basismodell wird auf 4 Bit quantisiert, sodass der größte Speicherverbraucher um ~75 % schrumpft, während die Adapter weiter in hoher Präzision trainieren. Der Qualitätsverlust gegenüber vollständigem Finetuning ist bei den meisten Instruction-Tuning- und Stil-Anpassungs-Aufgaben klein — QLoRA ist, wie praktisch alles Laptop- und Hobby-Finetuning abläuft.
Die VRAM-Rechnung
Ungefährer VRAM-Bedarf für QLoRA mit Batchgröße 1, Sequenzlänge 1024, aktiviertem Gradient Checkpointing und einem modernen Trainer (Werte sind Schätzungen — Datensatz, Sequenzlänge und Rank verschieben sie alle):
| Basismodell | 4-bit-Gewichte | Gesamter QLoRA-Footprint | Minimale realistische Karte |
|---|---|---|---|
| 3B | ~1,8 GB | ~4–5 GB | 6 GB |
| 7–8B | ~4–4,5 GB | ~6–8 GB | 8 GB (6 GB möglich, knapp) |
| 13–14B | ~7–8 GB | ~10–13 GB | 16 GB |
| 32B+ | ~18 GB+ | über 20 GB | kein Laptop — Cloud-Terrain |
Die Sequenzlänge ist der stille Killer: Verdoppeln Sie den Kontext, verdoppeln Sie grob den Aktivierungsspeicher. Sind Ihre Trainingsbeispiele lange Dokumente statt kurzer Instruction-Paare, senken Sie Ihre Erwartungen um eine Stufe.
Unsloth, der De-facto-Standard-Trainer für Effizienz, senkt den VRAM-Verbrauch um weitere grob 30–50 % und trainiert ~2× schneller als klassisches PEFT — es ist der Unterschied zwischen „13B passt auf 16 GB” als knapp und als komfortabel. Es läuft unter Linux oder WSL2, nicht unter nativem Windows.
Was jede Laptop-Stufe trainieren kann
6 GB VRAM (RTX 3060 — Legion 5 Gen 6, ZBook Studio G8): 3B-Modelle bequem, 7B am Rand mit Unsloth, kurzen Sequenzen und Geduld. Eine echte Lernplattform, keine Produktionsplattform.
8 GB VRAM (RTX 3070 Ti / RTX A4000 — Legion 5 Gen 7, ZBook Fury G8): der praktische Einstiegspunkt. 7–8B-QLoRA funktioniert zuverlässig; diese Stufe deckt die häufigste reale Aufgabe ab — einem kleinen Modell den Tonfall, das Format oder die Terminologie Ihrer Domäne beizubringen.
16 GB VRAM (ThinkPad P15 Gen 2, Legion 7 Gen 6, Precision 7560): 13–14B-QLoRA-Terrain, plus 7B mit längeren Sequenzen oder größeren Batches. Das ist die höchste Stufe, auf der „finetune es auf meinem Laptop” eine sinnvolle Voreinstellung ist statt ein Partytrick.
Realistische Trainingszeiten
Geschätzte Laufzeit für einen typischen kleinen Job — 1.000 Instruction-Beispiele, 3 Epochen, 7B-QLoRA mit Unsloth:
- RTX 3060 6 GB: ~4–8 Stunden (wenn es bei Ihrer Sequenzlänge passt)
- RTX 3070 Ti / A4000 8 GB: ~2,5–5 Stunden
- RTX 3080 16 GB / A5000 16 GB: ~1,5–3 Stunden
Ein 13B auf der 16-GB-Stufe verdoppelt diese Zahlen ungefähr. Das sind Über-Nacht-Jobs, keine Kaffeepausen — weshalb Thermik zählt: Gaming- und Workstation-Gehäuse, die Takte stundenlang halten (siehe unsere Thermik-Notizen je Test), sind spürbar schneller fertig als dünne Maschinen, die drosseln.
Wann die Cloud Ihren Laptop schlägt
Eine RTX 4090 oder A100 stundenweise zu mieten kostet wenig, und für manche Jobs ist es schlicht die richtige Wahl. Faustregeln:
- Lokal finetunen, wenn: das Modell ≤13B ist, die Daten privat oder reguliert sind, Sie häufig in kleinen Läufen iterieren oder Sie die 8–16-GB-Maschine bereits besitzen.
- Mieten, wenn: das Modell 30B+ ist, ein einzelner Lauf ~12 Laptop-Stunden überschreitet, Sie mehrere Experimente parallel brauchen oder die Deadline morgen ist. Ein paar Euro kaufen typischerweise mehr Rechenleistung, als Ihr Laptop über Nacht liefert.
Das Hybrid-Muster funktioniert am besten: Prototypisieren Sie Datensatz und Hyperparameter lokal an einem 7B, dann mieten Sie eine große GPU für den finalen 13B-/30B-Lauf.
Bevor Sie überhaupt finetunen: probieren Sie RAG und Prompting
Finetuning lehrt Verhalten — Tonfall, Format, Domänenstil. Es ist ein schlechtes Werkzeug, um Fakten einzuspeisen, was Retrieval (RAG) besser und aktualisierbarer erledigt. Ist Ihr Ziel „das Modell soll aus meinen Dokumenten antworten”, bauen Sie zuerst RAG; finetunen Sie nur, wenn Ausgabestil oder Aufgabenformat das Problem ist. Viele „Wir brauchen Finetuning”-Projekte enden bei einem guten System-Prompt.
Zusammenfassung
- Vollständiges Finetuning braucht 60 GB+ VRAM — Laptops machen QLoRA, was für die meisten realen Aufgaben in Ordnung ist.
- VRAM-Stufen: 6 GB = 3B (7B am Rand), 8 GB = 7–8B zuverlässig, 16 GB = 13–14B. Nutzen Sie Unsloth.
- Ein 7B-QLoRA-Lauf über 1.000 Beispiele ist ein 1,5–8-Stunden-Job je nach GPU — über Nacht, nicht sofort.
- Private Daten und häufige kleine Iterationen sprechen für lokal; 30B+-Modelle und Deadlines sprechen fürs Mieten einer Cloud-GPU.
- Wollen Sie Fakten, nicht Stil? Bauen Sie RAG, bevor Sie irgendetwas finetunen.