KI lokal: wie du KI-Modelle auf deinem eigenen Rechner ausführst (Guide 2026)

Jeder Prompt, den du in ChatGPT schreibst, reist zu einem Server, den du nicht kontrollierst, kostet dich Geld (direkt oder indirekt) und hört auf zu funktionieren, sobald dir das Internet ausgeht. Jahrelang war das die einzige Möglichkeit, anständige KI zu nutzen. Nicht mehr.

2026 ist es eine Sache von Minuten und ein paar Gigabyte RAM, ein Sprachmodell herunterzuladen und es auf deinem eigenen Rechner laufen zu lassen. Das ist kein Experiment für Terminal-Freaks: es gibt Apps mit Oberfläche, die das so einfach machen wie die Installation von Spotify. Dieser Guide bringt dich vom "keine Ahnung" zum "ich habe ein Modell, das mir offline antwortet" – und lässt dich jede Entscheidung unterwegs verstehen.

Warum KI lokal ausführen

Es gibt drei Gründe, die für sich allein stehen, und der Rest sind Nuancen.

Echter Datenschutz. Deine Prompts und die Antworten verlassen den Rechner nie. Keine Logs auf einem fremden Server, kein "wir können deine Unterhaltungen einsehen", keine Lecks durch eine Sicherheitslücke in der Cloud. Wenn du mit Kundendaten, juristischen Entwürfen, medizinischen Informationen oder irgendetwas arbeitest, das du keinem Dritten anvertrauen willst, ändert das die Spielregeln.

Null Kosten pro Nutzung. Du zahlst einmal —die Hardware, die du schon hast— und generierst danach so viel du willst, ohne laufenden Token-Zähler. Wenn du Volumen machst (Tausende Texte klassifizieren, in Schleife zusammenfassen, per Versuch und Irrtum prototypen), ist der Unterschied zu einer kostenpflichtigen API brutal.

Es funktioniert offline. Kein Internet, keine Serviceausfälle, kein "das Modell ist überlastet, versuch es später". Im Flugzeug, in einer Gegend ohne Empfang oder an dem Tag, an dem der Anbieter einen Zwischenfall hat, ist deine KI weiter da.

Im Gegenzug verzichtest du auf etwas: die Qualitätsobergrenze. Darüber sprechen wir am Ende, aber ich nehme das ehrliche Fazit vorweg: für die meisten alltäglichen Aufgaben reicht ein gutes lokales Modell von 2026 dicke.

Der Ablauf auf einen Blick

Bevor du irgendetwas anfasst, solltest du die mentale Karte haben. KI lokal zu nutzen sind immer dieselben vier verketteten Entscheidungen:

Wenn du diese vier Schritte verstehst, verstehst du 90 % des Themas. Der Rest ist, innerhalb jedes Schritts gut zu wählen.

Hardware-Anforderungen (die Frage, die alle stellen)

Der Zweifel Nummer eins ist "packt das mein Rechner?". Die Antwort hängt von der Modellgröße und der Quantisierung ab, aber es gibt klare Faustregeln.

Was zählt, ist der Speicher: wie viel RAM (wenn du auf der CPU läufst) oder VRAM (wenn du eine dedizierte GPU hast) du frei hast, um das Modell zu laden. Als Referenz, mit Quantisierung auf 4 Bit (Q4_K_M):

• Modelle mit 7-8B Parametern → rund 5 GB Datei, laufen mit 8 GB RAM/VRAM. Das ist der empfohlene Ausgangspunkt.
• Modelle mit 13-14B → verlangen rund 16 GB.
• Modelle mit 70B → liegen um die 40 GB; Terrain für starke Maschinen oder mehrere GPUs.

Drei wichtige Klarstellungen:

1. Ohne GPU geht es auch. Jeder moderne Laptop führt ein 7B auf der CPU aus; es wird langsamer sein (ein paar Wörter pro Sekunde), aber es funktioniert. Mit einer dedizierten GPU ab 8 GB fliegt die Sache.
2. Mac mit Apple Silicon spielt im Vorteil. Die M-Chips teilen den Speicher zwischen CPU und GPU (unified memory), sodass ein Mac mit 16 GB Modelle bewegt, die auf einem PC eine dedizierte Grafikkarte verlangen würden. Außerdem nutzen die Tools 2026 Apples nativen MLX-Motor, der schneller ist und weniger verbraucht.
3. Lass Puffer. Das Modell ist nicht das Einzige, das Speicher belegt: das Kontextfenster (der KV-Cache), das Betriebssystem und die übrigen Programme ziehen auch. Gesunde Regel: fülle den Speicher nicht zu 100 %, lass 10-15 % Luft.

Quantisierung und GGUF, ohne Fachchinesisch

Das ist das Teil, das am meisten Angst macht, und das am leichtesten mit einer Analogie zu verstehen ist. Ein "originales" Modell speichert jeden seiner Milliarden Parameter mit hoher Präzision (16 Bit). Quantisieren heißt, diese Zahlen auf weniger Bit zu runden —8, 5 oder 4—, damit die Datei viel weniger belegt und schneller läuft. Es ist wie der Wechsel von einem unkomprimierten WAV zu einem MP3 in guter Qualität: es belegt einen Bruchteil und in der Praxis merkst du den Unterschied kaum.

GGUF ist einfach das Standard-Dateiformat dafür im lokalen Betrieb: eine einzige Datei, die die Gewichte, den Tokenizer und die Metadaten bündelt. Wenn du Modelle suchst, siehst du Namen wie modell-7B-Q4_K_M.gguf. Dieses Suffix ist die Quantisierungsstufe, und das ist das Einzige, was du dir merken musst:

• Q4_K_M → der Sweet Spot. Reduziert die Größe um ~75 % bei kaum 3-5 % Qualitätsverlust. Im Zweifel dieses.
• Q5_K_M / Q6_K → eine Spur größer und besser; nützlich für Code oder Denken, wenn dir Speicher übrig bleibt.
• Q8_0 → fast identisch mit dem Original; nur wenn du reichlich RAM/VRAM hast.
• Q3_K_M / Q2_K → für den Fall, dass du sehr knapp am Speicher bist; der Verlust ist deutlicher spürbar.

Das "K_M" bedeutet, dass es die Bit besser auf die Schichten verteilt, die für die Qualität am meisten zählen. Deshalb ist ein Q4_K_M fast immer mehr wert als ein reines Q4.

Welches Tool wählen (und für wen)

Alle ernstzunehmenden Tools lesen GGUF und nutzen darunter denselben Motor (llama.cpp oder, auf dem Mac, MLX), daher ist die Geschwindigkeit zwischen ihnen fast identisch. Du wählst nach Oberfläche und danach, was du vorhast, nicht nach Leistung.

Das ist der Schnell-Guide je nach deinem Profil:

• LM Studio — zum Einstieg ohne Umstände. Desktop-App mit gepflegter Oberfläche: du suchst das Modell per Name, siehst, wie viel RAM es verlangt und ob deine Maschine es packt, klickst auf Herunterladen und chattest. Null Terminal, null Konfigurationsdateien. Wenn du das noch nie angefasst hast, fang hier an.
• Jan — für alle, die Datenschutz und Open Source priorisieren. Standardmäßig offline und mit vollständig überprüfbarem Code. Es bringt seine eigene Chat-Oberfläche mit und die Philosophie "deine Daten gehören dir". Die Wahl, wenn Offenheit nicht verhandelbar ist.
• Ollama — zum Programmieren und Integrieren. Es läuft über die Kommandozeile und, das Wichtige, es startet eine lokale, OpenAI-kompatible API. Das heißt, du kannst dein lokales Modell mit jeder App oder jedem Skript verbinden, das schon die OpenAI-API nutzte, indem du nur die URL änderst. Es ist das Teil zum Bauen von Dingen. Wir haben einen eigenen Guide zu Ollama.
• llama.cpp — um die Hardware auszureizen. Es ist keine App mit Oberfläche: es ist der Motor, der die anderen antreibt. Hierher steigst du nur, wenn du auf den Millimeter optimieren willst. Zum Einstieg ignoriere es.

Schritt für Schritt: dein erstes Modell lokal

Auf zum schnellsten Weg zu einem Ergebnis. Ich zeige ihn mit Ollama, weil es die API integrationsbereit hinterlässt, aber mit LM Studio wäre es buchstäblich "suchen → herunterladen → chatten" über die Oberfläche.

1. Installiere Ollama. Lade es von seiner Website herunter (macOS, Windows und Linux) und installiere es wie jedes andere Programm. Auf Mac und Windows bringt es eine Desktop-App mit; auf Linux läuft es über das Terminal.

2. Lade dein erstes Modell herunter und starte es. Ein einziger Befehl lädt das quantisierte Modell und startet es:

# Startet ein 8B-Modell (lädt es beim ersten Mal herunter)
ollama run llama3.1:8b

# Ab da schreibst und unterhältst du dich im Terminal.
# Zum Beenden: /bye

Beim ersten Mal dauert es so lange, wie die Datei wiegt (ein paar GB). Danach ist das Modell schon auf der Platte und startet sofort.

3. Prüfe, was du installiert hast. Nützlich, wenn du mehrere Modelle ansammelst:

# Listet die Modelle, die du heruntergeladen hast
ollama list

# Teste ein kleines, schnelles Modell für leichte Aufgaben
ollama run llama3.2:3b

# Lösche eins, das du nicht mehr nutzt, um Platz freizugeben
ollama rm llama3.1:8b

4. Integriere es in deine Apps (optional). Hier steckt die Magie für alle, die programmieren. Ollama stellt eine lokale API auf localhost:11434 bereit, kompatibel mit dem Format von OpenAI:

curl http://localhost:11434/v1/chat/completions \
-H "Content-Type: application/json" \
-d '{
  "model": "llama3.1:8b",
  "messages": [{"role": "user", "content": "Fasse das in einem Satz zusammen: ..."}]
}'

Wenn du die Basis-URL in deinem Code von api.openai.com auf localhost:11434 änderst, läuft jede App, die OpenAI nutzte, gegen dein lokales Modell. Ohne Kosten, ohne etwas nach draußen zu senden.

Die Grenzen (damit du keine Überraschungen erlebst)

Keine ehrliche Review versteckt das Kleingedruckte, also hier ist es:

• Qualität mit Deckel. Ein lokales 7-14B denkt nicht wie GPT oder Claude bei komplexen Problemen, schwierigem Code oder langen Logikketten. Dafür gewinnt die Cloud weiter.
• Kürzerer Kontext. Riesige Kontextfenster verbrauchen lokal viel Speicher. Wenn du gewaltige Dokumente auf einmal reinstecken musst, wirst du leiden.
• Die Hardware ist die Grenze. Du kannst kein 70B-Modell auf einem Laptop mit 8 GB laufen lassen, egal wie stark du es quantisierst. Der Speicher regiert.
• Variable Geschwindigkeit. Auf reiner CPU spuckt ein 7B ein paar Wörter pro Sekunde aus. Es ist nutzbar, aber erwarte nicht die Flüssigkeit eines Cloud-Dienstes mit dedizierten GPUs.

Keiner dieser Punkte ist ein Fehler: sie sind der Preis dafür, die KI im eigenen Haus zu haben. Sie vorher zu kennen erspart die Enttäuschung, von einem lokalen Modell etwas zu verlangen, wofür es nicht gemacht ist.

Für wen ist KI lokal?

Sie ist etwas für dich, wenn: du mit sensiblen Daten arbeitest, die du nicht in die Cloud laden willst, du Volumen machst und dich die Kosten pro Token schmerzen, du brauchst, dass es offline funktioniert, oder du einfach lernen willst, wie KI von innen funktioniert, ohne von jemandem abhängig zu sein. Auch wenn du Entwickler bist und prototypen und integrieren willst, ohne bei jedem Test für die API zu zahlen.

Sie ist nichts für dich, wenn: du KI nur punktuell nutzt und dir maximale Qualität mehr zählt als Datenschutz oder Kosten, deine Maschine sehr knapp am Speicher ist, oder du keine zehn Minuten aufwenden willst, um etwas zu installieren. Für diesen Fall passt eine KI in der Cloud besser —oder eine dazwischen wie OpenRouter, das dir viele Modelle über eine einzige API gibt.

Die ehrliche Frage ist nicht "ist lokale KI besser als ChatGPT?". Ist sie nicht, an der Obergrenze, und will es auch nicht sein. Die Frage ist "wie viel ist es mir wert, dass meine Daten meinen Rechner nicht verlassen, nicht pro Nutzung zu zahlen und ohne Internet arbeiten zu können?". Wenn die Antwort "einiges" lautet, kostet dich das Aufsetzen 2026 zehn Minuten und ein paar Gigabyte Platte. Es war nie so einfach, deine eigene KI zu haben, wirklich deine eigene.