Was ist Ollama genau?

Ollama ist eine kostenlose Open-Source-Anwendung, die Sprachmodelle (LLM) direkt auf deinem Rechner herunterlädt, verwaltet und ausführt. Sie gibt dir eine Kommandozeile, eine grafische Oberfläche und eine lokale API. Es ist kein Modell: Es ist die Engine, die es einfach macht, Open-Source-Modelle wie Llama, Qwen, DeepSeek oder Gemma laufen zu lassen, ohne von der Cloud abhängig zu sein.

Ist Ollama wirklich gratis?

Ja. Ollama ist zu 100 % gratis und Open Source (MIT-Lizenz), und die Modelle, die du herunterlädst, haben offene Gewichte und sind ebenfalls kostenlos. Es gibt kein Abo und keine Kosten pro Token: Du zahlst nur mit Strom und mit der Hardware, die du bereits hast. Die Ausnahme sind seine optionalen Cloud-Modelle, die sehr wohl etwas kosten können.

Welche Hardware brauche ich für Ollama?

Das realistische Minimum sind etwa 8 GB RAM für kleine Modelle (Klasse 7B-8B) und Speicherplatz für die Gewichte. Es läuft auf der CPU, aber langsam; mit einer kompatiblen GPU (NVIDIA CUDA, AMD ROCm) oder einem Mac mit Apple Silicon und unified Memory wird die Geschwindigkeit von zäh zu nutzbar. Je größer das Modell, desto mehr VRAM oder RAM ist nötig.

Hat Ollama eine OpenAI-kompatible API?

Ja. Ollama stellt eine REST-API unter http://localhost:11434 mit einem Endpoint bereit, der zum Format von OpenAI kompatibel ist. Wenn dein Code das OpenAI-SDK nutzt, reicht es, die base_url auf deinen localhost zu zeigen, damit er mit dem lokalen Modell statt mit den Servern von OpenAI spricht. So wird das Migrieren von Projekten fast zum Ändern einer einzigen Zeile.

Per Design, ja. Da die Modelle auf deiner Maschine laufen, verlassen deine Prompts und die Antworten nie deinen Rechner und reisen nicht zu einem externen Server. Du kannst es komplett offline nutzen. Es ist die natürliche Wahl, wenn du mit Informationen arbeitest, die du nicht in die Cloud eines Dritten schicken willst.

Ollama: KI-Modelle lokal ausführen, gratis und privat (Guide 2026)

Alle KIs, die du täglich nutzt —ChatGPT, Claude, Gemini—, leben auf fremden Servern. Du schreibst, dein Text reist zu einem Rechenzentrum, jemand verarbeitet ihn, du bekommst die Antwort zurück. Es funktioniert hervorragend und du bezahlst dafür: mit Geld oder mit deinen Daten.

Ollama schlägt genau das Gegenteil vor: das Modell auf deinen Rechner holen und es dort laufen lassen. Ohne Internet, ohne Abo, ohne dass deine Prompts das Haus verlassen. Klingt ideal, bis das Kleingedruckte auftaucht: Man braucht Hardware. Schauen wir uns das ohne Nebelkerzen an.

Hinweis

Ollama ist kein KI-Modell, es ist das Programm, das ihre Ausführung einfach macht. Stell es dir als den "Player" vor und Llama, Qwen oder DeepSeek als die "Platten", die du hineinlegst.

Was ist Ollama

Ollama ist ein kostenloses Open-Source-Tool, das Sprachmodelle (LLM) direkt auf deiner Maschine herunterlädt, verwaltet und ausführt. Es gibt dir drei Wege, es zu nutzen: eine einfache Kommandozeile, eine grafische Desktop-Oberfläche für alle, die kein Terminal wollen, und eine lokale API, um deine eigenen Anwendungen anzuschließen.

Sein Clou ist, die ganze Reibung wegzunehmen. Früher hieß es, ein Open-Source-Modell lokal laufen zu lassen, sich mit Python-Abhängigkeiten, GPU-Treibern, Gewichtsformaten und Konfigurationen zu prügeln, die dir einen Nachmittag klauten. Ollama packt all das ein: ein Befehl lädt das Modell herunter, optimiert es für deine Hardware und lässt es bereit zum Reden. Die Komplexität ist weiter darunter, aber du fasst sie nicht mehr an.

Darunter trainiert es nichts Eigenes: Es orchestriert die besten Modelle mit offenen Gewichten des Moments. In seiner Bibliothek leben die großen Familien beieinander —Llama von Meta, Qwen von Alibaba, DeepSeek, Gemma von Google, Mistral— und viele auf Code, Reasoning oder Vision spezialisierte Varianten. Du wählst je nach Aufgabe und den Ressourcen, die du hast.

Wie man es installiert und nutzt

Der Einstieg ist direkt. Du lädst das Installationsprogramm für macOS, Windows oder Linux von der offiziellen Website herunter, führst es aus und schon läuft die Engine im Hintergrund. Es gibt keine verpflichtende Erstkonfiguration.

Ab da dreht sich alles um einen Befehl. Um ein Modell herunterzuladen und loszuchatten, reicht das hier:

Ein Modell herunterladen und ausführen

ollama run llama3

Beim ersten Mal wird das Modell heruntergeladen (es kann mehrere Gigabyte groß sein, Geduld mit der Verbindung); danach startet es sofort, weil du es schon auf der Platte hast. Wenn es fertig ist, lässt es dir einen Prompt im Terminal und du unterhältst dich wie in jedem Chat, aber ohne Internet dazwischen.

Der Alltag lässt sich auf ein paar Befehle zusammenfassen:

ollama run <Modell> — lädt bei Bedarf herunter und öffnet den Chat.
ollama pull <Modell> — lädt nur herunter, ohne zu öffnen.
ollama list — listet die Modelle auf, die du schon hast.
ollama rm <Modell> — löscht eins, um Speicherplatz freizugeben.

Wer das Terminal lieber meidet, hat die Desktop-App mit grafischer Oberfläche: gleiche Power, normales Chat-Fenster. Und wer programmiert, hat die API – und da zeigt Ollama erst richtig die Zähne.

Die Modelle, die du laufen lassen kannst

Hier liegt die Freiheit von Ollama: Es verheiratet dich nicht mit einem einzigen Modell. Seine Bibliothek deckt die großen Familien mit offenen Gewichten ab und aktualisiert sich ständig, sobald neue Versionen erscheinen.

Llama (Meta) — die populärste Familie und ein guter Ausgangspunkt; Balance zwischen Qualität und Gewicht.
Qwen (Alibaba) — eine der aktivsten in der Bibliothek, mit sehr starken Varianten für Code und Reasoning, die auf Consumer-Hardware überraschend gut abschneiden.
DeepSeek — Referenz für Reasoning mit Gedankenkette; seine R-Series-Modelle glänzen bei komplexen Problemen.
Gemma (Google) — kompakte Modelle mit Vision und Tool-Aufrufen, gedacht für den Betrieb mit wenig VRAM.
Mistral und Ableger — leicht, schnell und sehr fähig für ihre Größe.

Jedes Modell gibt es in mehreren Größen (gemessen in Milliarden Parametern: 7B, 13B, 70B…) und in verschiedenen Quantisierungsstufen – einer Kompression, die das Gewicht gegen ein bisschen Präzision reduziert. Die mentale Regel: größeres Modell = klüger, aber auch mehr RAM/VRAM und langsamer. Mit einem kleinen anfangen und hochgehen, wenn dein Rechner mithält, ist der vernünftige Zug.

Anforderungen und Leistung (das Kleingedruckte)

Das ist der Teil, den das Marketing von "gratis KI auf deinem PC" gern versteckt. Ollama ist gratis, aber die Hardware stellst du, und da gibt es keine Magie.

Das realistische Minimum zum Starten sind etwa 8 GB RAM und Speicherplatz für die Gewichte. Damit lässt du kleine Modelle (Klasse 7B-8B) anständig laufen. Für Modelle ab 13B willst du 16 GB oder deutlich mehr.

Der Faktor, der das Erlebnis wirklich verändert, ist die GPU. Ollama beschleunigt mit NVIDIA (CUDA), AMD (ROCm) und Apple Silicon (Metal) auf den Macs. Der Unterschied ist brutal: Ein Modell, das auf der CPU zig Sekunden zum Antworten braucht, antwortet mit einer ordentlichen GPU in wenigen Sekunden. Auf der CPU funktioniert es zwar, aber das Gefühl wechselt von "Assistent" zu "warte und bete".

Tipp

Bevor du das größte Modell herunterlädst, das du siehst, schau auf deinen RAM und deinen VRAM. Besser ein 8B-Modell, das fliegt, als eins mit 70B, das kriecht und dir das Erlebnis vermiest. Fang klein an, miss, und geh nur hoch, wenn dein Rechner atmet.

Die lokale API: wo Ollama ernst wird

Über den Chat hinaus startet Ollama eine REST-API unter localhost:11434, und hier kommt sein bester Trick: Sie hat einen Endpoint, der mit dem Format von OpenAI kompatibel ist.

Was heißt das in der Praxis? Dass, wenn du ein Projekt hast, das gegen die OpenAI-API geschrieben ist, es auf dein lokales Modell zu migrieren fast das Ändern einer Zeile ist: Du zeigst die base_url des SDK auf deinen localhost:11434/v1 und fertig. Derselbe Code, der mit den Servern von OpenAI sprach, spricht jetzt mit dem Modell, das auf deiner Maschine läuft, gratis und ohne dass irgendetwas von dort weggeht.

Das öffnet die Tür zu einem Haufen Integrationen: Code-Assistenten im Editor, Desktop-Chat-Apps wie jene, die sich per API verbinden, lokale Automatisierungen, RAG über deine eigenen Dokumente. Ollama wird zur privaten KI-Engine deines ganzen Setups. Für alle, die Dinge bauen, wiegt dieses Detail mehr als jeder Benchmark.

Datenschutz: deine Daten verlassen das Haus nicht

Das ist das sauberste Argument von Ollama, und es braucht keine seltsamen Architekturen, um zu tragen: Da das Modell auf deinem Rechner läuft, reisen deine Prompts und die Antworten nie zu irgendeinem Server. Punkt. Du kannst das WLAN abschalten und weiterarbeiten.

Keine Logs in der Cloud eines Dritten, keine Nutzungsbedingungen, die sagen, dass man deine Gespräche zum Trainieren verwenden darf, kein fremdes Datenleck, das dich bloßstellt. Wenn du mit proprietärem Code, Kundendaten, juristischen Entwürfen oder irgendetwas hantierst, das du in niemandes Cloud laden willst, ist das der Unterschied, der alles ändert.

Es ist dasselbe Ziel, das Tools wie Venice AI verfolgen, aber auf anderem Weg: Venice anonymisiert in der Cloud, Ollama nutzt die Cloud schlicht gar nicht. Datenschutz durch Abwesenheit eines Servers.

Das Gute und das Schlechte, ungeschminkt

Vorteile

100 % gratis und Open Source: kein Abo und keine Kosten pro Token.
Totaler Datenschutz: deine Prompts und Antworten verlassen nie deinen Rechner.
Funktioniert offline: einmal das Modell heruntergeladen, brauchst du kein Internet.
Zugriff auf viele Open-Source-Familien (Llama, Qwen, DeepSeek, Gemma) mit einem Befehl.
Lokale OpenAI-kompatible API: ein Projekt zu migrieren kostet eine Zeile.

Nachteile

Hängt von deiner Hardware ab: mit wenig RAM/VRAM passen die guten Modelle nicht.
Auf der CPU ohne GPU ist die Leistung für interaktiven Einsatz langsam.
Lokale Open-Source-Modelle erreichen bei den anspruchsvollsten Aufgaben nicht die Obergrenze von GPT-5 oder Claude.
Erfordert etwas technisches Händchen, um das Maximum herauszuholen (API, Integrationen).
Große Modelle belegen viele Gigabyte auf der Platte.

Für wen ist Ollama?

Es ist keine KI, die "besser" ist als die großen aus der Cloud; es ist eine KI mit anderen Prioritäten: Datenschutz, Kontrolle, null Kosten pro Nutzung und Freiheit zum Herumbasteln.

Es lohnt sich für dich, wenn: dir Datenschutz wichtig ist und du deine Daten nicht in die Cloud schicken willst, du mit sensiblen Informationen oder proprietärem Code arbeitest, du mit Open-Source-Modellen experimentieren willst, ohne dich mit der Installation zu prügeln, du Entwickler bist und eine lokale Engine hinter deinen Apps willst, oder du einfach gern die volle Kontrolle hast und nicht pro Token zahlst. Wenn du bereits einen Rechner mit ordentlicher GPU oder einen Mac mit gutem unified Memory hast, ist die Passung fast perfekt.

Es lohnt sich nicht für dich, wenn: dein Rechner bescheiden ist (knapp 8 GB RAM und ohne GPU) und du dich nur über die Langsamkeit ärgern wirst, du bei jeder Aufgabe die maximale Qualität brauchst —da markieren GPT und Claude weiterhin die Obergrenze—, oder du einfach eine Website öffnen und schreiben willst, ohne irgendetwas zu installieren oder zu konfigurieren. Für diesen Fall ist eine KI in der Cloud bequemer.

Die ehrliche Frage ist nicht "Ist Ollama besser als ChatGPT?", denn darum spielt es nicht. Die Frage ist "Wie viel ist es mir wert, dass die KI auf meiner Maschine läuft, gratis und ohne dass irgendetwas davon weggeht?". Wenn die Antwort "ziemlich viel" lautet und du die Hardware hast, ist Ollama der sauberste und direkteste Weg, private KI auf deinem eigenen Rechner zu haben.