Ollama

Ollama ist der mit Abstand einfachste Weg, offene Sprachmodelle lokal zu betreiben — 2023 gestartet und seitdem zum De-facto-Standard für On-Device-LLMs geworden. Der Kern ist bestechend simpel: Ein Befehl wie ollama run llama3.3 lädt das Modell herunter und startet einen lauffähigen Chat — ohne Cloud, ohne Account, ohne Konfigurations-Odyssee.

Der entscheidende Vorteil ist Privatsphäre und Kontrolle. Weil die Modelle vollständig on-device laufen, verlassen weder Prompts noch Antworten den eigenen Rechner. Für datenschutzsensible Anwendungen — Gesundheitsdaten, Mandanten-Dokumente, interner Quellcode, personenbezogene Daten — ist das ein konstitutiver Vorteil: Es ist die DSGVO-freundlichste Art, mit einem LLM zu arbeiten, weil schlicht keine Daten zu einem Anbieter fließen.

Die Modell-Bibliothek ist breit und stets aktuell: Llama, Mistral, Qwen, DeepSeek, Gemma, Phi, GPT-OSS und viele Community-Varianten sind mit einem Befehl verfügbar. Wann immer ein neues offenes Modell erscheint, ist es meist kurz darauf über Ollama nutzbar. Das macht Ollama zur natürlichen Heimat der Open-Weight-Bewegung, die 2025/26 durch DeepSeek, Qwen, Kimi, GLM und Llama getrieben wird.

Für Entwickler:innen ist die OpenAI-kompatible API der Schlüssel: Bestehende Anwendungen, die gegen die OpenAI-API geschrieben sind, lassen sich mit minimaler Änderung auf ein lokales Ollama-Modell umstellen. In Kombination mit dem Modelfile (eine Art Dockerfile für Modell-Konfigurationen und System-Prompts) entsteht ein sauberer, reproduzierbarer lokaler LLM-Stack. Vision-Modelle für multimodale Aufgaben werden ebenfalls unterstützt.

Ollama ist auf macOS, Windows, Linux und in Docker verfügbar; ein optionaler Cloud-Tier erlaubt es, sehr große Modelle, die lokale Hardware überfordern, gehostet auszuführen — ein pragmatischer Mittelweg für Teams, die lokal entwickeln, aber bei Bedarf skalieren wollen.

Die Schwächen ergeben sich aus der lokalen Natur. Die Leistung ist durch die eigene Hardware begrenzt: Ein Frontier-Modell-Niveau erreicht man nur mit starker GPU und viel RAM, und große Modelle (70B+) brauchen entsprechende Ressourcen. Auf einem durchschnittlichen Laptop laufen kleinere Modelle flüssig, die ganz großen nicht. Und die Einrichtung — auch wenn sie einfach ist — setzt ein gewisses technisches Grundverständnis voraus; für nicht-technische Endnutzer:innen ist ein Cloud-Chat niedrigschwelliger.

Empfohlen für Entwickler:innen, datenschutzbewusste Teams und alle, die offene Modelle privat, offline und kostenlos nutzen wollen — sei es für Prototyping, für DSGVO-konforme On-Device-Verarbeitung oder einfach, um die Open-Weight-Modelle ohne Cloud-Bindung auszuprobieren. Wer maximale Modell-Qualität ohne eigene Hardware braucht, kombiniert Ollama sinnvoll mit einem Cloud-Modell für die anspruchsvollsten Aufgaben.