Groq

Groq ist ein Anbieter für ultraschnelle LLM-Inferenz — und hebt sich durch einen fundamentalen Hardware-Ansatz vom Rest des Marktes ab. Statt auf GPUs setzt Groq auf eine selbst entwickelte LPU (Language Processing Unit), eine Chip-Architektur, die speziell für die sequenzielle Natur der Sprachmodell-Inferenz optimiert ist. Das Ergebnis ist eine Geschwindigkeit, die deutlich über der GPU-basierter Anbieter liegt — oft mehrere hundert Tokens pro Sekunde, mit sehr niedriger Time-to-First-Token.

Diese Geschwindigkeit ist Groqs zentrales Verkaufsargument und eröffnet Anwendungsfälle, die mit langsamerer Inferenz nicht gut funktionieren. Echtzeit-Chat fühlt sich sofort an, Voice-Agenten können natürlich reagieren, weil die Antwortlatenz minimal ist, und latenz-kritische Anwendungen (interaktive Tools, Live-Assistenten) werden praktikabel. Wer schon einmal ein Modell auf Groq gegen dasselbe Modell auf einem GPU-Anbieter getestet hat, merkt den Unterschied sofort.

Groq konzentriert sich auf offene Modelle: Llama, Qwen, GPT-OSS, DeepSeek, Kimi und weitere werden über GroqCloud bereitgestellt. Die OpenAI-kompatible API macht die Integration trivial — bestehender Code, der gegen die OpenAI-API geschrieben ist, läuft mit minimaler Änderung auf Groq. Ein Playground und eine Konsole erleichtern den Einstieg, und Voice-Modelle sowie Transkription runden das Angebot für Sprach-Anwendungen ab.

Das Pricing ist wettbewerbsfähig: Ein großzügiger Free-Tier zum Entwickeln, günstige Pro-Token-Preise für offene Modelle und eine Batch-API mit reduzierten Preisen für asynchrone, hochvolumige Verarbeitung. Für Anwendungen, die sowohl Geschwindigkeit als auch niedrige Kosten brauchen, ist das eine attraktive Kombination.

Die Schwächen ergeben sich aus dem Fokus. Groq bietet offene Modelle, keine geschlossenen Frontier-Modelle wie GPT-5.5, Claude Opus oder Gemini 3 — wer diese braucht, geht direkt zum Anbieter oder über einen Aggregator. Die Modell-Auswahl ist entsprechend kleiner als bei OpenRouter oder Poe. Sehr große Modelle sind nicht immer verfügbar, weil die LPU-Kapazität pro Modell bereitgestellt werden muss. Und die Datenresidenz liegt in den USA.

Empfohlen für Entwickler:innen, die offene Modelle mit maximaler Geschwindigkeit brauchen — besonders für Echtzeit-Chat, Voice-Agenten und latenz-kritische Anwendungen — und für hochvolumige, kostensensible Inferenz. Wer geschlossene Frontier-Modelle oder die größtmögliche Modell-Auswahl braucht, kombiniert Groq mit einem direkten Anbieter oder einem Aggregator.