Qwen3-32B ist das größte dichte Modell der ersten Qwen3-Generation. Anders als bei einem Mixture-of-Experts-Modell rechnen hier bei jedem Textbaustein (Token) alle 32,8 Milliarden Parameter mit. Wie die ganze Reihe vereint es Denkmodus und schnellen Modus und übertrifft laut Qwen-Team im Denkmodus das Reasoning-Modell QwQ-32B in 17 von 23 Benchmarks.
Mit der offiziellen FP8-Fassung läuft das Modell auf einer einzelnen H100. Es steht unter der Lizenz Apache 2.0 und ist damit eine gut planbare Basis für den Selbstbetrieb.
Qwen3-32B
Alibaba (Qwen-Team)
April 2025
Apache 2.0
Dichtes Modell, Hybrid-Reasoning (Denkmodus und schneller Modus), rein textbasiert
32,8 Mrd. (dicht), davon 31,2 Mrd. ohne Embedding
Dichter Transformer mit Grouped-Query Attention (64 Q-, 8 KV-Heads) und QK-Norm
Byte-Level-BPE mit 151.669 Token Vokabular
64
64 Query-Köpfe, 8 Key/Value-Köpfe (Grouped-Query Attention - GQA).
32.768 Token nativ, bis 131.072 Token mit YaRN
Das Modell in BF16 und als offizielle FP8-Fassung, dazu AWQ und GGUF für kleinere GPUs. Bei FP8 halbiert sich der Speicherbedarf etwa.
Qwen3-30B-A3B erreicht ähnliche Werte mit nur 3,3 Milliarden aktiven Parametern und antwortet dadurch schneller. Größer ist Qwen3-235B-A22B.
Eine 2507-Version gibt es für 32B nicht. Neuere dichte Modelle sind Qwen3.6-27B und Qwen3.8-27B, beide mit Bildverständnis und 262.144 Token Kontext.
| Benchmark | Qwen3-32B | DeepSeek-R1-Distill-Llama-70B | QwQ-32B | OpenAI-o3-mini (medium) |
|---|---|---|---|---|
| MMLU-Redux | 90,9 | 89,3 | 90,0 | 90,0 |
| GPQA-Diamond | 68,4 | 65,2 | 65,6 | 76,8 |
| LiveBench 2024-11-25 | 74,9 | 54,5 | 72,0 | 70,0 |
| IFEval (strict prompt) | 85,0 | 79,3 | 83,9 | 91,5 |
| Arena-Hard | 93,8 | 60,6 | 89,5 | 89,0 |
| MATH-500 | 97,2 | 94,5 | 98,0 | 98,0 |
| AIME’24 | 81,4 | 70,0 | 79,5 | 79,6 |
| AIME’25 | 72,9 | 56,3 | 69,5 | 74,8 |
| ZebraLogic | 88,8 | 71,3 | 76,8 | 88,9 |
| BFCL v3 | 70,3 | 49,3 | 66,4 | 64,6 |
| LiveCodeBench v5 | 65,7 | 54,5 | 62,7 | 66,3 |
| CodeForces (Rating) | 1977 | 1633 | 1982 | 2036 |
| Multi-IF | 73,0 | 57,6 | 68,3 | 48,4 |
Quelle: Qwen3 Technical Report (Qwen-Team, Mai 2025), gemessen im Denkmodus. Angaben in Prozent, CodeForces als Rating.
Das größte dichte Qwen3-Modell, in FP8 auf einer GPU lauffähig. Wir prüfen mit Ihnen Nutzen, Auslegung und Betriebskosten.
Die Qwen3-Modelle wurden auf rund 36 Billionen Token in 119 Sprachen und Dialekten vortrainiert, doppelt so viele Token wie beim Vorgänger Qwen2.5. Das Vortraining lief in drei Stufen: allgemeines Wissen, dann gezielt Mathematik, Code und Reasoning, zuletzt lange Texte bis 32.768 Token.
Das Post-Training der großen Modelle umfasst vier Stufen: ein Feintuning mit langen Denkketten, Reinforcement Learning für Reasoning, das Zusammenführen von Denkmodus und schnellem Modus sowie allgemeines Reinforcement Learning für über 20 Aufgabenbereiche. Beim Reinforcement Learning lernt das Modell aus Bewertungen seiner eigenen Antworten.
Qwen3-32B eignet sich für Teams, die ein starkes dichtes Modell auf einer GPU betreiben wollen. In einer KI-Beratung prüfen wir mit Ihnen, ob ein neueres Modell wie Qwen3.6-27B oder Qwen3.8-27B besser passt.
Stark für seine Größe: Laut Qwen-Team vor QwQ-32B in 17 von 23 Benchmarks, etwa bei Arena-Hard mit 93,8.
Bester Wert bei Werkzeugnutzung: Mit 70,3 bei BFCL v3 vor allen Vergleichsmodellen der Tabelle.
Eine GPU genügt: In FP8 auf einer H100 lauffähig.
Zwei Modi in einem Modell: Denkmodus und schnelle Antworten aus einem Deployment.
Kommerziell frei nutzbar: Apache 2.0 ohne Umsatzgrenzen.
Hinter o3-mini bei Fachwissen: Bei GPQA-Diamond (68,4 gegenüber 76,8) und IFEval liegt o3-mini vorn.
Langsamer als MoE-Modelle: Alle Parameter rechnen mit, Qwen3-30B-A3B antwortet bei ähnlicher Qualität schneller.
Kompromiss durch zwei Modi: Laut Qwen-Team kostet das Zusammenführen beider Modi im Denkmodus etwas Leistung, etwa bei AIME’24 und LiveCodeBench.
Kein Bildverständnis: Alle Qwen3-Modelle der ersten Generation sind rein textbasiert, für Bilder gibt es Qwen3-VL.
Wir planen die Cluster-Auslegung für Qwen3-32B, übernehmen Inbetriebnahme, Quantisierung und Betrieb und hosten das Modell auf Wunsch DSGVO-konform in unserem zertifizierten Rechenzentrum in Limburg an der Lahn.
In BF16 umfassen die Gewichte rund 66 GB, das passt auf eine H200. Mit der offiziellen FP8-Fassung reichen rund 34 GB und damit eine H100 oder L40S. Quantisierte Fassungen wie AWQ laufen auch auf GPUs mit 24 GB.
Qwen3-32B ist ein dichtes Modell und im Denkmodus etwas stärker. Qwen3-30B-A3B nutzt nur 3,3 Milliarden aktive Parameter und antwortet deshalb deutlich schneller bei ähnlichem Speicherbedarf.
Der Denkmodus ist standardmäßig aktiv. Über den Parameter enable_thinking lässt er sich ganz abschalten, mit /think und /no_think in einer Nachricht wechseln Sie ihn während eines Gesprächs.
Ja. Das Qwen-Team von Alibaba veröffentlicht die Gewichte unter der Lizenz Apache 2.0. Sie dürfen das Modell ohne Umsatzgrenzen kommerziell einsetzen, anpassen und weitergeben.
Ja. Über unsere GPU Cloud stellen wir die nötige Rechenleistung bereit. Alternativ bündelt der MaaS Proxy verschiedene Modelle über eine einheitliche Schnittstelle. Beide Wege betreiben wir DSGVO-konform in Deutschland.
Möchten Sie individuell beraten werden?
Unsere KI-Experten sind für Sie da!
