DeepSeek-V3 erschien im Dezember 2024 und erreichte als offenes Modell laut DeepSeek das Niveau führender proprietärer Modelle wie GPT-4o und Claude 3.5 Sonnet. Aufsehen erregte vor allem der geringe Trainingsaufwand von rund 2,8 Millionen GPU-Stunden auf H800-GPUs. Auf dem Basismodell von V3 baut auch die DeepSeek-R1 Serie auf.
Technisch ist V3 ein Mixture-of-Experts-Modell (MoE) aus vielen spezialisierten Teilnetzen. Von 671 Milliarden Parametern sind je verarbeitetem Textbaustein (Token) nur 37 Milliarden aktiv. Die Multi-head Latent Attention komprimiert zudem den Zwischenspeicher für bereits verarbeitete Token (KV-Cache) stark. Das Update V3-0324 vom März 2025 verbessert Reasoning und Programmierung deutlich und steht unter der MIT-Lizenz.
DeepSeek-V3 (+ DeepSeek-V3-0324)
DeepSeek AI
Dezember 2024
Code unter MIT-Lizenz. Gewichte von DeepSeek-V3 unter der DeepSeek-Modelllizenz (kommerziell nutzbar), DeepSeek-V3-0324 unter MIT-Lizenz.
MoE, Chat-Modell ohne Denkmodus, rein textbasiert
671 Mrd. total (37 Mrd. aktiv pro Token), die HF-Modellseite listet 685 Mrd. inklusive MTP-Modul
MoE mit Multi-head Latent Attention (MLA), DeepSeekMoE und Multi-Token Prediction (MTP)
61 (3 dichte und 58 MoE-Schichten)
256 Experten, 8 aktiv je Token, 1 geteilter Experte
128.000 Token
Das Basismodell nach dem Vortraining, ohne Ausrichtung auf Dialoge. Auf ihm bauen R1 und R1-Zero auf.
Die Chat-Version vom Dezember 2024 mit Reasoning-Fähigkeiten, die per Destillation aus R1 übernommen wurden.
Das Update vom März 2025 mit gleicher Architektur, deutlich besserem Reasoning, besseren Webseiten-Entwürfen und zuverlässigerem Function Calling. Es steht unter der MIT-Lizenz.
Die DeepSeek-R1 Serie ergänzt eine Denkphase. DeepSeek-V3.1 vereint beide Ansätze in einem Modell mit zwei Modi.
| Benchmark | DeepSeek-V3 | Qwen2.5 72B Instruct | Llama 3.1 405B Instruct | Claude 3.5 Sonnet (1022) | GPT-4o (0513) |
|---|---|---|---|---|---|
| MMLU | 88,5 | 85,3 | 88,6 | 88,3 | 87,2 |
| MMLU-Pro | 75,9 | 71,6 | 73,3 | 78,0 | 72,6 |
| GPQA-Diamond | 59,1 | 49,0 | 51,1 | 65,0 | 49,9 |
| DROP (3-shot F1) | 91,6 | 76,7 | 88,7 | 88,3 | 83,7 |
| LongBench v2 | 48,7 | 39,4 | 36,1 | 41,0 | 48,1 |
| HumanEval-Mul | 82,6 | 77,3 | 77,2 | 81,7 | 80,5 |
| LiveCodeBench (Pass@1-COT) | 40,5 | 31,1 | 28,4 | 36,3 | 33,4 |
| SWE-bench Verified | 42,0 | 23,8 | 24,5 | 50,8 | 38,8 |
| Aider-Polyglot | 49,6 | 7,6 | 5,8 | 45,3 | 16,0 |
| AIME 2024 | 39,2 | 23,3 | 23,3 | 16,0 | 9,3 |
| MATH-500 | 90,2 | 80,0 | 73,8 | 78,3 | 74,6 |
| C-Eval | 86,5 | 86,1 | 61,5 | 76,7 | 76,0 |
Quelle: offizielles Repository zu DeepSeek-V3 (DeepSeek, Dezember 2024). Angaben in Prozent, Ausgabe auf 8.000 Token begrenzt. Das Update V3-0324 steigert laut DeepSeek unter anderem MMLU-Pro auf 81,2, GPQA auf 68,4 und AIME auf 59,4.
Das effizient trainierte Basismodell der R1-Serie, offen und kommerziell nutzbar. Wir prüfen mit Ihnen Nutzen, Auslegung und Betriebskosten.
DeepSeek-V3 wurde in drei Schritten trainiert. Das gesamte Training lief auf einem Cluster mit 2.048 H800-GPUs, brauchte rund 2,8 Millionen GPU-Stunden und kam laut DeepSeek ohne einen einzigen Einbruch aus, der einen Neustart erfordert hätte. Zwischen Vor- und Post-Training wurde das Kontextfenster in zwei Phasen auf 128.000 Token erweitert.
Trainiert auf 14,8 Billionen hochwertigen und diversen Token. Der Datensatz wurde mit einem höheren Anteil an Mathematik- und Programmierdaten sowie einer erweiterten mehrsprachigen Abdeckung angereichert.
DeepSeek-V3 eignet sich für Organisationen, die ein bewährtes offenes Modell ohne Denkphase selbst betreiben wollen. In einer KI-Beratung prüfen wir mit Ihnen, ob ein neueres DeepSeek-Modell besser passt.
Effizientes Training: Rund 2,8 Millionen H800-GPU-Stunden für ein Modell dieser Größe.
Stark in Mathematik und Code: Bei MATH-500 (90,2), AIME 2024 und Aider-Polyglot vor allen Vergleichsmodellen der Tabelle.
Stark bei langen Texten: Bester Wert der Tabelle bei LongBench v2 (48,7).
Stabile Trainingsdynamik: Das gesamte Vortraining lief ohne Einbrüche oder Neustarts.
Kommerziell nutzbar: V3 unter der DeepSeek-Modelllizenz, das Update V3-0324 unter MIT-Lizenz.
Hoher Hardware-Bedarf: DeepSeek selbst nennt die große Einheit für den Betrieb eine Hürde für kleinere Teams.
Kein Denkmodus: Für gründliches Reasoning eignen sich DeepSeek-R1 oder DeepSeek-V3.1.
Hinter Claude 3.5 Sonnet: Bei SWE-bench Verified (42,0 gegenüber 50,8) und GPQA-Diamond (59,1 gegenüber 65,0).
Durch Nachfolger abgelöst: Neuere DeepSeek-Modelle sind bei gleicher Größe deutlich stärker, über die DeepSeek-API ist V3 nicht mehr verfügbar.
Wir planen die Cluster-Auslegung für DeepSeek-V3, übernehmen Inbetriebnahme, Quantisierung und Betrieb und hosten das Modell auf Wunsch DSGVO-konform in unserem zertifizierten Rechenzentrum in Limburg an der Lahn.
DeepSeek veröffentlicht die Gewichte in FP8, zusammen rund 690 GB. Das passt auf einen Server mit acht H200, mit H100 sind zwei Server mit je acht GPUs nötig. Hinzu kommt Reserve für den KV-Cache, den Zwischenspeicher für bereits verarbeitete Teile einer Anfrage.
V3-0324 nutzt dieselbe Architektur, ist aber deutlich stärker beim Reasoning: MMLU-Pro steigt von 75,9 auf 81,2, GPQA von 59,1 auf 68,4. Zudem verbessert das Update Webseiten-Entwürfe und Function Calling und steht unter der MIT-Lizenz.
Ja. Die Gewichte von V3 stehen unter der DeepSeek-Modelllizenz, die kommerzielle Nutzung erlaubt. Das Update V3-0324 hat DeepSeek unter die MIT-Lizenz gestellt, der Code steht ebenfalls unter MIT.
R1 baut auf dem Basismodell von V3 auf und wurde per Reinforcement Learning auf gründliches Schlussfolgern trainiert. V3 antwortet direkt ohne Denkphase und ist dadurch schneller. Mehr dazu auf unserer Seite zur DeepSeek-R1 Serie.
Ja. Über unsere GPU Cloud stellen wir die nötige Rechenleistung bereit. Alternativ bündelt der MaaS Proxy verschiedene Modelle über eine einheitliche Schnittstelle. Beide Wege betreiben wir DSGVO-konform in Deutschland.
Möchten Sie individuell beraten werden?
Unsere KI-Experten sind für Sie da!
