Llama 3.3 70B ist ein Textmodell, das laut Meta an die Leistung von Llama 3.1 405B heranreicht, bei einem Bruchteil des Rechenaufwands. In einigen Tests liegt es sogar vorn, etwa bei MATH mit 77,0 gegenüber 73,8 und bei IFEval mit 92,1 gegenüber 88,6. Es unterstützt 131.072 Token Kontext, Funktionsaufrufe und acht Sprachen, darunter Deutsch.
Als dichtes Modell rechnen alle 70,6 Milliarden Parameter bei jedem Token mit. Da es nur Text verarbeitet, betrifft es die EU-Einschränkung der Nutzungsrichtlinie nicht, die nur für multimodale Modelle gilt. Neuere offene Modelle wie Llama 4 Maverick oder Qwen3.6, GLM-5.2 oder Metas Muse Glimmer sind allerdings deutlich stärker.
Llama 3.3 70B Instruct
Meta
Dezember 2024
Dichtes Modell, rein textbasiert
70,6 Mrd.
Transformer mit Grouped-Query Attention (64 Q-, 8 KV-Heads)
Byte-Level-BPE (tiktoken) mit 128.256 Token Vokabular
80
131.072 Token
Die einzige offen veröffentlichte Fassung von Llama 3.3, in BF16. Ein Basismodell gibt es nicht.
Llama 3.1 erschien in 8B, 70B und 405B. Llama 3.3 70B übertrifft 3.1 70B in fast allen Tests der Model Card.
Llama 4 Scout und Llama 4 Maverick sind multimodal und stärker, unterliegen aber einer Lizenzhürde für Unternehmen in der EU.
| Benchmark | Llama 3.3 70B | Llama 3.1 70B | Llama 3.1 405B | Llama 3.1 8B |
|---|---|---|---|---|
| MMLU (CoT) | 86,0 | 86,0 | 88,6 | 73,0 |
| MMLU Pro (CoT) | 68,9 | 66,4 | 73,3 | 48,3 |
| IFEval | 92,1 | 87,5 | 88,6 | 80,4 |
| GPQA Diamond (CoT) | 50,5 | 48,0 | 49,0 | 31,8 |
| HumanEval | 88,4 | 80,5 | 89,0 | 72,6 |
| MBPP EvalPlus | 87,6 | 86,0 | 88,6 | 72,8 |
| MATH (CoT) | 77,0 | 68,0 | 73,8 | 51,9 |
| BFCL v2 | 77,3 | 77,5 | 81,1 | 65,4 |
| MGSM | 91,1 | 86,9 | 91,6 | 68,9 |
Quelle: Model Card von Meta, Instruct-Modelle.
Llama 3.3 70B ist bewährt, aber nicht mehr aktuell. Wir prüfen mit Ihnen, ob es für Ihre Anwendung genügt oder ein neueres Modell besser passt.
Meta hat Llama 3.3 auf rund 15 Billionen Token öffentlich verfügbarer Daten vortrainiert. Der Wissensstand reicht bis Dezember 2023. Trainiert wurde auf H100-GPUs mit 7,0 Millionen GPU-Stunden.
Für das Feintuning kamen öffentliche Instruktionsdatensätze und mehr als 25 Millionen synthetisch erzeugte Beispiele zum Einsatz. Danach folgte Reinforcement Learning mit menschlichem Feedback (RLHF), bei dem das Modell aus Bewertungen seiner Antworten lernt.
Llama 3.3 70B eignet sich für bestehende Llama-Anwendungen und reine Textaufgaben. In einer KI-Beratung prüfen wir mit Ihnen, ob ein neueres Modell besser passt.
Stark für seine Größe: Bei MATH (77,0) und IFEval (92,1) vor Llama 3.1 405B.
Keine EU-Einschränkung: Die Klausel der Nutzungsrichtlinie gilt nur für multimodale Modelle, Llama 3.3 verarbeitet nur Text.
Deutsch offiziell unterstützt: Eine von acht offiziell unterstützten Sprachen, 91,1 bei MGSM.
Breit unterstützt: Läuft mit allen gängigen Inferenz-Programmen und ist bei großen Cloud-Anbietern verfügbar.
Alter Wissensstand: Das Wissen reicht nur bis Dezember 2023.
Von neueren Modellen überholt: Bei GPQA Diamond 50,5, Llama 4 Maverick kommt auf 69,8.
Nur Text: Keine Bildverarbeitung und kein Denkmodus für schrittweises Reasoning.
Schrumpfendes API-Angebot: Metas eigene Model API führt keine Llama-Modelle mehr, Groq hat Llama 3.3 70B im August 2026 für Free- und Developer-Tarife abgeschaltet.
Wir planen die Cluster-Auslegung für Llama 3.3 70B, übernehmen Inbetriebnahme, Quantisierung und Betrieb und hosten das Modell auf Wunsch DSGVO-konform in unserem zertifizierten Rechenzentrum in Limburg an der Lahn.
In BF16 umfassen die Gewichte rund 141 GB, dafür sind nach unserer Abschätzung zwei H200 oder vier H100 nötig. Mit FP8 passt es auf eine H200, mit 4-Bit-Quantisierung auf eine L40S mit 48 GB. Hinzu kommt Speicher für den Kontext.
Ja, unter der Llama 3.3 Community License. Sie verlangt den Hinweis „Built with Llama“, bei Weitergabe abgeleiteter Modelle „Llama“ am Anfang des Namens und für Anbieter mit mehr als 700 Millionen monatlich aktiven Nutzern zum Veröffentlichungstag eine eigene Lizenz von Meta.
Nein. Die Nutzungsrichtlinie enthält zwar eine Klausel für Unternehmen in der EU, sie betrifft aber nur multimodale Modelle. Llama 3.3 70B verarbeitet ausschließlich Text.
Ja. Über unsere GPU Cloud stellen wir die nötige Rechenleistung bereit. Alternativ bündelt der MaaS Proxy verschiedene Modelle über eine einheitliche Schnittstelle. Beide Wege betreiben wir DSGVO-konform in Deutschland.
Möchten Sie individuell beraten werden?
Unsere KI-Experten sind für Sie da!
