Llama 4 Scout ist das kleinere der beiden offenen Modelle aus Llama 4. Es verarbeitet Text und Bilder und bietet laut Meta ein Kontextfenster von bis zu 10 Millionen Token. Trainiert wurde es mit 256.000 Token, die längeren Kontexte erreicht Meta über eine besondere Anordnung der Attention-Schichten (iRoPE).
Scout ist ein Mixture-of-Experts-Modell (MoE) mit 109 Milliarden Parametern, von denen je verarbeitetem Textbaustein (Token) 17 Milliarden rechnen. Mit Int4-Quantisierung passt es laut Meta auf eine einzelne H100. Wichtig für Unternehmen in der EU: Die Nutzungsrichtlinie schränkt die Rechte an den multimodalen Llama-4-Modellen ein.
Llama 4 Scout 17B-16E (Base und Instruct)
Meta
April 2025
Llama 4 Community License mit Nutzungsrichtlinie, eingeschränkt für Unternehmen mit Hauptsitz in der EU
MoE, nativ multimodal (Text und Bild als Eingabe, Text als Ausgabe)
109 Mrd. total (17 Mrd. aktiv pro Token)
MoE in allen Schichten, Grouped-Query Attention (40 Q-, 8 KV-Heads), iRoPE mit jeder vierten Schicht ohne Positionskodierung
202.048 Token Vokabular
48
16 Experten, 1 aktiv je Token, 1 geteilter Experte
bis 10.000.000 Token laut Meta (trainiert mit 256.000 Token)
Das Chat-Modell für Anwendungen, nur in BF16 veröffentlicht. Int4 rechnet Metas Referenzcode beim Laden um.
Die Fassung vor dem Post-Training, gedacht für eigenes Feintuning.
Llama 4 Maverick ist mit 128 Experten deutlich stärker, braucht aber einen ganzen Server. Llama Guard 4 ist aus Scout abgeleitet und prüft Inhalte auf Sicherheit.
| Benchmark | Llama 4 Scout | Llama 4 Maverick | Llama 3.3 70B | Llama 3.1 405B |
|---|---|---|---|---|
| MMMU | 69,4 | 73,4 | nur Text | nur Text |
| MMMU Pro | 52,2 | 59,6 | nur Text | nur Text |
| MathVista | 70,7 | 73,7 | nur Text | nur Text |
| ChartQA | 88,8 | 90,0 | nur Text | nur Text |
| DocVQA (test) | 94,4 | 94,4 | nur Text | nur Text |
| LiveCodeBench (10/2024 bis 02/2025) | 32,8 | 43,4 | 33,3 | 27,7 |
| MMLU Pro | 74,3 | 80,5 | 68,9 | 73,4 |
| GPQA Diamond | 57,2 | 69,8 | 50,5 | 49,0 |
| MGSM | 90,6 | 92,3 | 91,1 | 91,6 |
Quelle: Model Card von Meta, Instruct-Modelle in BF16. MMMU Pro ist der Mittelwert aus Standard- und Vision-Aufgaben. Llama 3.3 70B und Llama 3.1 405B verarbeiten keine Bilder.
Der Kontext von bis zu 10 Millionen Token klingt groß, braucht in der Praxis aber viel Grafikspeicher. Wir prüfen mit Ihnen, was realistisch ist.
Laut Meta umfasst der Datenmix für das Vortraining mehr als 30 Billionen Token aus Text, Bildern und Videos in 200 Sprachen, davon über 100 Sprachen mit jeweils mehr als einer Milliarde Token. Laut Model Card sah Scout rund 40 Billionen Token, bei 5 Millionen GPU-Stunden auf H100. Der Wissensstand reicht bis August 2024. Wichtige Einstellungen wie die Lernrate legte Meta mit einem eigenen Verfahren namens MetaP fest.
Das Post-Training lief in drei Stufen: ein leichtes Feintuning mit Beispielantworten, dann Reinforcement Learning, bei dem das Modell aus Bewertungen seiner eigenen Antworten lernt, und zum Schluss eine leichte Präferenzoptimierung (DPO).
Llama 4 Scout eignet sich für lange Dokumente mit Bildern. In einer KI-Beratung prüfen wir mit Ihnen Lizenzlage, Kontextbedarf und Hardware.
Sehr langer Kontext: Laut Meta bis zu 10 Millionen Token, mehr als jedes andere Llama-Modell.
Gute Bild- und Dokumentanalyse: 94,4 bei DocVQA und 88,8 bei ChartQA.
Stärker als Llama 3.3 70B: 74,3 bei MMLU Pro und 57,2 bei GPQA Diamond, Llama 3.3 70B kommt auf 68,9 und 50,5.
Genügsam für ein MoE: Mit Int4 laut Meta auf einer H100 lauffähig.
Lizenzhürde in der EU: Die Nutzungsrichtlinie von Llama 4 gewährt Unternehmen mit Hauptsitz in der EU keine Rechte an den multimodalen Modellen. Ausgenommen sind nur Endnutzer eines Produkts, das die Modelle enthält.
10 Mio. Token brauchen viel Hardware: Trainiert wurde mit 256.000 Token. Laut vLLM reichen acht H100 für rund 1 Million Token, für 10 Millionen sind mehrere Server nötig.
Schwach beim Coding: Bei LiveCodeBench mit 32,8 hinter Maverick (43,4) und knapp hinter Llama 3.3 70B.
Keine Weiterentwicklung: Seit April 2025 hat Meta keine neuen Llama-Gewichte veröffentlicht. Das Spitzenmodell Muse Spark ist nicht offen, als offenes Meta-Modell erschien im August 2026 Muse Glimmer mit 30 Milliarden Parametern.
Wir prüfen mit Ihnen, ob Llama 4 Scout für Ihr Vorhaben in Frage kommt, und zeigen offene Modelle ohne Lizenzhürde für Unternehmen in der EU. Den Betrieb übernehmen wir auf Wunsch DSGVO-konform in unserem zertifizierten Rechenzentrum in Limburg an der Lahn.
Meta nennt bis zu 10 Millionen Token, trainiert wurde mit 256.000 Token. Der Zwischenspeicher für den Kontext (KV-Cache) wächst mit jeder Anfrage. Laut vLLM schaffen acht H100 rund 1 Million Token, acht H200 rund 3,6 Millionen.
Mit Int4-Quantisierung laut Meta auf einer H100. In BF16 umfassen die Gewichte rund 217 GB, dafür sind nach unserer Abschätzung vier H100 oder zwei H200 nötig.
Die Nutzungsrichtlinie von Llama 4 schließt Personen mit Wohnsitz und Unternehmen mit Hauptsitz in der EU von den Rechten an multimodalen Llama-4-Modellen aus. Llama 4 Scout verarbeitet Text und Bilder und fällt damit unter diese Regel. Nicht betroffen sind Endnutzer eines Produkts oder Dienstes, der die Modelle enthält. Lassen Sie Ihr Vorhaben vor dem Einsatz rechtlich prüfen. Offene Alternativen ohne diese Einschränkung sind etwa Qwen3.6, GLM-5.2 oder Metas Muse Glimmer.
Ja, etwa bei Amazon Bedrock, dort aber nur in US-Regionen. Metas eigene Model API führt keine Llama-Modelle mehr.
Ja. Über unsere GPU Cloud stellen wir die nötige Rechenleistung bereit. Alternativ bündelt der MaaS Proxy verschiedene Modelle über eine einheitliche Schnittstelle. Beide Wege betreiben wir DSGVO-konform in Deutschland.
Möchten Sie individuell beraten werden?
Unsere KI-Experten sind für Sie da!
