Kimi K3

Offenes MoE mit 2,8 Billionen Parametern, einer Million Token Kontext und nativer Bild- und Videoverarbeitung

2,8 Billionen Parameter, nativ multimodal

Das Kimi K3 Modell im Überblick

Kimi K3 ist das größte offene Modell von Moonshot AI und auf lange Coding-Aufgaben und agentische Wissensarbeit ausgelegt. Es versteht Text, Bilder und Videos und verarbeitet bis zu eine Million Token in einer Anfrage. In den Benchmarks von Moonshot liegt es bei sehr langen Aufgaben wie SWE-Marathon und AutomationBench vorn, insgesamt sieht Moonshot K3 aber noch hinter Claude Fable 5 und GPT-5.6 Sol.

Technisch ist K3 ein Mixture-of-Experts-Modell (MoE) aus 896 spezialisierten Teilnetzen, von denen je verarbeitetem Textbaustein (Token) 16 rechnen. So sind von 2,8 Billionen Parametern nur 104 Milliarden aktiv. Die meisten Schichten nutzen eine lineare Attention, deren Aufwand bei langen Texten nur linear wächst. Die Gewichte sind offen, die Lizenz enthält aber Auflagen für große Anbieter.

Name:

Kimi K3

Entwickler:

Moonshot AI

Veröffentlichung:

Juli 2026

Lizenz:

Kimi K3 License (MIT-basiert): Lizenznehmer, die Model-as-a-Service anbieten und samt verbundener Unternehmen mehr als 20 Mio. US-Dollar Umsatz in zwölf Monaten erzielen, brauchen für die kommerzielle Nutzung eine eigene Vereinbarung mit Moonshot AI. Produkte mit mehr als 100 Mio. monatlich aktiven Nutzern oder 20 Mio. US-Dollar Monatsumsatz müssen „Kimi K3“ sichtbar anzeigen. Interne Nutzung ist von beiden Auflagen ausgenommen.

Modelltyp:

Sparse MoE, nativ multimodal (Text, Bild, Video), Reasoning durchgehend aktiv

Parameter:

2,8 Bio. total (104 Mrd. aktiv pro Token), dazu Vision-Encoder MoonViT-V2 mit 401 Mio.

Architektur:

MoE mit 69 Schichten Kimi Delta Attention (lineare Attention) und 24 Schichten Gated MLA, Stable LatentMoE

Schichten:

93 (69 Kimi Delta Attention, 24 Gated MLA)

Experten (MoE):

896 Experten, 16 aktiv je Token, 2 geteilte Experten

Kontextlänge:

1.048.576 Token

Variationen von Kimi K3

Kimi K3

Moonshot veröffentlicht einen einzigen Checkpoint. Die Experten liegen nativ im Zahlenformat MXFP4 vor, das Modell wurde von Beginn des Post-Trainings an darauf trainiert. Die Gewichte folgten am 27. Juli 2026, gut eine Woche nach der Vorstellung.

Vorgänger

Kimi K2.7 Code und Kimi K2.6 basieren noch auf der K2-Architektur mit einer Billion Parametern und 256.000 Token Kontext. Sie brauchen deutlich weniger Hardware.

Spezialitäten von Kimi K3

Lineare Attention

Kimi Delta Attention in 69 von 93 Schichten macht eine Million Token Kontext effizient.

Lange Coding-Aufgaben

Bester Wert der Tabelle bei SWE-Marathon, stark bei Terminal-Bench 2.1 und ProgramBench.

Nativ multimodal

Von Beginn an gemeinsam auf Text, Bildern und Videos trainiert.

Drei Denkstufen

Die Stufen low, high und max steuern, wie gründlich das Modell nachdenkt.

Benchmarks & Leistung

Individuelle KI-Beratung

Ist Kimi K3 das passende Modell für Sie?

Offenes Modell mit 2,8 Billionen Parametern und einer Million Token Kontext, aber mit sehr hohem Hardware-Bedarf. Wir prüfen mit Ihnen Nutzen, Auslegung und Lizenzfragen.

Die Post-Training Pipeline für Kimi K3

Trainingsdaten & Trainingsprozess

Kimi K3 wurde von Beginn an gemeinsam auf Text, Bildern und Videos trainiert, der Vision-Encoder MoonViT-V2 entstand dabei neu. Das Kontextfenster wuchs im Vortraining von 8.000 auf 64.000 Token und in der Abschlussphase auf eine Million Token. Als Optimierer dient eine Variante von Muon, die die Stabilisierung aus Kimi K2 übernimmt. Eine Menge der Trainingsdaten nennt Moonshot nicht.

Im Post-Training entstanden neun Expertenmodelle für allgemeine Aufgaben, Agenten und Coding-Agenten, jeweils in drei Denkstufen. Per Reinforcement Learning lernten sie aus Bewertungen ihrer eigenen Lösungen und wurden anschließend per Distillation zu einem Modell zusammengeführt.

Hardware & Deployment

  • Unterstützte Inferenz-Software: vLLM (laut vLLM ab 0.29.0), SGLang und TokenSpeed
  • Experten in MXFP4, Aktivierungen in MXFP8, Gewichte zusammen rund 1,56 TB
  • Denkphase immer aktiv, Stufen low, high und max (Standard max)
  • Der vollständige Denkverlauf muss bei mehrstufigen Anfragen zurückgegeben werden
  • Empfohlen: temperature 1.0, top_p 0.95

Empfohlene Hardware-Spezifikation

  • Moonshot AI empfiehlt Supernode-Konfigurationen mit 64 oder mehr Beschleunigern
  • Laut vLLM mindestens acht NVIDIA GB300 oder acht AMD MI355X
  • Ohne eigene Hardware: Betrieb in unserer GPU Cloud, DSGVO-konform in Deutschland
Anwendungsfälle

Empfohlene Anwendungsfälle für Kimi K3

Kimi K3 eignet sich für Organisationen, die ein sehr leistungsfähiges offenes Modell auf großer Infrastruktur betreiben wollen. In einer KI-Beratung prüfen wir mit Ihnen Aufwand, Lizenzbedingungen und Alternativen wie Kimi K2.7 Code.

Lange Coding-Aufgaben
Mehrstündige Entwicklungsarbeit bis hin zu Kernels, Compilern und Chip-Design.
Agentische Wissensarbeit
Recherche mit Auswertungen, Dashboards und Visualisierungen.
Dokumente und Tabellen
Büroaufgaben rund um Tabellen und Berichte, bei SpreadsheetBench 2 knapp vor allen Vergleichsmodellen.
Bild und Video
Analyse visueller Inhalte, etwa Dokumentseiten, Diagramme und Videos.
Automatisierung
Geschäftsprozesse mit vielen Werkzeugaufrufen über lange Abläufe.
Moonshot AI
Kimi K3

Stärken & Schwächen von Kimi K3

Ihre Kimi K3 Lösung

Kimi K3 im eigenen Rechenzentrum betreiben

Wir planen die Cluster-Auslegung für Kimi K3, übernehmen Inbetriebnahme, Quantisierung und Betrieb und hosten das Modell auf Wunsch DSGVO-konform in unserem zertifizierten Rechenzentrum in Limburg an der Lahn.

FAQ - Häufige Fragen

Wissenswertes zu Kimi K3

Die Gewichte umfassen rund 1,56 TB. Moonshot AI empfiehlt Supernode-Konfigurationen mit 64 oder mehr Beschleunigern, laut vLLM sind mindestens acht GPUs vom Typ GB300 oder MI355X nötig. Kimi K3 ist damit nur für große Rechenzentren realistisch.

Grundsätzlich ja. Die Kimi K3 License enthält aber zwei Auflagen: Lizenznehmer, die Model-as-a-Service anbieten und samt verbundener Unternehmen mehr als 20 Millionen US-Dollar Umsatz in zwölf Monaten erzielen, brauchen eine eigene Vereinbarung mit Moonshot AI. Sehr große Produkte müssen „Kimi K3“ sichtbar anzeigen. Für die rein interne Nutzung und die Nutzung über offizielle Produkte und zertifizierte Partner von Moonshot gelten diese Auflagen nicht.

K3 ist fast dreimal so groß, verarbeitet eine Million statt 256.000 Token und nutzt in den meisten Schichten eine lineare Attention. Zudem wurde es von Beginn an auf Bildern und Videos trainiert.

Die Denkphase ist immer aktiv. Über die Stufen low, high und max legen Sie fest, wie gründlich das Modell nachdenkt. Bei mehrstufigen Abläufen muss der vollständige Denkverlauf zurückgegeben werden.

Ja. Über unsere GPU Cloud stellen wir die nötige Rechenleistung bereit. Alternativ bündelt der MaaS Proxy verschiedene Modelle über eine einheitliche Schnittstelle. Beide Wege betreiben wir DSGVO-konform in Deutschland.

Möchten Sie individuell beraten werden?

Unsere KI-Experten sind für Sie da!