Qwen3-Omni-30B-A3B ist ein nativ multimodales Modell, das Text, Bilder, Audio und Video versteht und in Text oder gesprochener Sprache antwortet. Laut Qwen-Team erreicht es in 22 von 36 Audio- und Video-Benchmarks Bestwerte und liegt bei Spracherkennung und Sprachdialogen auf dem Niveau von Gemini 2.5 Pro.
Das Modell teilt sich in einen Thinker, der versteht und antwortet, und einen Talker, der die Antwort als Sprache ausgibt. Beide sind Mixture-of-Experts-Modelle (MoE), der Thinker nutzt von 30 Milliarden Parametern je Token nur 3 Milliarden. Sprache versteht das Modell in 19 Sprachen und spricht in 10, darunter Deutsch. Es steht unter der Lizenz Apache 2.0.
Qwen3-Omni-30B-A3B (Instruct, Thinking und Captioner)
Alibaba (Qwen-Team)
September 2025
Apache 2.0
MoE, nativ multimodal: Text, Bild, Audio und Video als Eingabe, Text und Sprache als Ausgabe
30 Mrd. total (3 Mrd. aktiv pro Token) im Thinker, dazu Talker, Audio- und Bild-Encoder
Thinker-Talker-Architektur aus zwei MoE-Modellen, Audio-Encoder AuT, Bild-Encoder SigLIP2
65.536 Token laut Modellkonfiguration, Audio bis rund 40 Minuten je Anfrage
Thinker und Talker zusammen: versteht alle Modalitäten und antwortet in Text oder Sprache.
Nur der Thinker mit Denkphase für komplexe Aufgaben, Ausgabe als Text.
Aus der Instruct-Version feinabgestimmt, erzeugt detaillierte Beschreibungen beliebiger Audioaufnahmen mit wenigen Halluzinationen.
| Benchmark | Qwen3-Omni-30B-A3B-Instruct | Seed-ASR | GPT-4o-Transcribe | Gemini-2.5-Pro | Qwen2.5-Omni |
|---|---|---|---|---|---|
| Wenetspeech net | 4,69 | 4,66 | 15,30 | 14,43 | 5,91 |
| Wenetspeech meeting | 5,89 | 5,69 | 32,27 | 13,47 | 7,65 |
| Librispeech clean | 1,22 | 1,58 | 1,39 | 2,89 | 1,74 |
| Librispeech other | 2,48 | 2,84 | 3,75 | 3,56 | 3,45 |
| Opencpop-test | 1,54 | 2,98 | 7,93 | 6,49 | 2,84 |
Quelle: offizielles Repository zu Qwen3-Omni (Qwen-Team, September 2025). Spracherkennung als Wortfehlerrate in Prozent, niedriger ist besser.
| Benchmark | Qwen3-Omni-30B-A3B-Instruct | Qwen3-Omni-30B-A3B-Thinking | GPT-4o-Audio | Gemini-2.5-Flash | Gemini-2.5-Pro |
|---|---|---|---|---|---|
| VoiceBench | 85,5 | 88,8 | 86,8 | 83,4 | 89,6 |
| MMAU v05.15.25 | 77,5 | 75,4 | 62,5 | 71,8 | 77,4 |
| MMSU | 69,0 | 70,2 | 56,4 | 70,2 | 77,7 |
Quelle: offizielles Repository zu Qwen3-Omni (Qwen-Team, September 2025). Sprachdialog und Audioverständnis in Prozent, höher ist besser.
Offenes Omni-Modell für Text, Bild, Audio und Video mit Sprachausgabe. Wir prüfen mit Ihnen Nutzen, Auslegung und Betriebskosten.
Der Audio-Encoder AuT wurde von Grund auf mit 20 Millionen Stunden überwachter Audiodaten trainiert. Das allgemeine Vortraining des Gesamtmodells umfasste rund 2 Billionen Token aus Text, Bild, Audio und Video.
Laut Technical Report verliert das Modell durch das gemeinsame Training keine Leistung bei Text und Bild gegenüber gleich großen Einzelmodellen der Qwen-Reihe.
Qwen3-Omni-30B-A3B eignet sich für Sprach- und Videoanwendungen, die ohne externe Dienste auskommen sollen. In einer KI-Beratung prüfen wir mit Ihnen Anwendungsfall und Hardware.
Alle Modalitäten in einem Modell: Text, Bild, Audio und Video ohne getrennte Spezialmodelle.
Starke Spracherkennung: Bei Librispeech und Opencpop niedrigere Fehlerraten als Seed-ASR, GPT-4o-Transcribe und Gemini 2.5 Pro.
Stark beim Audioverständnis: 77,5 bei MMAU, knapp vor Gemini 2.5 Pro.
Echtzeit-Sprachausgabe: Geringe Latenz für Sprachassistenten.
Kommerziell frei nutzbar: Apache 2.0 ohne Umsatzgrenzen.
Hinter Gemini 2.5 Pro bei Sprachdialogen: Bei VoiceBench und MMSU liegt Gemini 2.5 Pro vorn.
Hoher Speicherbedarf bei Video: Bei zwei Minuten Video rund 145 GB für die Instruct-Version.
Kürzerer Kontext: 65.536 Token laut Modellkonfiguration, deutlich weniger als bei aktuellen Textmodellen.
Aufwendiger Betrieb: Für gute Geschwindigkeit ist vLLM nötig, Transformers ist bei MoE sehr langsam.
Wir planen die Cluster-Auslegung für Qwen3-Omni-30B-A3B, übernehmen Inbetriebnahme, Quantisierung und Betrieb und hosten das Modell auf Wunsch DSGVO-konform in unserem zertifizierten Rechenzentrum in Limburg an der Lahn.
Als Text versteht das Modell 119 Sprachen. Gesprochene Sprache erkennt es in 19 Sprachen, darunter Deutsch, und als Sprachausgabe stehen 10 Sprachen zur Verfügung, ebenfalls einschließlich Deutsch.
Laut Qwen-Team braucht die Instruct-Version in BF16 mindestens rund 79 GB bei 15 Sekunden Video und rund 145 GB bei zwei Minuten Video. Die Thinking-Version braucht etwas weniger, weil der Talker fehlt.
Der Thinker versteht alle Eingaben und formuliert die Antwort als Text. Der Talker wandelt diese Antwort in gesprochene Sprache um. Wird keine Sprachausgabe gebraucht, lässt sich der Talker abschalten.
Ja. Das Qwen-Team von Alibaba veröffentlicht die Gewichte unter der Lizenz Apache 2.0. Sie dürfen das Modell ohne Umsatzgrenzen kommerziell einsetzen, anpassen und weitergeben.
Ja. Über unsere GPU Cloud stellen wir die nötige Rechenleistung bereit. Alternativ bündelt der MaaS Proxy verschiedene Modelle über eine einheitliche Schnittstelle. Beide Wege betreiben wir DSGVO-konform in Deutschland.
Möchten Sie individuell beraten werden?
Unsere KI-Experten sind für Sie da!
