NVIDIA Nemotron 3.5 Transcribe: offenes Sprachmodell transkribiert 40 Sprachen und erkennt, wer was gesagt hat
Quelle: NVIDIA
30. Oktober 2026: NVIDIA hat am Mittwoch, dem 28. Oktober, Nemotron 3.5 Transcribe veröffentlicht, ein Open-Weight-Sprachmodell, das Transkription, Sprecherzuordnung, Übersetzung und Fragen zu Audio in einem einzigen Checkpoint vereint. Es ist auf Hugging Face und ModelScope verfügbar, zusammen mit einer offenen Datenpipeline namens Granary v2.
Was es kann
Laut NVIDIAs Ankündigung im Hugging-Face-Blog kann Nemotron 3.5 Transcribe:
- 40 Sprachen transkribieren, 31 davon übersetzen (ins oder aus dem Englischen) und Sprecher in 13 zuordnen.
- Es versteht Prompts in natürlicher Sprache, sodass eine Aufnahme unterschiedliche Ergebnisse liefern kann: „transkribieren und jeden Sprecher kennzeichnen“, eine Übersetzung oder ein Transkript, das Fachbegriffe richtig schreibt, wenn du sie im Prompt auflistest.
- Es unterstützt Zeitstempel auf Wortebene.
- Es ist gedacht für aufgezeichnetes Audio, nicht für Livestreams.
Laut NVIDIA lässt es sich schon heute mit vLLM bereitstellen, mit quantisierten Versionen und lokalem Einsatz über NeMo-Speech.cpp.
Die Zahlen, die NVIDIA nennt
Dies sind NVIDIAs eigene Angaben aus dem Beitrag:
- Hugging Face Open ASR Leaderboard (Englisch): Platz eins unter den Open-Weight-Modellen mit 5,33 % durchschnittlicher Wortfehlerrate (WER). Mehrsprachig: 4,62 % mittlere WER über sieben Sprachen. Langform: 10,98 %.
- Artificial Analysis: geteilter erster Platz unter den Open-Weight-Modellen mit 2,8 % AA-WER, bei rund 4B aktiven Parametern gegenüber 24B beim gleichauf liegenden Modell.
- Sprecherzuordnung: 18,26 % Diarisierungsfehlerrate über 21 Sprachen im Leaderboard von David AI, der niedrigste Wert unter 14 getesteten Systemen, und 32,4 % cpWER im englischen Benchmark von VoiceArena mit 14 Systemen.
- Geschwindigkeit: 100 Stunden Audio in unter drei Minuten auf einer RTX PRO 6000 Blackwell Server Edition GPU, mit einer kommenden NVFP4-quantisierten Version, gemessen an 30-Sekunden-Clips bei hoher Parallelität.
Was das für Creator und Gamer bedeutet
Für Streamer, YouTuber und Community-Manager ist ein offenes Modell, das aufgezeichnetes Audio in einem Durchgang untertitelt und Sprecher markiert, direkt nützlich: Untertitel für VODs und Clips, durchsuchbare Transkripte von Podcasts oder Discord-Aufnahmen und mehrsprachige Untertitel. Da die Gewichte offen sind, läuft es auf deiner eigenen Hardware statt über eine kostenpflichtige API. NVIDIAs eigener Rat gilt: Namen, Sprecherwechsel und Antworten stichprobenartig mit der Aufnahme abgleichen.
Ein Live-Untertitelungstool ist es nicht. Laut NVIDIA zielt es auf aufgezeichnetes Audio, Echtzeit-Untertitel für Streams sind also vorerst außen vor.
Granary v2
NVIDIA hat außerdem Granary v2 veröffentlicht, die im Training genutzte mehrsprachige Daten- und Kuratierungspipeline, samt Fine-Tuning-Rezepten für NeMo Speech. In einer medizinischen Fallstudie senkte Fine-Tuning laut NVIDIA die Wortfehlerrate bei ungesehenen Sprechern um 45,8 %. Beim Datensatz VoxPopuli reduzierte der High-Fidelity-Filter 354.000 Stunden auf 111.000 Stunden in 22 europäischen Sprachen.
Was bestätigt ist / was nicht
Bestätigt (NVIDIA, 28. Oktober 2026): - Open-Weight-Release auf Hugging Face und ModelScope; Daten und Pipeline von Granary v2 veröffentlicht. - Sprachabdeckung (40 / 31 / 13) und die oben genannten Leaderboard-Platzierungen, laut NVIDIA.
Nicht bestätigt: - Unabhängige Bestätigung des Geschwindigkeitswerts, der mit einer von NVIDIA als „kommend“ bezeichneten quantisierten Version ermittelt wurde. - Genaue Lizenzbedingungen und der nötige Speicher auf Consumer-GPUs (nicht im Beitrag; siehe Model Card).
Quellen
- Offiziell: NVIDIA, „NVIDIA Nemotron 3.5 Transcribe and Granary v2: Intelligent Multilingual Transcription You Can Prompt and Adapt“, Hugging-Face-Blog (28. Oktober 2026): https://huggingface.co/blog/nvidia/nemotron-transcribe-granary
Ähnliche Artikel
Nach oben: KI