MetaPatchAI home
IA

NVIDIA Nemotron 3.5 Transcribe : un modèle vocal ouvert qui transcrit 40 langues et indique qui a dit quoi

Source : NVIDIA

Compilé par MetaPatchAI · Publié , 5 h 05 ET

NVIDIA Nemotron 3.5 Transcribe: An Open Speech Model That Transcribes 40 Languages and Labels Who Said What

30 octobre 2026 : NVIDIA a publié Nemotron 3.5 Transcribe le mercredi 28 octobre, un modèle vocal à poids ouverts qui réunit transcription, identification des locuteurs, traduction et questions-réponses sur l'audio dans un seul checkpoint. Il est disponible sur Hugging Face et ModelScope, avec un pipeline de données ouvert baptisé Granary v2.

Ce qu'il fait

D'après l'annonce de NVIDIA sur le blog Hugging Face, Nemotron 3.5 Transcribe :

  • Transcrit 40 langues, en traduit 31 vers ou depuis l'anglais, et attribue les locuteurs dans 13.
  • Accepte des prompts en langage naturel, si bien qu'un même enregistrement peut produire différents résultats : « transcris et identifie chaque locuteur », une traduction, ou une transcription qui orthographie correctement les termes spécialisés quand vous les listez dans le prompt.
  • Prend en charge les horodatages au niveau du mot.
  • Est conçu pour l'audio enregistré, pas le streaming en direct.

NVIDIA indique qu'il peut déjà être servi avec vLLM, avec des versions quantifiées et un déploiement local via NeMo-Speech.cpp.

Les chiffres annoncés par NVIDIA

Ce sont les propres chiffres de NVIDIA, tirés de son billet :

  • Hugging Face Open ASR Leaderboard (anglais) : premier des modèles à poids ouverts avec un taux d'erreur sur les mots (WER) moyen de 5,33 %. Multilingue : WER moyen de 4,62 % sur sept langues. Format long : 10,98 %.
  • Artificial Analysis : premier ex aequo parmi les modèles à poids ouverts avec 2,8 % d'AA-WER, avec environ 4B de paramètres actifs contre 24B pour le modèle à égalité.
  • Attribution des locuteurs : taux d'erreur de diarisation de 18,26 % sur 21 langues dans le classement de David AI, le plus bas des 14 systèmes testés, et 32,4 % de cpWER sur le benchmark anglais à 14 systèmes de VoiceArena.
  • Vitesse : 100 heures d'audio en moins de trois minutes sur un GPU RTX PRO 6000 Blackwell Server Edition, avec une future version quantifiée NVFP4, mesuré sur des extraits de 30 secondes à forte concurrence.

Ce que cela change pour les créateurs et les joueurs

Pour les streamers, YouTubers et community managers, un modèle ouvert qui sous-titre l'audio enregistré et identifie les locuteurs en une seule passe est directement utile : sous-titres pour les VOD et les clips, transcriptions consultables de podcasts ou d'enregistrements Discord, et sous-titres multilingues. Comme les poids sont ouverts, il peut tourner sur votre propre matériel au lieu d'une API payante. Le conseil de NVIDIA s'applique : vérifiez les noms, les changements de locuteur et les réponses en les comparant à l'enregistrement.

Ce n'est pas un outil de sous-titrage en direct. NVIDIA indique qu'il vise l'audio enregistré, donc les sous-titres de stream en temps réel sont hors champ pour l'instant.

Granary v2

NVIDIA a aussi publié Granary v2, le pipeline multilingue de données et de curation utilisé pour l'entraînement, avec des recettes de fine-tuning NeMo Speech. Dans une étude de cas médicale, NVIDIA affirme que le fine-tuning a réduit de 45,8 % le taux d'erreur sur les mots pour des locuteurs non vus. Pour le jeu de données VoxPopuli, son filtre haute fidélité a réduit 354 000 heures à 111 000 heures dans 22 langues européennes.

Ce qui est confirmé / ce qui ne l'est pas

Confirmé (NVIDIA, 28 octobre 2026) : - Publication à poids ouverts sur Hugging Face et ModelScope ; données et pipeline Granary v2 publiés. - Couverture linguistique (40 / 31 / 13) et classements listés ci-dessus, selon NVIDIA.

Non confirmé : - Une reproduction indépendante du chiffre de vitesse, obtenu avec une version quantifiée que NVIDIA dit « à venir ». - Les conditions exactes de licence et la mémoire GPU grand public nécessaire (non abordées dans le billet ; voir la fiche du modèle).

Sources

À lire aussi

Voir aussi : IA