MetaPatchAI home
IA

NVIDIA Nemotron 3.5 Transcribe: un modelo de voz abierto que transcribe 40 idiomas e identifica quién dijo qué

Fuente: NVIDIA

Recopilado por MetaPatchAI · Publicado , 5:05 ET

NVIDIA Nemotron 3.5 Transcribe: An Open Speech Model That Transcribes 40 Languages and Labels Who Said What

30 de octubre de 2026: NVIDIA lanzó Nemotron 3.5 Transcribe el miércoles 28 de octubre, un modelo de voz de pesos abiertos que combina transcripción, etiquetas de hablante, traducción y respuesta a preguntas sobre audio en un solo checkpoint. Está disponible en Hugging Face y ModelScope, junto con un pipeline de datos abierto llamado Granary v2.

Qué hace

Según el anuncio de NVIDIA en el blog de Hugging Face, Nemotron 3.5 Transcribe:

  • Transcribe 40 idiomas, traduce 31 de ellos hacia o desde el inglés, y atribuye hablantes en 13.
  • Acepta prompts en lenguaje natural, así que una misma grabación puede dar distintos resultados: "transcribe y etiqueta a cada hablante", una traducción o una transcripción que escribe bien los términos especializados si los enumeras en el prompt.
  • Admite marcas de tiempo por palabra.
  • Está pensado para audio grabado, no transmisión en vivo.

NVIDIA dice que ya se puede servir con vLLM, con versiones cuantizadas y despliegue local mediante NeMo-Speech.cpp.

Las cifras que reporta NVIDIA

Estas son cifras propias de NVIDIA, tomadas de su publicación:

  • Hugging Face Open ASR Leaderboard (inglés): primero entre los modelos de pesos abiertos con una tasa de error de palabras (WER) promedio de 5.33%. Multilingüe: WER medio de 4.62% en siete idiomas. Formato largo: 10.98%.
  • Artificial Analysis: empatado en primer lugar entre los modelos de pesos abiertos con 2.8% de AA-WER, con unos 4B de parámetros activos frente a 24B del modelo con el que empata.
  • Atribución de hablantes: tasa de error de diarización de 18.26% en 21 idiomas en el leaderboard de David AI, la más baja de 14 sistemas probados, y 32.4% de cpWER en el benchmark en inglés de 14 sistemas de VoiceArena.
  • Velocidad: 100 horas de audio en menos de tres minutos en una GPU RTX PRO 6000 Blackwell Server Edition, con una próxima versión cuantizada NVFP4, medido en clips de 30 segundos con alta concurrencia.

Qué significa para creadores y jugadores

Para streamers, YouTubers y community managers, un modelo abierto que subtitula audio grabado y etiqueta hablantes en una sola pasada es útil de inmediato: subtítulos para VODs y clips, transcripciones con búsqueda de pódcasts o grabaciones de Discord, y subtítulos en varios idiomas. Como los pesos son abiertos, puede correr en tu propio hardware en lugar de una API de pago. Aplica el propio consejo de NVIDIA: verifica nombres, cambios de hablante y respuestas contra la grabación.

No es una herramienta de subtítulos en vivo. NVIDIA dice que apunta a audio grabado, así que los subtítulos de transmisiones en tiempo real quedan fuera por ahora.

Granary v2

NVIDIA también lanzó Granary v2, el pipeline multilingüe de datos y curación usado en el entrenamiento, con recetas de ajuste fino de NeMo Speech. En un caso de estudio médico, NVIDIA dice que el ajuste fino redujo 45.8% la tasa de error de palabras en hablantes no vistos. Para el conjunto de datos VoxPopuli, su filtro de alta fidelidad redujo 354,000 horas a 111,000 horas en 22 idiomas europeos.

Qué está confirmado / qué no

Confirmado (NVIDIA, 28 de octubre de 2026): - Lanzamiento de pesos abiertos en Hugging Face y ModelScope; datos y pipeline de Granary v2 publicados. - Cobertura de idiomas (40 / 31 / 13) y las posiciones en leaderboards indicadas arriba, según NVIDIA.

No confirmado: - Replicación independiente de la cifra de velocidad, que usó una versión cuantizada que NVIDIA llama "próxima". - Términos exactos de la licencia y la memoria de GPU de consumo necesaria (no se cubren en la publicación; revisa la tarjeta del modelo).

Fuentes

Relacionados

Subir: IA