ИИ

NVIDIA Nemotron 3.5 Transcribe: открытая речевая модель, которая расшифровывает 40 языков и показывает, кто что сказал

Источник: NVIDIA

Подготовлено MetaPatchAI · Опубликовано 30 октября 2026 г., 05:05 ET

NVIDIA Nemotron 3.5 Transcribe: An Open Speech Model That Transcribes 40 Languages and Labels Who Said What

30 октября 2026 г.: в среду, 28 октября, NVIDIA выпустила Nemotron 3.5 Transcribe — речевую модель с открытыми весами, которая объединяет расшифровку, метки спикеров, перевод и ответы на вопросы по аудио в одном чекпоинте. Она доступна на Hugging Face и ModelScope вместе с открытым конвейером данных Granary v2.

Что она умеет

Согласно анонсу NVIDIA в блоге Hugging Face, Nemotron 3.5 Transcribe:

Расшифровывает 40 языков, переводит 31 из них на английский или с английского и определяет спикеров на 13.
Принимает запросы на естественном языке, поэтому из одной записи можно получить разные результаты: «расшифруй и отметь каждого спикера», перевод или расшифровку, где специальные термины написаны правильно, если перечислить их в запросе.
Поддерживает временные метки для каждого слова.
Создана для записанного аудио, а не живых трансляций.

NVIDIA сообщает, что модель уже можно запускать через vLLM, а также в квантованных версиях и локально через NeMo-Speech.cpp.

Цифры, которые приводит NVIDIA

Это собственные данные NVIDIA из её публикации:

Hugging Face Open ASR Leaderboard (английский): первое место среди моделей с открытыми весами со средним уровнем ошибок по словам (WER) 5,33%. Многоязычный режим: средний WER 4,62% по семи языкам. Длинные записи: 10,98%.
Artificial Analysis: делит первое место среди моделей с открытыми весами с AA-WER 2,8%, имея около 4B активных параметров против 24B у модели, с которой она делит место.
Определение спикеров: уровень ошибок диаризации 18,26% на 21 языке в рейтинге David AI — самый низкий из 14 протестированных систем, а также 32,4% cpWER в англоязычном бенчмарке VoiceArena из 14 систем.
Скорость: 100 часов аудио менее чем за три минуты на одной видеокарте RTX PRO 6000 Blackwell Server Edition с использованием будущей квантованной версии NVFP4; замеры на 30-секундных фрагментах при высокой параллельной нагрузке.

Что это значит для авторов контента и геймеров

Для стримеров, ютуберов и комьюнити-менеджеров открытая модель, которая за один проход делает субтитры к записанному аудио и размечает спикеров, полезна напрямую: субтитры к VOD и клипам, расшифровки подкастов или записей Discord с поиском и многоязычные субтитры. Поскольку веса открыты, модель можно запускать на собственном железе, а не через платный API. Совет самой NVIDIA остаётся в силе: выборочно сверяйте имена, смену спикеров и ответы с записью.

Это не инструмент для живых субтитров. NVIDIA говорит, что модель рассчитана на записанное аудио, так что субтитры к трансляциям в реальном времени пока за рамками её задач.

Granary v2

NVIDIA также выпустила Granary v2 — многоязычный конвейер данных и их отбора, использованный при обучении, вместе с рецептами дообучения NeMo Speech. В медицинском кейсе, по словам NVIDIA, дообучение снизило уровень ошибок по словам для спикеров из отложенной выборки на 45,8%. Для датасета VoxPopuli фильтр высокой точности сократил 354 000 часов до 111 000 часов на 22 европейских языках.

Что подтверждено, а что нет

Подтверждено (NVIDIA, 28 октября 2026 г.): - Релиз с открытыми весами на Hugging Face и ModelScope; выпущены данные и конвейер Granary v2. - Языковой охват (40 / 31 / 13) и места в рейтингах, указанные выше, по данным NVIDIA.

Не подтверждено: - Независимое воспроизведение результата по скорости, для которого использовалась квантованная версия, названная NVIDIA «готовящейся к выходу». - Точные условия лицензии и объём памяти потребительской видеокарты (в публикации не указаны; смотрите карточку модели).

Источники

Официально: NVIDIA, «NVIDIA Nemotron 3.5 Transcribe and Granary v2: Intelligent Multilingual Transcription You Can Prompt and Adapt», блог Hugging Face (28 октября 2026 г.): https://huggingface.co/blog/nvidia/nemotron-transcribe-granary