MetaPatchAI home
AI

NVIDIA Nemotron 3.5 Transcribe: 40개 언어를 받아쓰고 누가 무슨 말을 했는지 구분하는 오픈 음성 모델

출처: NVIDIA

MetaPatchAI 정리 · 게시 , 오전 5:05 ET

NVIDIA Nemotron 3.5 Transcribe: An Open Speech Model That Transcribes 40 Languages and Labels Who Said What

2026년 10월 30일: NVIDIA가 10월 28일(수) Nemotron 3.5 Transcribe를 공개했습니다. 전사, 화자 라벨링, 번역, 오디오 질의응답을 하나의 체크포인트에 담은 오픈 웨이트 음성 모델입니다. Hugging Face와 ModelScope에서 받을 수 있으며, Granary v2라는 오픈 데이터 파이프라인도 함께 공개됐습니다.

하는 일

Hugging Face 블로그에 실린 NVIDIA 발표에 따르면 Nemotron 3.5 Transcribe는:

  • 40개 언어 전사, 그중 31개 언어는 영어와 상호 번역, 13개 언어에서 화자 구분.
  • 입력으로 자연어 프롬프트를 받기 때문에 같은 녹음에서 다른 결과를 얻을 수 있습니다. "전사하고 화자마다 라벨을 붙여 줘" 같은 요청, 번역, 혹은 프롬프트에 전문 용어를 나열하면 철자를 맞게 적는 전사 등입니다.
  • 지원: 단어 단위 타임스탬프.
  • 용도: 실시간 스트리밍이 아닌 녹음된 오디오.

NVIDIA에 따르면 지금 바로 vLLM으로 서비스할 수 있고, 양자화 버전과 NeMo-Speech.cpp를 통한 로컬 배포도 지원합니다.

NVIDIA가 밝힌 수치

다음은 NVIDIA가 글에서 제시한 자체 수치입니다.

  • Hugging Face Open ASR Leaderboard(영어): 오픈 웨이트 모델 중 1위, 평균 단어 오류율(WER) 5.33%. 다국어: 7개 언어 평균 WER 4.62%. 장문: 10.98%.
  • Artificial Analysis: 오픈 웨이트 모델 중 공동 1위, AA-WER 2.8%. 활성 파라미터는 약 4B로, 동률인 모델의 24B보다 훨씬 적습니다.
  • 화자 구분: David AI 리더보드에서 21개 언어 기준 화자 분리 오류율 18.26%로 테스트된 14개 시스템 중 가장 낮았고, VoiceArena의 14개 시스템 영어 벤치마크에서 cpWER 32.4%를 기록했습니다.
  • 속도: RTX PRO 6000 Blackwell Server Edition GPU 1개로 100시간 분량의 오디오를 3분 안에 처리. 곧 나올 NVFP4 양자화 버전을 사용해, 30초 클립을 높은 동시 처리량으로 측정한 값입니다.

크리에이터와 게이머에게 주는 의미

스트리머, 유튜버, 커뮤니티 매니저에게 녹음된 오디오에 자막을 달고 화자까지 한 번에 태그하는 오픈 모델은 바로 쓸모가 있습니다. VOD와 클립 자막, 검색 가능한 팟캐스트나 Discord 녹음 전사, 다국어 자막 등입니다. 웨이트가 공개되어 있어 유료 API 대신 자신의 하드웨어에서 돌릴 수 있습니다. NVIDIA의 조언대로 이름, 화자 전환, 답변은 녹음과 대조해 확인하세요.

실시간 자막 도구는 아닙니다. NVIDIA는 녹음된 오디오를 대상으로 한다고 밝혔기 때문에, 방송 실시간 자막은 당분간 범위 밖입니다.

Granary v2

NVIDIA는 Granary v2도 공개했습니다. 학습에 쓰인 다국어 데이터 및 큐레이션 파이프라인으로, NeMo Speech 파인튜닝 레시피도 함께 제공됩니다. 의료 분야 사례 연구에서 NVIDIA는 파인튜닝으로 처음 보는 화자에 대한 단어 오류율을 45.8% 낮췄다고 밝혔습니다. VoxPopuli 데이터셋에서는 고충실도 필터가 22개 유럽 언어의 354,000시간을 111,000시간으로 줄였습니다.

확인된 사항 / 확인되지 않은 사항

확인됨 (NVIDIA, 2026년 10월 28일): - Hugging Face와 ModelScope에 오픈 웨이트로 공개, Granary v2 데이터와 파이프라인 공개. - 언어 지원 범위(40 / 31 / 13)와 위에 적은 리더보드 순위(NVIDIA 발표 기준).

미확인: - 속도 수치에 대한 독립적인 재현(NVIDIA가 '곧 나올' 것이라고 한 양자화 버전을 사용). - 정확한 라이선스 조건과 일반 소비자용 GPU에 필요한 메모리(글에 없음, 모델 카드 확인 필요).

출처

관련 기사

상위: AI