NVIDIA Ses Yapay Zekasında Zirveyi Belirledi: Açık Kaynaklı Nemotron 3.5 Transcribe Duyuruldu

Grafik işlemcileri ve yapay zeka çiplerindeki mutlak liderliğini yazılım ve temel model katmanına taşıyan NVIDIA, açık ağırlıklı konuşma tanıma ve transkripsiyon teknolojilerinde çıtayı ulaşılması güç bir noktaya taşıdı. Şirket, çok modlu işitme yeteneklerine sahip Nemotron 3.5 Transcribe modelini ve modelin arkasındaki devasa veri hattı Granary v2'yi dünya çapında araştırmacıların kullanımına sundu.

MoE Mimarisi ve 8 Kişilik Eşzamanlı Konuşmacı Ayrımı

Nemotron 3.5 Transcribe; ses deşifresi, konuşmacı aidiyeti (Diarization), anlık çeviri ve sesli soru-cevap kabiliyetlerini tek bir gövdede birleştiriyor. Toplantı tutanakları, üniversite amfileri, gazetecilik mülakatları ve çok dilli çağrı merkezleri için optimize edilen modelin teknik parametreleri şu şekilde sıralanıyor:

"1940 yapımı efsanevi film 'His Girl Friday'deki gibi karakterlerin inanılmaz bir hızla birbirlerinin sözünü kestiği karmaşık sahnelerde bile Nemotron, her bir aktörün diyaloğunu şaşılacak bir hassasiyetle yazıya dökebiliyor." — NVIDIA Ses Yapay Zekası Araştırma Grubu

Açık Kaynak Liderliği ve 463 Bin Saatlik Granary v2 Veri Hattı

Hugging Face Açık Konuşma Tanıma (Open ASR) liderlik tablosunda İngilizce kategorisinde %5,33 Kelime Hata Oranı (WER) ile açık modeller arasında dünya birincisi olan model; Artificial Analysis listesinde de %2,8 hata oranıyla Voxtral ile birlikte zirveyi paylaştı. David AI'ın 21 dilde konuşmacı ayrıştırma testinde ise %18,26 ile tarihin en düşük hata skoru kaydedildi.

Model, OpenMDW-1.1 lisansıyla Hugging Face ve ModelScope üzerinde ücretsiz paylaşıldı. Modelin eğitiminde kullanılan ve 48 dilde 463.062 saatlik işitsel veriyi kapsayan Granary v2 boru hattı ise konuşmaları standart metin, konuşma kusurlarını ("ııı", "şey" gibi) koruyan metin ve tamamen temizlenmiş editoryal metin olmak üzere üç farklı varyantta üretebiliyor.