12 GB VRAM ile 125 Milyar Parametreli Model Çalıştırıldı: Strata Motoru RTX 5070'te Saniyede 94 Token'a Ulaştı

Açık kaynak yapay zeka topluluğu, yüz milyarlarca parametreye sahip devasa modellerin son kullanıcı ekran kartlarında yerel olarak çalıştırılabilmesi yolunda büyük bir mühendislik zaferine imza attı. Japon teknoloji yayını Gigazine'in aktardığı habere göre açık kaynak yazılımcısı Niko1221, yalnızca 12 GB video belleğine (VRAM) sahip standart tüketici sınıfı grafik kartlarında 125 milyar parametreli Qwen3.8-Flash-Next modelini yüksek başarımda çalıştıran Strata çıkarım motorunu duyurdu.

Qwen3.8-Flash-Next: Devasa Bir Çok Modlu MoE

Alibaba'nın Qwen yapay zeka araştırma ekibi tarafından Ağustos 2026'da tanıtılan Qwen3.8-Flash-Next; 125 milyar parametreye, ilave 51 milyar parametrelik n-gram gömme tablosuna ve yerel 262K token bağlam uzunluğuna sahip son derece güçlü bir Uzmanlar Karışımı (MoE) modeli. Normal koşullarda bu boyuttaki bir modeli çalıştırmak için kurumsal düzeyde en az iki veya dört adet 80 GB'lık profesyonel sunucu GPU'su gerekiyordu.

Strata'nın Arkasındaki İki Kritik Optimizasyon

Strata motoru, 12 GB gibi mütevazı bir ekran kartı belleğinde bu devasa modeli çalıştırabilmek için iki yenilikçi bellek ve hesaplama mimarisini bir araya getiriyor:

Test Sonuçları: RTX 5070 ve RX 9070 XT Başarımı

Geliştiricinin paylaştığı resmi donanım testleri, masaüstü bilgisayarlarda şaşırtıcı üretim hızlarına ulaşıldığını kanıtlıyor:

Yazılım için asgari gereksinimler; 12 GB VRAM'li Nvidia veya AMD ekran kartı, 32 GB sistem RAM'i, 80 GB boş disk alanı (tercihen NVMe SSD) ile Windows 10/11 veya Linux işletim sistemi olarak açıklandı. Projenin kaynak kodları GitHub üzerinde geliştiricilerin erişimine sunuldu.