Luo Fuli Açıkladı: Xiaomi MiMo-V3 Devrimsel 'HySparse 2' Mimarisiyle Geliyor, 1 Milyon Tokende FLOPs 5 Kat Düştü

Xiaomi'nin yapay zeka araştırma kolu MiMo'nun Lideri Luo Fuli, büyük dil modellerinin mimari evriminde çığır açan yeni teknik makaleyi duyurdu. Yakında tanıtılacak amiral gemisi Xiaomi MiMo-V3'ün kalbinde yer alan HySparse 2 mimarisinin resmi arXiv makalesi (2609.26368) bilim dünyasının erişimine açıldı.

1 Milyon Tokende Prefill Hesaplama Yükü 5,02 Kat Azaldı

Luo Fuli'nin paylaştığı resmi kıyaslama verileri, HySparse 2'nin uzun bağlamlı otonom ajan (agentic) iş yüklerinde ulaştığı devasa verimlilik sıçramasını kanıtladı:

YOCO Mantığıyla KV Köprüleme ve Erken Çıkış

Luo Fuli, otonom ajanların her bir araç çağrısında sisteme yüzlerce sayfalık log ve döküman getirdiğini, bunun da geleneksel modelleri kilitlediğini belirtti. HySparse 2; çapraz çözücünün (cross-decoder) ihtiyaç duyduğu tüm KV önbelleğini otomatik olarak öz-çözücünün (self-decoder) gizli durumlarından inşa eden KV Bridging mekanizmasını kullanıyor. Bu sayede model 49 katmanın tamamını çalıştırmadan, 25. katta hesaplamayı tamamlayarak muazzam bir hız kazanıyor.

Xiaomi, dün gece de pekiştirmeli öğrenmeyle eğitilen MiMo-V2.6 Pro ve Flash modellerini açık kaynak yapmıştı. Yeni HySparse 2 mimarisinin ise MiMo-V3 ile birlikte Xiaomi 18 Pro serisi akıllı telefonlarda ve otonom araç ekosisteminde yerel olarak görev yapacağı açıklandı.