Artificial Analysis Intelligence Index v5 Yayında: DeepSeek V4.1 Flash FrontierCode Zirvesinde

Büyük dil modellerinin performansını ölçen bağımsız otorite Artificial Analysis, sektörde uzun süredir tartışılan 'test sorularının ezberlenmesi ve puan şişirme' krizine son veren Intelligence Index v5 kıyaslama sistemini resmi olarak devreye aldı. Ocak 2026'daki v4 sürümünden bu yana yapılan en köklü mimari dönüşüm olan v5, yapay zekanın gerçek dünya iş kabiliyetini ölçmeyi hedefliyor.

Testlerin %60'ı Gizli Sorulara Geçti, Şişirilmiş Puanlar Silindi

Yeni endekste en radikal değişiklik, genel puanlama ağırlığının %60'ının kamuya kapalı, gizli veri setlerine kaydırılması oldu. Laboratuvarların halka açık test sorularını model eğitim verilerine gizlice ekleyerek (Benchmark Contamination) yapay zeka skorlarını yapay şekilde yükseltmesi taktiği tamamen etkisiz hale getirildi.

FrontierCode 2.0 Devrimi: Kodun Çalışması Değil, 'PR'ın Birleştirilmesi'

Endeksin %25'lik kodlama ağırlığının %15'ini tek başına oluşturan Cognition yapımı FrontierCode 2.0, değerlendirme felsefesini kökten değiştirdi. Gerçek GitHub depolarından alınan 132 zorlu yazılım görevi, yalnızca birim testlerin geçmesiyle değil; ilgili açık kaynak projesinin asıl yöneticilerinin "Bu Pull Request'i (PR) kod tabanına dahil etmeye razı mıyım?" kriteriyle puanlandı:

"Intelligence Index v5 açık kaynak modelleri bir gecede geriletmedi; ölçtüğümüz standardı değiştirdi. Ezberlenmiş sorular bittiğinde, kimin gerçekten çalışan ve birleştirilebilir yazılım mimarisi kurabildiği tüm çıplaklığıyla ortaya çıktı." — Artificial Analysis Baş Araştırma Grubu

Kurum ayrıca modellerin zaman içindeki gelişim çizgisini Epoch AI metodolojisiyle kesintisiz tek bir cetvelde izleyen Progress Index v1 sistemini de kullanıma sunarak yapay zeka tarihindeki ilerleme hızını kayıt altına almaya başladı.