Artificial Analysis (AA), yapay zekâ modellerini karşılaştıran Intelligence Index'in beşinci sürümünü 27 Ekim 2026'da duyurdu. AA'ya göre v5, Ocak'ta çıkan v4'ten bu yana endeksin en büyük yükseltmesi: iki yeni benchmark (modellerin aynı görevlerle ölçüldüğü standart test) ve üç yükseltme var. AA, endeksin %60'ının artık özel test setleri veya saklı (held-out) cevaplar içeren değerlendirmelere dayandığını söylüyor. Haberdeki tüm puanlar AA'nın kendi ölçümü; bağımsız bir ikinci teyit bulunmuyor.
%60 rakamı nereden geliyor
AA, duyurusunda %60 rakamını kendisi veriyor. Metodoloji sayfasındaki tabloda "özel" (private) işaretli beş değerlendirme var ve ağırlıkları toplandığında da %60 çıkıyor (bu toplama bize ait): AA-Briefcase v1.1 (%15), AutomationBench-AA (%5), FrontierCode 2.0 (%15), CritPt v2 zor alt küme (%10) ve AA-Omniscience v1.1 (%15). Özel işaretli olmayanlar GDP.pdf (%5), Terminal-Bench 4.0 (%10), Terminal-Bench-Science (%15) ve HLE-Diamond (%10).
AA, "özel"i özel test setleri veya saklı cevaplar olarak tanımlıyor. Gerekçeyi duyuruda yalnızca FrontierCode 2.0 için açıkça yazıyor: görevler kirlenmeyi (contamination) önlemek için özel tutuluyor. Endeks genelinde özel veriye geçişin gerekçesini ayrıca anlatan bir cümle, okuduğumuz AA sayfalarında yok. Özel kümelerin ayrıntısı dışarıdan görülemiyor; AA yalnızca örnek ve açık alt kümeler paylaşıyor. Örneğin AA-Omniscience için Hugging Face'te yeni bir açık alt küme (AA-Omniscience-Public-v1.1) yayımlandı.
Ne değişti
Yeni eklenen iki test şunlar:
- FrontierCode 2.0: Cognition'ın özel kodlama benchmark'ı. Gerçek açık kaynak depolarında 132 görev içeriyor ve bir depo bakımcısının aracın değişikliğini birleştirip birleştirmeyeceğine göre puanlanıyor. Engelleyici bir kontrolü geçemeyen deneme 0 puan alıyor.
- Terminal-Bench-Science: Ajanların terminalde bilimsel araştırma iş akışlarını yürütüp yürütemediğini ölçen, 70 görevlik test.
Yükseltilen üç değerlendirme: HLE-Diamond, endekste Humanity's Last Exam'in yerini aldı; 1.000 soruluk arıtılmış bir sürüm, yarısı akıl yürütme, yarısı bilgi sorusu. AA-Omniscience v1.1'de soru sayısı 6.000'den 3.000'e indi; doygun ve herkese açık küme soruları çıkarıldı, yeni sorular eklendi. CritPt v2 ise 40 soruluk özel bir zor alt küme: 70 fizik sorusundan, lansmanda yedi öncü modelin beş denemenin hepsinde çözdüğü 30 soru çıkarıldı.
AA-Briefcase, AutomationBench-AA, GDP.pdf ve Terminal-Bench 4.0 endekste kaldı. GDPval-AA v2.1, SciCode ve AA-LCR v1.1 endeksten çıkarıldı. Dokuz değerlendirme dört kategoriye ayrılıyor ve her kategori %25 ağırlık taşıyor:
- Bilgi İşi: AA-Briefcase %15, AutomationBench-AA %5, GDP.pdf %5.
- Kodlama: FrontierCode 2.0 %15, Terminal-Bench 4.0 %10.
- Bilim: Terminal-Bench-Science %15, CritPt v2 zor alt küme %10.
- Genel: AA-Omniscience v1.1 %15 (%10 doğruluk, %5 halüsinasyon olmama), HLE-Diamond %10.
Sıralama: duyuru günü ve sonrası
AA'nın ölçümüne göre duyuru günü, 27 Ekim 2026'da en yüksek puanlar şöyleydi: Claude Opus 5.5 (max) 58, GPT-6 Astra (max) 57, GPT-6.1 Sol (max) 55. AA ilk beş modelin hepsinin Anthropic ve OpenAI'a ait olduğunu, sonraki modelin Gemini 4 Argon (high) ile 50 olduğunu yazıyor. Parantez içindeki "max" ve "high" etiketleri AA'nın çaba ayarı gösterimi.
Bu sıralama sonradan değişti. AA'nın 28 Ekim 2026 tarihli changelog kaydı, Gemini 4 Carbon (High) için 59 puan yayımladığını ve modeli v5'in yeni 1 numarası olarak duyurduğunu gösteriyor. AA'nın canlı sıralama sayfası 29 Ekim'de de Gemini 4 Carbon (High)'ı 59 puanla en üstte, Claude Opus 5.5'in iki ayarını 58 ve 57 puanla altında gösteriyordu. Sayfa güncellendikçe değişebilir.
Ağırlıkları açık modellerde AA en yüksek puanı 46 ile Kimi K3.1 Pro'da ölçtü, ancak bu modelin ağırlıkları henüz yayımlanmadı. Ağırlıkları yayımlanmış modellerden DeepSeek V4.1 Flash 1017 (max) ve GLM-5.3 (max) 32 puanla önde. AA, açık ağırlıklı model farkının v4.3'teki 3 puandan 12 puana çıktığını yazıyor.
Yeni testlerde AA'nın ölçümü şöyle: FrontierCode 2.0'da Claude Opus 5.5 (max) %46, Terminal-Bench-Science'ta GPT-6 Astra (max) %63 ile önde. AA, hiçbir modelin dokuz değerlendirmenin hepsinde lider olmadığını belirtiyor. AA ayrıca her modelin v4.3'e göre görev başına daha çok çıktı token'ı ürettiğini, medyanın 35 binden 59 bine çıktığını yazıyor.
Nasıl ölçülüyor
AA'nın metodoloji sayfasına göre istemler sıfır-örnek (zero-shot) biçiminde veriliyor. Sıcaklık ayarı, akıl yürütmeyen modeller için 0, akıl yürüten modeller için 0,6 (laboratuvar başka bir değer önermedikçe). Çoğu değerlendirmede tek denemede başarı (pass@1) esas alınıyor. Puan, kategorilere göre ağırlıklı ortalamayla 0 ile 100 arasında hesaplanıyor.
Sınırlamalar
AA, endeksin tüm değerlendirme ölçütleri gibi sınırlamaları olduğunu ve her kullanım senaryosuna doğrudan uygulanamayabileceğini belirtiyor. Endeks ağırlıklı olarak metin tabanlı ve İngilizce. Görsel akıl yürütme, konuşma girdisi ve çok dillilik endeks dışında ayrı ölçülüyor. Görüntü girişi olmayan modeller HLE-Diamond'un 272 görselli sorusunda yalnızca soru metnini alıyor ve 1.000 sorunun tamamı üzerinden puanlanıyor.
HLE-Diamond puanları eski Humanity's Last Exam puanlarıyla, AA-Omniscience v1.1 puanları da v1 puanlarıyla doğrudan karşılaştırılamıyor. Birçok değerlendirmede puanlamayı bir büyük dil modeli yargıç yapıyor; AA bunlar arasında FrontierCode 2.0, HLE-Diamond, AA-Omniscience ve GDP.pdf'i sayıyor.
Kapak görseli (temsili fotoğraf, 2016): torna tezgâhında bir kadran göstergesi (ölçüm); Artificial Analysis'in endeksinin ya da bir testin görüntüsü değildir — David English, Wikimedia Commons, CC BY-SA 4.0 (kırpıldı, 1200×675 küçültüldü). Kırpılmış hâli aynı lisansla paylaşılır.
