diffox ultra, 23 yapay zekâ kod inceleme aracı arasında birinci

diffox ultra hem en yüksek puanı aldı hem en çok hatayı yakaladı

diffox’un iki ürününü, Martian’ın yayımladığı panodaki 21 araçla aynı yöntemle puanladık. diffox ultra 66,5 puanla birinci oldu; diffox ise 60,9 puanla araçlar arasında beşinci. En çok hatayı da diffox ultra yakaladı (119); onu diffox (106) ve GitHub Copilot (105) izliyor.

¹ Ayarlar da F2 puanına göre sıralandı. “23 araç” yalnızca araçları sayar; bu yüzden diffox araçlar arasında beşinci, bu listede ise altıncı. Gösterilen puanlar eşitse herkese açık sonuç önce gelir. Orta ve Düşük duyarlılık satırları, aynı 50 pull request ve 158 hata üzerinde yaptığımız iç ölçümden gelir: diffox ultra için 5, diffox için 2 ayrı koşunun yuvarlanmış ortalaması. Yüksek duyarlılık satırları herkese açık koşudan gelir. Yüksek, Orta ve Düşük, diffox’un o zamanki duyarlılık ayarlarıydı; artık hangi bulguların yazılacağını sınıflarına göre seçiyorsunuz.

diffox ultra, GitHub Copilot ve CodeRabbit’ten daha çok hata yakaladı ve daha az yanlış alarm verdi. Düşük duyarlılıkta¹ yalnızca 19 yanlış alarmla 70 hata yakaladı; 30’dan az yanlış alarm veren araçların hiçbiri 65’ten fazlasını yakalamadı. Diğer araçların sonuçları, Martian’ın 7 Ekim 2026’da codereview.withmartian.com adresinde yayımladığı verilerdir.

Martian Code Review Benchmark neyi, nasıl ölçer?

Martian Code Review Benchmark (github.com/withmartian/code-review-benchmark), yapay zekâ kod inceleme araçlarını aynı koşullarda sınayan açık kaynak bir kıyaslamadır. Kıyaslama, beş köklü açık kaynak projeden alınmış 50 pull request’ten oluşur: Sentry, Grafana, Cal.com, Discourse ve Keycloak. Bu pull request’lerde, insanların önceden belirlediği 173 sorun var. Panonun varsayılan puanlaması bunların 158’ini sayar; bu yazıda da aynı 158 hatayı sayıyoruz.

Her araç pull request’leri kendi yöntemiyle inceler. Sonra hakem model Claude Opus 4.5 her yorumu bilinen hatalarla karşılaştırır. Bir hatayla eşleşen yorum yakalanmış hata sayılır; hiçbir hatayla eşleşmeyen yorum ise yanlış alarm. Pano araçları F2 puanına göre sıralar. Bu puan yakalanan hataya daha çok ağırlık verir, çünkü canlıya sızan bir hata, okunup geçilen bir yorumdan çok daha pahalıya mal olur.

Kendiniz doğrulayın

Bir kıyaslamada birinci olduğunu söylemek kolaydır; kanıtlamak değil. Bu yüzden Yüksek duyarlılıktaki koşunun her parçası herkese açık.

• Yüz inceleme, yüz herkese açık pull request. Kıyaslamadaki 50 pull request’in her birini, her ürün için bir kez, ayrı bir herkese açık depoya kopyaladık: toplam 100 depo. Canlıdaki diffox uygulaması her kopyayı Yüksek duyarlılıkta, bir müşterinin pull request’ini nasıl inceliyorsa öyle inceledi. Tek fark yorumun düzeni (aşağıdaki sorulara bakın). Yüz incelemenin listesi
• Puanlamayı Martian’ın kendi kodu yaptı. Puanlama adımlarını hiç değiştirmeden çalıştırdık. Martian’ın pano betiği aynı dosyalarla çalıştırıldığında, diğer 21 aracın 20’sinin yayımlanan sonuçlarını birebir veriyor.
• Tabloyu kendi makinenizde yeniden oluşturun:

git clone https://github.com/diffox-bench/code-review-benchmark && cd code-review-benchmark/offline
uv sync --frozen
uv run python analysis/benchmark_dashboard.py          # Martian’ın kendi pano betiği, bizim iki satırımızla
git diff --diff-algorithm=histogram e616e849 -- results  # yalnız eklemeler: başka hiçbir aracın satırı değişmez

En ağır hatalarda kim önde?

Her hata aynı ağırlıkta değildir. Aşağıdaki tablo, diffox’un iki ürününü en çok hata yakalayan dört rakiple karşılaştırıyor. Kritik hataları en çok diffox yakaladı: 12 hatanın 11’i. Yüksek önemdeki hatalarda ise diffox ultra açık ara önde; 54 hatanın 46’sını yakaladı.

Projelere göre kim önde?

Beş projenin üçünde en çok hatayı bir diffox ürünü yakaladı: Cal.com ve Keycloak’ta diffox ultra, Discourse’ta diffox. Grafana ve Sentry’de Cubic v2 önde; Sentry’de diffox ultra yalnızca bir hata farkla ikinci. Her projeden 10 pull request var.

Çoğu aracın gözünden kaçan dört hata

Tablolar farkı sayıyla verir; aşağıdaki dört hata ise bu farkın neye benzediğini gösteriyor. Martian’ın deposunda diğer 20 aracın hata hata sonuçları var. Bu dört hatanın her birini o araçlardan en fazla beşi yakaladı; diffox ultra ise dördünü de yakaladı. Her karttan, diffox’un o pull request’e yazdığı yoruma gidebilirsiniz.

Daha çok hata mı, daha az yanlış alarm mı?

Her kod inceleme aracı aynı dengeyi kurmak zorunda: daha çok hata yakalayan, daha çok yanlış alarm da verir. Panodaki diğer araçların her biri bir kez, kıyaslamada çalıştırıldığı ayarla yer alıyor. diffox’un iki ürünü ise üçer kez yer alıyor, çünkü her duyarlılık ayarını aynı 50 pull request üzerinde ölçtük.

Yakalanan gerçek hata ve yanlış alarm

Her diffox çizgisi Yüksek, Orta ve Düşük ayarı gösterir; diğer araçlar birer noktadır.

O zamanki ayarlar, diffox’un bir bulguyu yazmak için ne kadar emin olması gerektiğini belirliyordu. Yüksek en çok hatayı yakaladı; panodaki birinciliği getiren de bu ayardı. Orta daha az yorum yazdı ama gerçek hataların çoğunu yine yakaladı: pull request başına yorum sayısı 5,4’ten 2,9’a düştü. Düşük yalnızca en emin olduğu bulguları yazdı; pull request başına 1,7 yorum.

Artık hangi bulguların yazılacağını sınıflarına göre siz seçiyorsunuz. diffox her bulguya bir sınıf verir: Kritik, Uyarı ya da Öneri. Ayarın üç seviyesi var: “Yalnız kritik”, “Kritik ve uyarılar” ve “Hepsi”. Yeni kurulumlar “Kritik ve uyarılar” ile başlar. Ayarı hesabın sahibi ya da kuruluş yöneticisi, diffox konsolunun Ayarlar sekmesinden değiştirebilir. Değişiklik bir sonraki incelemeden itibaren geçerli olur. Ayarın geride tuttuğu bulgular kaybolmaz; 30 gün boyunca Bulgular sayfanızda bekler ve istediğinizi oradan yayımlayabilirsiniz.

Ayarla uğraşmak istemiyorsanız konsolda seçim şeklini “Otomatik” yapın: seviye, bulgulara verdiğiniz 👍 ve 👎 tepkilerine göre “Hepsi” ile “Kritik ve uyarılar” arasında kendiliğinden değişir. Ekibinizin 👎 ile geri çevirdiği bir bulgu da o satır değişmedikçe aynı depoda bir daha yazılmaz.

Devamı: fiyatlar

İkinci yazıda aynı 50 pull request üzerinden fiyatları karşılaştırdık: her aracın inceleme başına fiyatı ve karşılığında ne aldığınız. Güncel fiyatlarımız fiyatlar sayfasında.