Kodlama için en iyi yapay zekâ modeli hangisi? İşe göre seçim

Üç sağlayıcıda üst, orta ve giriş kademesindeki modeller hangileri?

Kodlama ajanında model seçerken iki şeyi birlikte seçiyorsunuz: modelin kendisini ve ne kadar düşüneceğini. İkincisini, yani effort’u bir önceki yazıda, benchmark skorlarının nasıl okunacağını SWE-bench yazısında anlattık. Bu yazı modelin kendisine bakıyor: hangisi kodlamada ne kadar iyi, görev başına kaça mal oluyor ve beş araçta nasıl seçiliyor. Her sağlayıcının modellerini üç kademeye ayırdık:

Kaynak: üç sağlayıcının model ve fiyat sayfaları (Anthropic, OpenAI, Google), 20 Ekim 2026. Fiyatlar MTok başına girdi / çıktı, standart katman; OpenAI’da 272K token’a kadar, Anthropic’te Haiku 5.5 için 100K token’a kadar olan prompt’larda. Her hücrenin ikinci cümlesi sağlayıcının kendi tarifi.

Anthropic’te Opus’un üstünde bir model daha var: Fable 5.1. Anthropic onu bütün müşterilerine açık en yetenekli modeli olarak tanıtıyor; fiyatı MTok başına $10 girdi, $50 çıktı. Tabloda Anthropic’in üst kademesine yine Opus 5.5’i koyduk, çünkü Anthropic çoğu işe Opus’la başlamayı öneriyor.

Liste fiyatlarında bir denklik göze çarpıyor: Sonnet 5.5, GPT-6.1 Sol ve Gemini 4 Argon’un üçü de bugün MTok başına $2 girdi, $10 çıktı istiyor; Haiku 5.5 ile GPT-6 Luna da aynı fiyatta. Buna karşılık Opus 5.5’in her token fiyatı Sonnet 5.5’inkinin iki katı, Astra’nınki Sol’unkinin beş katı. Ama token fiyatı aynı diye görev başına maliyet aynı olmuyor; bir model aynı işi daha çok adımda bitirebiliyor. Bunu bir sonraki bölümde ölçümle gösteriyoruz.

Uzun ajan oturumlarında fiyatı üç eşik değiştiriyor. Haiku 5.5’te prompt’u 100K token’ı geçen her istekte fiyat 5 katına çıkıyor ($0,50 / $2,50) ve önbellekten okunan token’lar da bu sayıya dahil. OpenAI’da 272K token’ın üstündeki istekte girdi iki, çıktı 1,5 kat pahalı. Google’da eşik bir tarih: Argon’un fiyatı 1 Aralık’ta, 3.8 Flash’ınki 1 Ocak 2027’de iki katına çıkıyor.

Ajan oturumunda faturanın çoğunu önbellekten okunan token’lar oluşturuyor; Anthropic de bunların ajan ve kodlama işlerinin maliyetinin büyük kısmı olduğunu yazıyor. Önbellekten okumada MTok başına Opus 5.5 $0,20, Sonnet 5.5 $0,10, Haiku 5.5 $0,01 istiyor. Prompt 100K token’ı geçince Haiku’nunki $0,05 oluyor ve Sonnet’le arasındaki fark on kattan iki kata iniyor. Uzayan bir oturumda giriş kademesinin fiyat avantajı bu yüzden eriyor.

Kodlamada hangisi ne kadar iyi, kaça mal oluyor?

Fiyat listesi token başına yazılıyor, ama sizin için önemli olan biten bir işin maliyeti. Anthropic’in belgesi de modelleri token başına değil, tamamlanan görev başına maliyetle karşılaştırmayı öneriyor. Bu yüzden iki tür ölçüme baktık: modeli kendi kodlama aracının içinde ölçen bağımsız bir dizine ve satıcıların kendi ölçümlerine. Satıcının bildirdiği sonuçları öyle işaretledik.

Artificial Analysis’in Coding Agent Index’i bir modeli tek başına değil, bir kodlama aracının içinde ölçüyor: Claude modelleri Claude Code’da, OpenAI modelleri Codex’te, Gemini modelleri Antigravity’de çalışıyor. Üç benchmark’tan 303 görev var ve her görev 3 kez deneniyor. Maliyet API fiyatlarıyla hesaplanıyor, abonelik planıyla değil. Her aileden üst, orta ve giriş kademesindeki modellerin satırlarını seçtik; Anthropic’te Fable 5.1’in satırını da ekledik:

Grafik bir sıralama değil: satırlar farklı effort seviyelerinde ölçüldü ve dizin bazı modelleri yalnızca tek bir seviyede ölçtü. Okurken üç şeye bakın:

• İki ailede orta kademe üst kademeye yaklaşıyor. Codex’te GPT-6.1 Sol medium’da 61,4, GPT-6 Astra max’te 61,6 puan aldı; görev başına $0,70 ile $7,47, süre 11 ile 29 dakika. Claude Code’da iki model de max’te ölçüldü: Sonnet 5.5 68,4, Opus 5.5 66,0 puan, görev başına $14,19 ve $13,04. Opus’un da üstündeki Fable 5.1 de max’te 62,2 puanla ikisinin önüne geçmedi.
• Ucuz token, ucuz görev demek değil. Sonnet 5.5’in token fiyatı Opus’unkinin yarısı, ama max’te bir görevi ortalama 266 adımda ve 87 dakikada bitirdi; Opus 155 adımda ve 64 dakikada. Tersi de oluyor: Fable 5.1’in girdi ve çıktı fiyatı Opus’unkinin iki buçuk katı, ama max’te bir görevi ortalama 37 adımda ve 35 dakikada bitirdi ve görev başına $12,39 ile Opus’tan biraz ucuza geldi. Gemini 3.8 Flash bir görevde ortalama 188 adım attı; görev başına $2,47 ile high’da çalışan Sonnet 5.5’ten ($1,24) pahalıya geldi.
• Effort aynı modelde de büyük fark yaratıyor. Sonnet 5.5 high’da 55,0 puan aldı, görev başına $1,24 ve 12 dakikayla. Seviyeleri tek tek effort yazısında karşılaştırdık. Anthropic’in belgesi de effort’u ayarlamanın çoğu zaman model değiştirmekten daha iyi bir kaldıraç olduğunu yazıyor.

Tablonun iki sınırı var. Dizin Opus 5.5’i ve Fable 5.1’i yalnızca max’te ölçtü; Opus’un Claude Code’daki varsayılanı olan medium’da bağımsız bir ölçüm yok. Ayrıca bir model güvenlik nedeniyle reddedince denemeyi başka bir model bitirebiliyor ve deneme yine sayılıyor: 909 denemeden Opus 5.5 max satırında 78 tanesini, Fable 5.1 max satırında 74 tanesini, Sonnet 5.5 max satırında 45 tanesini başka bir model bitirdi. Dizin Fable’ın satırına ayrıca “with fallback” (yedek modelle) notunu düşüyor.

Birkaç puanlık fark da gürültü olabilir. Terminal-Bench 4.0’ın kendi tablosunda Claude Code’da Opus 5.5 (max) %64,85 ± 3,11, Sonnet 5.5 (max) %61,82 ± 2,94 alıyor; her satır 330 denemeden. Artificial Analysis’in aynı benchmark’tan aldığı bileşende sıra ters: Sonnet 5.5 66,2, Opus 5.5 63,1. Yani bu iki model arasındaki üç puanlık bir fark, hangisinin daha iyi olduğunu söylemiyor. Anthropic de bu yetenek düzeyinde benchmark farklarının gerçek hayattaki farka daha az güvenilir bir rehber olduğunu yazıyor; Epoch AI ise Terminal-Bench 4.0’ı kusurlu buldu. Bir skoru nasıl okuyacağınızı SWE-bench yazısında anlattık.

Üst kademedeki model ne zaman parasına değer?

Üç ailede de soru aynı: üst kademedeki model, daha yüksek token fiyatını ne zaman geri kazandırır? Elimizdeki ölçümlerde orta kademe, biraz daha yüksek bir ayarda üst kademeye iki ailede yetişiyor, üçüncüsünde yetişmiyor. Her ailede üst ve orta kademenin en yakın iki ölçümünü yan yana koyduk:

Anthropic’in ölçümü en açık örnek. Belgeye göre Opus 5.5’in her token fiyatı Sonnet 5.5’inkinin iki katı, ama Opus low’da Sonnet’in varsayılan ayarıyla aynı oranda görev çözüyor ve çözülen görev başına yalnızca %7 daha pahalı. Opus’u kendi varsayılanı olan medium’da çalıştırınca çözme oranı %92,8, maliyet $0,22 oluyor: fazladan yaklaşık beş puan için çözülen görev başına iki katı ödüyorsunuz. Bu, satıcının SWE-bench Pro’nun bir alt kümesinde yaptığı ölçüm ve herkese açık sıralamayla karşılaştırılamıyor.

Opus’tan bir basamak yukarı çıkmak bu tabloda puan getirmedi. Fable 5.1’in kendi varsayılanı olan high’da, tek bir koşudaki çözme oranı %92,3, çözülen görev başına maliyeti $1,19. Anthropic bunu Opus medium’la koşudan koşuya oynama payı içinde aynı sonuç sayıyor; yani Fable bu kümede Opus’u geçmedi ve çözülen görev başına yaklaşık beş katına mal oldu. Belge iki modelin de bu kümede büyük ölçüde tavana dayandığını da yazıyor.

Opus’un fazladan beş puanı nerede kazanılıyor? Anthropic’in ve Google’ın cevabı aynı: karmaşık, uzun ve çok adımlı işte. Anthropic Opus 5.5’i saatler süren otonom kodlama ve büyük refactor için, Sonnet 5.5’i günlük kodlama için öneriyor; Sonnet 5.5’in duyurusu da Opus’un sürekli muhakeme isteyen, ucu açık işlerde açıkça güçlü kaldığını yazıyor. Anthropic’in Fable 5.1 için önerdiği yol da önce Opus’la başlamak; zorlu akıl yürütmede ya da uzun soluklu ajan işinde Opus xhigh ya da max’te bile yetmezse Fable’a geçmek. Google Gemini 4 Argon’u karmaşık yazılım mühendisliği ve akıl yürütme işleri için öneriyor, fiyat sayfası da onun çok adımlı otonom ajanlar için yapıldığını yazıyor. OpenAI çizgiyi başka yere çekiyor: GPT-6.1 Sol’u Astra’ya yakın performansı daha düşük maliyetle veren model olarak tanıtıyor, Codex’in belgesi belirsiz ve çok adımlı işler için bile Sol’la başlamayı öneriyor; Astra’yı maliyetin ve gecikmenin önemli olmadığı durum için bırakıyor. Anthropic’in maliyet belgesi bir ölçüt de veriyor: modelleri işinizin tipik görevinde değil, en zor onda birinde karşılaştırın, çünkü faturayı ucuz modelin başaramadığı görevler belirliyor.

Google ailesinde tablo farklı. Bağımsız dizinde 3.8 Flash, Argon’un puanına yaklaşmadı; ama iki model farklı araçlarda ölçüldü (Argon Antigravity CLI’da, Flash Antigravity SDK’sında). GitHub Copilot da 3.8 Flash’ı Haiku 5.5 ve GPT-6 Luna ile aynı gruba, basit ya da tekrarlayan işler için hızlı yardıma koyuyor. Bu iki kaynağa bakınca Google’ın orta kademesi, kodlama ajanında giriş kademesine daha yakın duruyor.

Araçların varsayılanları bu önerilerle her zaman örtüşmüyor:

• Claude Code 22 Eylül’den beri (2.1.280 sürümü) Pro, Max, Team ve Enterprise planlarında ve API’de Opus 5.5 ile başlıyor. Oysa kendi maliyet sayfası çoğu kodlama işini Sonnet’in iyi yaptığını, Opus’u karmaşık mimari kararlar ve çok adımlı akıl yürütme için saklamayı söylüyor; beklenmedik yüksek faturaları da çoğunlukla varsayılan bırakılan Opus’a bağlıyor. Bir ayrıntı daha: Claude Code’da Opus 5.5, Sonnet 5.5 ve Haiku 5.5 medium effort’la başlıyor, Anthropic’in yukarıdaki ölçümünde Sonnet’in varsayılanı ise high. Sonnet’e geçerken effort’u da high’a çekin.
• Codex’in varsayılan modeli orta kademedeki GPT-6.1 Sol.
• GitHub Copilot’ta modeli seçiciden ya da Auto ile seçiyorsunuz; Auto’yu aşağıda anlattık.
• Cursor’da Plus planı yalnızca Cursor’ın kendi modellerini veriyor. Claude, GPT ve Gemini modellerini Premium ve üstünde, API liste fiyatından ve önceden yüklediğiniz krediden ödeyerek kullanıyorsunuz.
• Antigravity’de ücretsiz planda ve Google AI Plus’ta Gemini’den yalnızca 3.8 Flash var; Gemini 4 Argon, Claude Sonnet 5.5 ve Opus 5.5 için deneme olmayan bir Google AI Pro aboneliği ya da üstü gerekiyor.

Abonelikte üst kademe limitinizi daha hızlı harcıyor. Bunu model başına mesaj sayısıyla yazan tek araç Codex: fiyat sayfasına göre Plus planında beş saatlik dilimde tahmini yerel mesaj sayısı GPT-6 Astra’yla 5–45, GPT-6.1 Sol’la 15–160, GPT-6 Luna’yla 350–3.000. Öteki araçlarda:

• Claude: plan sayfası ne kadar kullanabileceğinizin seçtiğiniz modele bağlı olduğunu yazıyor ama bir oran vermiyor. Claude Code Opus ve Sonnet için ayrı sınır mesajları gösteriyor; birine takılınca öteki aileye geçip çalışmaya devam edebiliyorsunuz.
• GitHub Copilot: 1 Haziran 2026’dan beri kullanım, her modelin API fiyatıyla token başına hesaplanıyor. Aynı sayıda token için fiyatı iki kat olan model, AI kredinizi de iki kat hızlı tüketiyor.
• Cursor: haftalık havuz Cursor’ın kendi modellerini kapsıyor ve her model havuzdan farklı hızda düşüyor; üçüncü taraf modelleri havuzdan değil, krediden ödüyorsunuz.
• Antigravity: Gemini modelleri ile Claude ve GPT modelleri ayrı beş saatlik ve haftalık sınırlardan düşüyor.

Giriş kademesindeki modellerle kod yazılır mı?

Ana ajan olarak, kanıtlara göre hayır; yardımcı olarak evet. Anthropic’in Haiku 5.5 duyurusu bunu kendisi söylüyor: karmaşık ajan kodlama işleri için Sonnet 5.5 ve Opus 5.5 daha iyi seçim; Haiku 5.5 ise kodlama işinde alt ajan olarak onlarla iyi eşleşiyor, özet, compaction ve sınıflandırma gibi işleri güvenilir biçimde yapıyor. Aynı duyurudaki tabloda Terminal-Bench 4.0’da Haiku 5.5 %39,2, Sonnet 5.5 %70,6, GPT-6 Luna %16,4 alıyor (Anthropic’in bildirdiği).

Bağımsız dizin farkın nerede olduğunu da gösteriyor. Claude Code’da kod yazdıran DeepSWE görevlerinde Haiku 5.5 her effort seviyesinde 45,4 ile 49,0 arasında kaldı, Sonnet 5.5 61,9 ile 72,0 arasında; effort’u yükseltmek bu açığı kapatmadı. Kod tabanı hakkında soru cevaplatan SWE-Atlas-QnA’da ise fark küçük: Haiku 5.5 xhigh’ta 51,6, Sonnet 5.5 medium’da 44,9 aldı. Giriş kademesinin en çok geride kaldığı yer kod yazmak, en az geride kaldığı yer kodu okuyup soru cevaplamak.

Görev başına ucuz olduğu da yalnızca yarı doğru. Haiku 5.5 medium’da görev başına $0,23 tuttu ama bir görevi ortalama 14 dakikada ve 44 adımda bitirdi; Sonnet 5.5 low’da $0,48, 6 dakika ve 19 adım. Puanı da Haiku’nun daha düşük: 33,6 ile 42,1. Anthropic’in en hızlı modeli, görev başına daha yavaş çıktı.

Öteki iki aile de giriş kademesini aynı yere koyuyor. Codex’in belgesi GPT-6 Luna’yı açık, tekrarlanan ya da yüksek hacimli işleri yapan, dar kapsamlı hızlı ajanlar için öneriyor; Terminal-Bench 4.0’ın tablosunda Codex’te max’te çalışan Luna %16,36 ± 2,72 alıyor. Google Gemini 3.5 Flash-Lite’ı alt ajan görevleri ve belge ayrıştırma için düşük gecikmeli, düşük maliyetli bir model olarak tanıtıyor.

Claude Code’da kod tabanında arama yapan yerleşik Explore alt ajanı 2.0.17 sürümüyle (15 Ekim 2025) Haiku’yla geldi; 2.1.198 sürümünden (1 Temmuz) beri ana oturumun modeliyle çalışıyor. Yani arama işini giriş kademesindeki bir modele vermek istiyorsanız bunu kendiniz ayarlıyorsunuz. Beş araçta bunun yolu:

Kaynak: her aracın belgesi ve sürüm notları, 20 Ekim 2026.

Claude Code için örnek bir tanım. name alanı Explore olunca yerleşik ajanın yerine geçiyor; araçları okumayla sınırlamak da işini dar tutuyor:

---
name: Explore
description: Kod tabanında arar ve okur, dosya değiştirmez
tools: Read, Glob, Grep
model: haiku
---
İstenen kodu bul. Kısa bir rapor yaz:
dosya yolu, satır ve tek cümlelik açıklama.

Bir uyarı: arama yapan alt ajan büyük dosyaları okudukça prompt’u büyüyor. Haiku 5.5’te 100K token’ı geçen her istekte fiyat 5 katına çıktığı için alt ajanın raporunu kısa, okuduğu dosyaları dar tutun. Alt ajanların nasıl çalıştığını alt ajanlar yazısında anlattık.

Auto modu ya da iki modeli birlikte kullanmak işe yarar mı?

Modeli araca seçtirmenin ya da iki modeli birlikte çalıştırmanın yolları var. Anthropic’in ölçümlerinden çıkan kural kısa: ikinci bir model eklemeden önce tek modelin effort’unu ayarlayın, çünkü çoğu iş orada bitiyor; iki modelli bir düzeni ancak tek modelin bütün effort seviyelerindeki skor ve maliyet eğrisini geçiyorsa kurun.

GitHub Copilot’un Auto’su bütün planlarda var. VS Code’da, Copilot CLI’da ve Copilot uygulamasında üç kademesi var: Efficiency, Balance ve Intelligence. Kademe, isteğin hangi modele gideceğini değiştiriyor; ücreti yine Auto’nun seçtiği modelin fiyatından, ücretli planlarda %10 indirimle ödüyorsunuz. Copilot her cevabın hangi modelden geldiğini gösteriyor, CLI bunu terminale yazıyor. Bireysel planlarda Auto değerlendirme aşamasındaki modelleri de kullanabiliyor; bunu kapatabilirsiniz.

Cursor’ın Auto’su plana göre değişiyor. Fiyat sayfasına göre Plus planında Auto yok; öteki bireysel planlarda yalnızca Cost modu var ve hangi model cevap verirse versin istek, Cursor modeli gibi haftalık havuzdan düşüyor. Balance ve Intelligence modları Teams ve Enterprise’da; orada istek, yönlendirildiği modelin liste fiyatından ödeniyor ve hangi modelin cevap verdiği varsayılan olarak gizli. Cursor’ın Router sayfası ise bütün Auto modlarının yönlendirilen modelin liste fiyatından ödendiğini yazıyor; iki sayfa 20 Ekim 2026 günü birbirini tutmuyordu.

Claude Code’un, Codex’in ve Antigravity’nin model belgelerinde istek başına model seçen bir Auto yazmıyor. Gemini CLI’da Auto var ve modeli görevin karmaşıklığına göre seçiyor; Google, ücretsiz katman ve Google One kullanıcıları için Gemini CLI’ı 18 Haziran 2026’da Antigravity CLI ile değiştirdi ve Gemini 4 Argon için Antigravity’yi öneriyor.

opusplan, Claude Code’da işi iki modele bölen bir model ayarı: plan modunda Opus, uygulamada Sonnet kullanıyor. Her model kendi önbelleğini tuttuğu için plan moduna her girip çıkışınız bir model değişimi sayılıyor ve önbellek baştan başlıyor; uzun bir oturumda bu faturaya yansıyor.

Advisor, Claude Code’da modelin kritik anlarda daha güçlü ikinci bir modele danışmasını sağlıyor: bir yaklaşıma karar vermeden önce, aynı hatada takılınca, işi bitirmeden önce. Abonelikte de API’de de çalışıyor. Anthropic’in güncel modellerle ölçümünde danışmayı sık yapan tek eşleşme, bir kodlama benchmark’ında tek modelden 1,7 puan yüksek aldı; bu fark koşudan koşuya oynamanın sınırında, maliyet ise yaklaşık 2,1 kat. Model seyrek danıştığında eşleşme tek modelle aynı kaldı ya da daha düşük aldı.

Yerel model bu modellerin yerini tutar mı?

Bugünkü kanıtlarla, ana ajan olarak yerini tuttuğunu gösteren bir ölçüm yok. Bağımsız tablolarda açık ağırlıklı modeller de ölçülüyor, ama boyutu bilinenler sunucu sınıfında: örneğin GLM-5.3-Flash 320 milyar parametreli (her token’da 18 milyarı çalışıyor) ve Terminal-Bench 4.0’da Claude Code içinde %35,76 ± 3,54 alıyor. Dizüstü bilgisayara sığdığı belli olan bir modelin bağımsız kodlama ajanı ölçümünü bulamadık.

Donanım da sınır koyuyor. Ollama bağlam penceresini VRAM’e göre ayarlıyor: 24 GiB altında varsayılan bağlam 4K token. Kodlama araçları için ise en az 64.000 token öneriyor ve bağlam büyüdükçe bellek ihtiyacı da büyüyor. Google da Gemma 4 26B A4B için en az 24 GB VRAM ya da birleşik bellek öneriyor. Beş araçta yerel model şöyle bağlanıyor:

Kaynak: araçların ve Ollama’nın belgeleri, 20 Ekim 2026. Ollama, Claude Code ve Codex için de en az 64K bağlam istiyor.

Yerel model seçmek, kodun makineden çıkmayacağı anlamına gelmiyor. GitHub’ın notu bunu açıkça yazıyor: yerel bir model seçmek çevrimdışı modu açmıyor ve GitHub telemetrisini kapatmıyor; CLI’da çevrimdışı modu COPILOT_OFFLINE=true ile ayrıca açıyorsunuz. Cursor’da istekler, son prompt hazırlansın diye Cursor’ın sunucularından geçiyor. Kodunuz makineden çıkmamalıysa modelin yanında aracın bütün yolunu da kontrol edin.

Yerel modeli denemenin en mantıklı yeri, giriş kademesindeki modellerin yaptığı işler: kod tabanında arama, özet, sınıflandırma gibi okumaya dayalı ve çıktısı kontrol edilebilen işler. Bunu da kendi görevlerinizde ölçerek yapın; yukarıdaki bağımsız ölçümler bu boyuttaki modelleri kapsamıyor.

Hangi iş için hangi modeli seçmeli?

Kanıtların ortak noktası şu: orta kademe çoğu işte yetiyor, üst kademe uzun ve belirsiz işte fark yaratıyor, giriş kademesi yardımcı olarak ucuz kalıyor. Sık yapılan işler için üç ailedeki karşılıkları:

Kartların arkasındaki gerekçeler yukarıda. Günlük iş için orta kademe, çünkü Anthropic’in ölçümünde Sonnet’in varsayılanı Opus’un low’uyla aynı oranda çözdü, bağımsız dizinde de Sol medium’da Astra’nın max’teki puanına yetişti. Google ailesinde günlük iş için de Argon, çünkü bağımsız ölçümde 3.8 Flash ona yaklaşmadı. Uzun ve belirsiz iş için Anthropic’te ve Google’da üst kademe, çünkü ikisi de onu bu işe öneriyor ve fazladan puanlar zor görevlerde kazanılıyor; OpenAI’da ise Codex’in önerisi Sol’la kalıp effort’u yükseltmek. Anthropic’te Opus xhigh ya da max’te de yetmezse sıradaki basamak Fable 5.1. Giriş kademesi alt ajanda, çünkü kod yazmada geride ama kodu okuyup soru cevaplamada yakın.

Kendi işiniz için en güvenilir yol bir ölçüm. Satıcıların önerisi birbirine benziyor: Anthropic modelleri kendi işinizde, çözülen görev başına maliyetle ve en zor görevlerinizle karşılaştırmanızı, OpenAI aynı girdilerle deneyip kalite çıtanızı karşılayan en hafif ayarı seçmenizi öneriyor. Pratikte işinizden bir avuç görev seçin, her modeli kendi aracında birden çok kez çalıştırın, çözülen görev başına maliyeti ve süreyi yazın. Testiniz varsa önce ucuz ayarda çalıştırıp yalnızca başarısız olanları daha yüksek ayarda tekrarlayın; bunun neden ucuz olduğunu effort yazısında anlattık.