Bu İleri Geçişi (Forward Pass) Mümkün Olduğunca Hızlı Yapın

Yapay zeka altyapılarında modelleri daha hızlı çalıştırma yarışı yeni bir boyuta taşınıyor. Flapping Airplanes, bir yandan Doom 1 oynarken diğer yandan verimli ileri (forward) ve geri (backward) geçişler yapabilen bir megakernel çatısı sergileyerek bir milyar dolar yatırım aldı. Başka bir yerde ise Hyperstition, her türlü model için yüksek performanslı çekirdekler (kernel) üreten Hyperkernel adlı yapısını geliştirdi.

Bir modeli daha hızlı hale getirmek, geleneksel olarak makine öğrenmesi (ML) derleyicilerinin (compiler) işiydi. Ancak tüm bu gelişmeler temel bir soruyu gündeme getiriyor: Artık ML derleyicilerine gerçekten ihtiyacımız var mı, yoksa optimizasyon işini doğrudan yapay zeka ajanlarına (agents) mı bırakmalıyız?

TVM Ekibinin Yaklaşımı: Doğrulama İçin Ortak Ara Temsil (IR)#

TVM üzerinde çalışan araştırmacılar da aynı soruyu soruyor: Ajanlar düşük seviyeli detayları kendileri halledebiliyorsa, onlarla donanım arasına hâlâ bir derleyici koymalı mıyız? Ekibe göre cevap evet, ancak farklı bir nedenle:

• Ajanların her çekirdek geliştirme döngüsünde ara temsili (IR) ve derleyici altyapısını sıfırdan icat etmesi yerine, minimal ve kararlı bir ML derleyici temeli tüm topluluk için ortak soyutlamalar ve yeniden kullanılabilir araçlar sunabilir.
• Çekirdek optimizasyonu özünde bir arama ve iterasyon sürecidir; harcanan token'lar ve araç çağrıları (tool calls) hem zamana hem de paraya mal olur.
• Bu aramayı optimize etmek, yerel optimumlarda (local optima) takılıp kalmayı önlemek ve üretilen çözümlerin doğruluğunu teyit etmek gerekir.
• TVM ekibi, bellek erişimi ve senkronizasyon gibi kritik noktalar için denetleyiciler geliştirerek ucuz doğrulama sağlamak adına IR yapılarını Lean ile resmileştirdi.

Gelecekte kod derleyen geleneksel bir derleyiciye ihtiyacımız kalmayabilir; ancak programları anlamak, analiz etmek ve doğrulamak için derleyici altyapısına ve ortak bir IR'a ihtiyaç duymaya devam edeceğiz.

Together Compiler (TKCC): Doğrudan Kaynak Kod Erişimi ve Maliyet Modelleri#

Optimize edilmiş çıkarım (inference) çekirdekleri üreten Together Compiler (TKCC) ekibi ise ara temsiller (IR) konusunda oldukça farklı bir sonuca ulaşıyor:

• Geleneksel IR yapılarını ifade gücü açısından sınırlı buluyorlar; zenginleştirilmiş Inductor IR bile belirli optimizasyonlara izin verecek kadar esnek değil.
• Ajanlara doğrudan kaynak kodu verildiğinde, ajanlar zamanlarının yaklaşık %20'sini motor dosyalarını okuyup ilgili kod yollarını ve çekirdek çağrılarını anlamaya harcıyor.
• Buna rağmen, kısıtlanmamış kaynak kodu erişimi daha yüksek bir performans tavanının kilidini açıyor.
• Arama uzayını daraltmak ve doğrulama yapmak için ileri geçişlerdeki varyasyonu dengeleyen ve hızlı iterasyon için anında değişim (hot-swapping) sunan katmanlı bir ampirik ölçüm çatısı kullanıyorlar.
• Pahalı ajan tabanlı optimizasyonlara yatırım yapmadan önce, teorik donanım kapasitesinden ölçülen hesaplama, bellek ve iletişim performansına kadar uzanan analitik tahminlerle en iyi top-k paralellik yapılandırmalarını sıralayan özel bir maliyet modeli (cost model) ile seçenekleri eliyorlar.

Yazılım Geliştirme ve Öğrenme Açısından Pratik Çıkarımlar#

Bu tartışma bize derleyicilerin yok olmadığını, aksine parçalarınayrılarak (decomposed) yeniden tanımlandığını gösteriyor. Modern yazılım mühendisliği ve Ölçeklendirme ve Optimizasyon süreçleri için buradan çıkarılabilecek temel dersler şunlardır:

• Ajan Maliyetlerini Yönetin: Ajan tabanlı kod optimizasyonunda arama uzayını analitik maliyet modelleriyle önceden daraltmak, gereksiz token ve çalışma süresi maliyetlerini önler.
• Doğrulama Altyapısına Yatırım Yapın: Ajanlara tam kaynak kod erişimi vermek performans tavanını yükseltse de, üretilen kodun güvenilirliği için otomatik doğrulama araçları ve sağlam test katmanları şarttır.