Together AI, GPU kernel optimizasyonunu coding agent’lara devretti

Together AI, GPU kernel’larını coding agent’larla üreten, test eden ve iyileştiren Together Compiler sistemini duyurdu. Optimizasyon döngüsü insan yönlendirmesi olmadan çalışıyor. Üretime deployment ise değişiklikleri inceleyen bir insan başlatmadan gerçekleşmiyor.

Together AI nedir, ne işe yarar?

Together AI, açık kaynak dil modellerini API üzerinden çalıştırmak ve fine-tuning yapmak için kullanılan bir bulut platformudur. Kendi GPU altyapısında inference hizmeti verir. Modeli kendi donanımında işletmek istemeyen geliştiriciler ve şirketler tercih eder. Fireworks AI ve Replicate benzer hizmet veren alternatiflerdir.

Together Compiler’da insan nerede duruyor

Together Compiler, agent’ın yazdığı kodu doğrudan üretime itmiyor. Kernel’ları birden fazla agent paralel yazıyor ve test ediyor. Sonuçlar bir sonraki denemeye girdi oluyor. Son değerlendirme ve deployment otomatik çalışıyor, fakat süreci bir insan başlatıyor ve değişikliği önce o inceliyor.

Bu ayrım, agent’la kod üreten her pipeline için kullanılabilir bir sınır çiziyor. Deneme döngüsü ucuz ve geri alınabilir, bu yüzden tamamen otomatik. Üretimdeki değişiklik müşteri trafiğini etkilediği için onay gerektiriyor.

Hız, deney sayısından geliyor

Sistemin asıl mühendislik hamlesi test süresinde. Her kod değişikliğinde inference engine yeniden başlamıyor. Engine açık kalıyor, yeni kod içeri yükleniyor. Şirketin verdiği rakamla başlatma süresi yaklaşık 467 saniyeden 9 saniyeye iniyor.

Hesap basit. 467 saniyelik döngüyle bir saate en fazla yedi deneme sığıyor. 9 saniyelik döngüyle aynı saate yaklaşık 400 deneme giriyor. “Bir gecede” iddiası buradan çıkıyor: agent’ın zekâsından çok geri bildirim süresinin kısalmasından.

252x ve 2.6x farklı şeyleri ölçüyor

Duyurudaki iki rakam kolayca karışıyor:

• 252x yerine düz okuyun: Together Compiler’ın, Apple’ın RSI Inference Bench harness’ına göre koşabildiği deney sayısı. Aynı iş yükü ve donanım kullanılmış, yalnız optimizasyon yaklaşımı değişmiş. Modelin hızıyla ilgisi yok.
• 2.6x: yayımlanmış benchmark yapılandırmalarına göre “en fazla” inference throughput artışı. Model ve donanıma bağlı, bağımsız doğrulaması yok.

Satın alma veya kapasite planı konuşurken sizi ilgilendiren yalnızca ikincisi. O da bir üst sınır, ortalama değil.

Together AI üzerinden inference alıyorsanız

Fiyat düşmüyor. Şirket aynı ücrete daha iyi performans vereceğini söylüyor. Faturada değişiklik beklemeyin; kazanç latency ve throughput’ta görünmeli.

Bunu kendiniz ölçün. Kullandığınız model için ilk token gecikmesini ve saniyedeki token sayısını şimdi kaydedin. Birkaç hafta sonra aynı prompt setiyle tekrar ölçün.

Together AI, agent’ın yazdığı kernel’ların çıktı doğruluğunu nasıl doğruladığını açıklamadı. Çıktı kalitesini izleyen bir eval setiniz varsa onu da aynı aralıkla çalıştırın. Kernel’lar arka planda değiştiği için bir fark görürseniz zamanlamayı bu değişikliklerle karşılaştırabilirsiniz.

Kendi GPU altyapınızda alınacak desen

Kendi inference sunucularınızı işletiyorsanız iki fikir doğrudan işe yarıyor:

• Geri bildirim süresini ölçün. Bir değişikliği test etmek dakikalar sürüyorsa agent da insan da az deneme yapar. Agent eklemeden önce engine başlatma süresini kısaltmak daha çok kazandırır.
• Agent kodunu onay kapısıyla ayırın. Deney ortamında agent serbest kalsın. Üretime giden adımı CI/CD’de manual approval adımına bağlayın ve onaylayan kişi diff’i görsün.

Şirketin gerekçesi de bu tasarımı açıklıyor: OpenRouter trafiğinin yüzde 80’i son üç ayda çıkan modellerden geliyor. Bir iş yükü için ayarlanmış kernel başka bir modelde aynı sonucu vermiyor. Kernel ayarını hâlâ elle yapıyorsanız, yeni model ritmine yetişip yetişmediğinizi son üç ayda kaç modeli yeniden ayarladığınızla ölçün.