Together Compiler inference’ı trafik değiştikçe yeniden ayarlıyor

Together AI, üretim trafiği değiştikçe inference (çıkarım) motorunu yeniden optimize eden agent tabanlı Together Compiler (TKCC) sistemini duyurdu. Sistem şirketin bazı serverless endpoint’lerinde çalışıyor. Şirketin kendi ölçümüne göre InferenceX’in en iyi yayımlanmış yapılandırmalarına karşı TPS artışı 2,6 kata kadar çıkıyor.

Together AI nedir, ne işe yarar?

Together AI, açık kaynak dil modellerini API üzerinden çalıştıran bir yapay zekâ bulut platformudur. Geliştiriciler modelleri kendi GPU altyapılarını kurmadan serverless endpoint’ler üzerinden çağırır, fine-tuning ve özel GPU cluster’ları için de platformu kullanır. Benzer hizmet veren alternatifler arasında Fireworks AI sayılabilir.

Bir kez ayarlanan motor eskiyor

Bir inference motorunu bir kez ayarlayıp bırakırsanız, ayarlar ayarı yaptığınız günkü trafiğe göre kalır. Together AI bunu bir örnekle anlatıyor. Bir müşterinin P90 input uzunluğu üç günde 18K token’dan 33K token’a çıkmış.

Together Compiler bu kaymayı bir döngüye bağlıyor. Sistem bir sunucu başlatma komutuyla trafik profilini ve donanım yapılandırmasını alıyor. Coding agent’lar modelin forward pass’ini yeniden yazıyor, kazanan kod serving motoruna giriyor. Trafik kayınca döngü yeniden dönüyor.

Together AI sistemi şimdilik kendi serverless endpoint’lerinde çalıştırıyor. Kendi donanımınıza kurabileceğiniz bir sürümden söz etmiyor. Yazının sizin için değeri büyük ölçüde yöntemde.

Random veriyle yapılan tuning yanıltıyor

Kendi GPU’larınızda model servis ediyorsanız en işe yarar bölüm bu. Random input’lar, gerçek trafiğe göre yüzde 13 ile 38 arasında daha fazla MoE expert’i aktive etmiş. Agent’ın yazdığı bir top-k kernel random veride 20 µs sürmüş. Aynı kernel 70K context’li gerçek veride 62 ms’ye kadar çıkmış, yani yaklaşık 3.100 kat fark.

VLLM, SGLang veya TensorRT-LLM işletiyorsanız kapasite testini sentetik prompt’la yapmayın. Kendi log’larınızdan çıkardığınız uzunluk dağılımını kullanın. P90 input uzunluğunu bir metrik olarak izleyin; üç günde neredeyse iki katına çıkabilen bir değeri aylık planlamayla yakalayamazsınız.

Motoru yeniden başlatmadan ölçmek

Agent döngülerinin çoğu her denemede motoru yeniden başlatıyor. MiniMax M3.1 Flash için TensorRT-LLM cold start süresi 761 saniye ölçülmüş. Her denemede 12 dakikadan fazla boş bekleniyor.

Together Compiler motoru bir kez başlatıyor. Aday forward pass RPC üzerinden geliyor. Sunucu forward function pointer’ını değiştirip CUDA graph’ları yeniden yakalıyor. Ölçüm iki katmanlı: 12 katmanlı hızlı tier eleme yapıyor, 60 katmanlı yavaş tier kazancı gerçek dağılımda doğruluyor. Bu düzen tek yavaş tier’a göre 1.354’e karşı 168 aday denemiş.

Agent kullanmasanız da çıkarım aynı. Kernel veya yapılandırma denemelerinde süreyi startup yiyorsa, önce ölçüm altyapısını o maliyete göre kurun.

Rakamlar kendi ölçümleri ve modele göre değişiyor

Başlıktaki 2,6 kat, batch size 1 tablosunda görünmüyor. Tablodaki en yüksek fark MiniMax M3.1 Flash’ta: 633’e karşı 1.111 TPS, yani 1,8 kat. Kimi K3’te artış 423’ten 450’ye, MI355X üzerindeki GLM 5.3’te 463’ten 480’e çıkıyor. İkincisi yaklaşık yüzde 4.

MiniMax kazancının bir kısmı agent’ın yazdığı koddan gelmiyor. Cost model, baseline’ın TP4’ü yerine TP8 seçmiş; memory-bound decode’da her GPU’nun weight trafiği yarıya iniyor. Kimi K3’te yalnızca layout değişikliği TPS’i yüzde 24’e kadar artırmış. Kendi deployment’ınızda tensor parallel derecesini decode yüküne göre yeniden ölçmek için agent gerekmiyor.

Together AI bit-exact çıktıyı yalnızca 8 bilimsel model için belirtiyor. Together endpoint’lerini kullanıyorsanız forward pass sizden habersiz değişebilir. Kendi değerlendirme setinizi düzenli aralıklarla çalıştırıp çıktı kalitesini regresyon testi gibi takip edin.

Uzman bilgisi agent’ları yavaşlattı

Uzmanların hazırladığı bilgi tabanı, 12 saat sonunda yüzde 25 ile 31 arasında daha düşük hızlanma vermiş. Forward pass’i “as fast as possible” yapması istenen sade agent’lar 10 denemede 6,2 kata, uzman stratejileri 4,9 kata ulaşmış. Özel log yapıları tool call’ların yüzde 43’üne kadarını tüketmiş. Together AI artık agent’lara ara temsil yerine motorun ham kaynak kodunu veriyor.

Kendi ekibinizde coding agent’larla performans işi yaptırıyorsanız bu sonuç doğrudan uygulanabilir. Agent’ı özel wrapper’lar ve uzun talimat dosyalarıyla sarmak yerine gerçek kaynak koda erişim verin, tool call bütçesini neyin yediğini ölçün. Karşılaştırma için: Claude Code /goal ile aynı bilimsel modellerde 1,2 ile 4,4 kat arasında kalmış ve AIFS-ENS 2.0’da başarısız olmuş.