Revolut, self-hosted LLM ile AI coding maliyetini 10 kat düşürdü

Revolut, AI coding araçlarında self-hosted LLM’i varsayılan yapınca inference (çıkarım) maliyetini bir yıldan kısa sürede yaklaşık yüzde 90 düşürdüğünü açıkladı. Şirket, yaklaşık 2.000 mühendisine GLM-5.3 modelini 56 Nvidia B200 GPU üzerinde servis ediyor. Claude ve GPT tamamen bırakılmadı: görsel içerikli istekler bir model router ile Gemini veya GPT Luna’ya gidiyor.

Kısaca GLM nedir

GLM, Çinli Z.ai şirketinin geliştirdiği büyük dil modeli ailesidir. Ağırlıkları açık yayımlanan sürümleri kurumlar kendi sunucularında veya bulut GPU’larında çalıştırabiliyor. Kod üretimi ve agent iş akışlarında kullanılıyor. Benzer açık ağırlıklı alternatifler arasında Qwen, DeepSeek ve Llama modelleri sayılabilir.

Token ucuzlayınca kullanım biçimi değişiyor

Haberin asıl dersi GPU sayısında yatmıyor. Revolut, mühendis başına aylık 1.000 ile 10.000 dolar arası harcamayı görünce sıkı bütçe limiti koymuş. Limit gelince mühendisler token’ı çeyrek sonuna veya en zor işe saklamaya başlamış.

Self-hosted LLM ile milyon token başına maliyet 0,30 dolara inince bu davranış bitmiş. Abitbol’a göre kazancın çoğu kod yazmadan gelmemiş. Debugging, Jira ve Confluence ticket’ları modele devredilince darboğaz açılmış. Limitli ticari API ekibi modeli yalnızca pahalı işlerde kullanmaya itiyor, kazancın çoğu ise sıradan işlerde çıkıyor.

Revolut’un self-hosted LLM kurulumu

• Model: önce GLM-5.1, ardından GLM-5.3. GLM-5.1 yaklaşık 754 milyar parametreli, token başına 40 milyarı aktif.
• Donanım: 56 adet B200, sekiz GPU’lu yedi DGX B200 sistemine denk.
• Performans: GPU eklemekten gelmemiş; NVFP4 quantization, disaggregated prefill ve decode, hiperparametre ve context uzunluğu ayarı belirleyici olmuş.
• Hedef: 256 bin token context’te 3 saniyenin altında time to first token, saniyede yaklaşık 200 token.
• Yönlendirme: kod GLM’de kalıyor, vision istekleri model router üzerinden Gemini veya GPT Luna’ya gidiyor.

Bellek hesabı ve context window sınırı

Yalnızca ağırlıklar yaklaşık 380 GB GPU belleği istiyor. Üstüne kullanıcı başına, precision’a göre 6 ile 26 GB context belleği ekleniyor. Aynı anda 20 aktif kullanıcı, precision’a bağlı olarak 120 ile 520 GB arası ek bellek gerektirir.

Abitbol’un “Long context is a scam” çıkışının arkasında bu hesap var. Bir milyon token’lık context window servis edebilmek, o pencereyi verimli kılmıyor. Revolut 256 bine çekilerek bellekten ve gecikmeden kazanmış. Kendi kurulumunuzda maksimum context’i ekibin gerçekte kullandığı uzunluğa göre ayarlayın, modelin desteklediği değere göre ayarlamayın.

Elinizdeki GPU belleğini görmek için:

nvidia-smi --query-gpu=name,memory.total --format=csv

Self-hosted LLM’e geçmeden önce ölçün

Ticari API faturanızı mühendis ve iş türü bazında ayırın. Harcama birkaç kişide toplanıyorsa GPU yatırımı erken olabilir. Revolut ölçeğinde 2.000 mühendis var, GPU başına yaklaşık 36 mühendis düşüyor.

Gecikme hedefini kullanıcıya göre koyun. Revolut’un verisi net: TTFT 5 saniyeyi geçince Slack şikâyetleri başlıyor. Throughput ikinci planda kalıyor, çünkü mühendisler görevleri paralel çalıştırıp iş bitince dönüyor. Mesai sonrası hızın saniyede 800 token’a çıkması, kapasitenin gün içi yoğunluğa göre planlandığını gösteriyor.

Router’ı baştan tasarlayın. GLM yalnızca metin işliyor, UI işi için ikinci bir sağlayıcı gerekiyor. Tek modele geçmek yerine varsayılanı açık model yapıp frontier modelleri istisna olarak bırakın.

Hesapta görünmeyen maliyetler

0,30 dolarlık rakam GLM 5.1 için verilmiş. Revolut, 56 B200’ün donanım veya bulut kirası payının bu rakama dahil olup olmadığını açıklamadı. Kendi karşılaştırmanızda GPU, enerji ve cluster’ı işletecek ekibin zamanını ayrı satırlara yazın. Sabit fatura bill shock’u bitiriyor, fakat kapasite yetmezse maliyet yerine gecikme artıyor.

Abitbol, Çin menşeli open weights modellerde riskin Çin’den çalışan API’lere erişimde olduğunu söylüyor. Ona göre on-prem veya bölgesel bulutta endişeye gerek yok. Değerlendirmeyi bir şirket yöneticisi yapıyor. Self-hosted LLM çalıştırsanız da ağırlık dosyalarının kaynağını ve bütünlüğünü doğrulayın, model sunucusunun dışarı giden trafiğini firewall ile kısıtlayın. Regüle bir sektördeyseniz uyum ekibinin onayını rollout’tan önce alın.