LiteLLM v1.108.0 LTS: Vertex Passthrough’taki Key Sızıntısı Kapandı

BerriAI, LiteLLM v1.108.0 sürümünü LTS olarak yayımladı; lts image tag’i artık bu sürümü gösteriyor. Sürüm, Vertex passthrough’taki virtual key sızıntısını ve retry breadcrumb’larına kimlik bilgisi kopyalanmasını kapatıyor, prompt_token_calculator yardımcısını ise kaldırıyor.

LiteLLM nedir, ne için kullanılır?

LiteLLM, farklı LLM sağlayıcılarını OpenAI uyumlu tek bir API arkasında toplayan açık kaynak bir Python kütüphanesi ve proxy sunucusudur. Ekipler onu model erişimini tek noktadan yönetmek, virtual key dağıtmak, bütçe koymak ve harcamayı izlemek için kullanır. Benzer işi gören AI gateway ürünleri arasında Portkey sayılabilir.

LiteLLM’i gateway olarak çalıştırıyorsanız LiteLLM v1.108.0 LTS sürümünde iki kimlik bilgisi sızıntısı kapanıyor. Yüzü aşkın değişiklik arasından yükseltme planını etkileyen üç başlık aşağıda.

Vertex passthrough ve retry kayıtları

Kendi kimlik bilgisi tanımlanmamış Vertex passthrough route’larında çağıranın virtual key’i sızıyordu (#38114). Router da forward edilen kimlik bilgilerini retry breadcrumb’larına kopyalıyordu (#38133). Bu iki yolu kullanıyorsanız yükseltmeyi öne alın, ardından eski log’larda key izi arayın ve gerekirse virtual key’leri yenileyin.

LiteLLM v1.108.0 içindeki breaking change’ler

İki commit ! ile işaretli. prompt_token_calculator tamamen silindi (#38132); kodunuz bu yardımcıyı çağırıyorsa güncellemeden sonra kırılır. Cerebras için get_supported_openai_params artık max_retries ve extra_headers döndürüyor (#36601).

Together AI host’u değişti

Varsayılan adres api.together.xyz yerine api.together.ai oldu. Egress firewall allowlist tutuyorsanız yeni host’u yükseltmeden önce ekleyin.

Yükseltme sırası

litellm-database image’ını kullanıyorsanız v1.108.0’a geçmeden önce veritabanı yedeği alın. Image’ı doğrulayın ve üretimde hareketli lts tag’i yerine sürümü sabitleyin:

cosign verify \
 --key https://raw.githubusercontent.com/BerriAI/litellm/e82a3c646908ba0a6ee0beddc4310d7a6cac4065/cosign.pub \
 ghcr.io/berriai/litellm:v1.108.0

Proje sayfası: BerriAI/litellm