Model Yönlendirme (Model Routing) Basit Görünür — Ama E-Ticaret Firmaları İçin Değil
"Hangi Modeli Kullanayım?" Sorusu Artık Çok Daha Pahalı
Yapay sinir ağları tabanlı sistemleri operasyona alan e-ticaret firmaları için şu an gündemde olan en kritik mühendislik kararlarından biri şu: Her görevi aynı LLM'e yönlendirmek mi, yoksa göreve özel model seçimi mi?
Hugging Face'in Temmuz 2026'da yayımladığı "Model Routing Is Simple. Until It Isn't." başlıklı teknik yazısı, bu soruyu salt akademik olmaktan çıkarıp operasyonel bir maliyet/kalite meselesine dönüştürüyor. Ve buradaki gerçek şu: Yanlış yönlendirme hem para yakıyor hem de müşteri deneyimini bozuyor.
Model Routing Nedir ve Neden Şu An Önemli?
Model routing, gelen bir görevi (kullanıcı sorusu, ürün arama, destek talebi, içerik üretimi vb.) değerlendirip en uygun LLM'e yönlendirme kararıdır. Büyük-pahalı model mi, küçük-hızlı model mi, özelleştirilmiş fine-tuned model mi?
Kulağa basit geliyor. Ama Hugging Face'in tespiti şu: Routing kararları genellikle statik kurallara veya sezgisel eşleşmelere dayanıyor. Gerçek üretim trafiğinde bu yaklaşım hem maliyet hem de yanıt kalitesi açısından önemli sapmalar yaratıyor.
E-ticaret bağlamında somutlaştıralım:
- Ürün arama sorgusunu GPT-4 sınıfı bir modele yönlendiriyorsanız, o iş için fazlasıyla pahalı bir araç kullanıyorsunuz demektir.
- Müşteri iade şikayetini küçük ve ince-ayarsız bir modelle yanıtlıyorsanız, hem yanlış bilgi riski hem de ton problemi yaratıyorsunuz.
- Kampanya metni üretimini her seferinde frontier modele attırıyorsanız, token maliyetiniz gereksiz yere tırmanıyor.
Statik Routing'in Kırıldığı Üç Nokta
1. Görev belirsizliği: Kullanıcıların sorularını önceden kategorize etmek çoğu zaman mümkün değil. "Bu ürün suya dayanıklı mı?" teknik bir sorgu mu, ürün bilgisi mi, müşteri desteği mi? Sabit kurallar bu belirsizliği çözemez.
2. Trafik yoğunluğu değişimi: Kampanya dönemlerinde sorgu hacmi 10-20x artabilir. Tüm trafiği büyük modele yönlendiren bir mimari, hem gecikme hem de maliyet patlaması yaşatır.
3. Model versiyonları güncellenince routing mantığı eskir: Yeni bir model sürümü belirli görevlerde hem daha ucuz hem daha iyi hale geldiğinde, statik routing bunu otomatik yakalayamaz.
Firma Olarak Ne Yapmalısın?
Görev taksonomisi oluştur: Önce kendi sistemindeki LLM görevlerini sınıflandır. Basit bilgi getirme, çok adımlı muhakeme, yaratıcı içerik, hassas veri işleme gibi kategoriler belirle. Her kategori için maliyet-kalite eşiğini tanımla.
Dinamik routing için basit bir classifier yeterli: Her görevi sınıflandırmak için karmaşık bir sisteme gerek yok. İnce-ayarlı küçük bir sınıflandırma modeli veya kural tabanlı + embedding benzerliği kombinasyonu çoğu e-ticaret senaryosunu karşılar.
Fallback mekanizması kur: Küçük model düşük güven skoru döndürüyorsa otomatik olarak büyük modele yükselt. Bu sayede hem maliyet optimize edilir hem de kritik görümlerde kalite korunur.
A/B testi yap, sezgiye güvenme: "Bu görev için frontier model daha iyidir" varsayımını ölçerek test et. Pek çok e-ticaret firması belirli görevlerde küçük modelin daha tutarlı sonuç verdiğini ancak ölçümleyince fark ediyor.
Maliyeti görev bazlı izle: Toplam LLM harcamasını değil, görev başına düşen token maliyetini izle. Hangi görev türünün en fazla maliyet yarattığını görmeden routing optimizasyonu kör bir operasyon olur.
Sonuç
Model routing, "hangi modeli kullanayım" sorusunun ötesine geçiyor. Operasyonel verimliliğin, müşteri deneyiminin ve LLM bütçesinin kesiştiği bir mimari karardır. Statik, "herkese aynı model" yaklaşımı küçük hacimlerde geçer. Ama büyüyen bir e-ticaret operasyonunda bu kararı sistematik hale getirmemek, her ay artan token faturasında ve müşteri şikayetlerinde kendini gösterir.