Model Yönlendirme Basit Görünür — Ama Değildir: E-Ticarette Dinamik Model Seçiminin Operasyonel Karşılığı
"Hangi Modeli Kullanıyorsun?" Sorusu Artık Yeterli Değil
E-ticaret ekiplerinin yapay zekâ araç seçimi yaparken sorduğu soru genellikle şu oluyor: "GPT mi kullanalım, Claude mu, Gemini mi?" Bu soru yanlış değil, ama eksik. Çünkü gerçek operasyonel zorluk tek bir model seçmek değil; farklı görevler için doğru modeli, doğru anda, doğru maliyetle yönlendirmektir.
Hugging Face'in yakın dönemde yayımladığı "Model Routing Is Simple. Until It Isn't." başlıklı teknik yazısı tam da bu kırılma noktasını ele alıyor. Konu, araştırma camiasında yeni değil — ama e-ticaret firma tarafında pratiğe dökülmesi hâlâ çok sınırlı.
Sorunun Anatomisi: Neden Tek Model Yetmez?
Orta ölçekli bir e-ticaret operasyonunda yapay zekânın dokunduğu görev tipleri birbirinden çok farklıdır:
- Ürün açıklaması üretimi: Düşük gecikme, yüksek hacim, ortalama kalite yeterli.
- Müşteri şikâyeti sınıflandırma: Hız kritik, bağlam penceresi kısa, küçük model işe yarar.
- Fiyat optimizasyon kararı: Bağlamsal akıl yürütme gerekir, hata maliyeti yüksek, güçlü model şart.
- Kampanya metni A/B testi: Yaratıcılık + marka sesi dengesi, orta segment model uygun.
Bunların hepsini tek bir "en iyi" modele göndermek ya kaliteyi düşürür ya maliyeti patlatır ya da ikisini birden yapar.
Dinamik Yönlendirme Nasıl Çalışır?
Model routing, gelen görevi önce sınıflandırır — sonra bu sınıfa karşılık gelen modele iletir. Sınıflandırma kriterleri şunlar olabilir:
- Görev karmaşıklığı: Basit etiketleme mi, çok adımlı akıl yürütme mi?
- Gecikme toleransı: Kullanıcı ekranda mı bekliyor, yoksa arka planda batch mı işleniyor?
- Bağlam uzunluğu: 200 token mu, 20.000 token mu?
- Hata maliyeti: Yanlış cevabın operasyonel etkisi ne?
Bu kriterlere göre tasarlanmış bir yönlendirme katmanı, aynı iş yükünü hem daha ucuza hem daha hızlı hem de görev başına daha doğru şekilde çalıştırabilir.
Firma Tarafında Gerçek Zorluk: "Basit Görünen" Kısım
Hugging Face'in yazısının başlığındaki incelik şurada: Routing basit görünür — çünkü kavramsal olarak "şuna git, buna git" meselesi. Ama pratikte:
- Sınıflandırıcının kendisi de bir model; hatalı sınıflandırma tüm zinciri bozar.
- Eşik değerleri (ne zaman küçük modeli, ne zaman büyüğü kullan) statik değil; veri dağılımı değiştikçe kayar.
- Farklı modeller farklı prompt formatı ister; "evrensel prompt" diye bir şey yoktur.
- Maliyet-kalite dengesi sadece token fiyatıyla değil, yanlış kararın operasyonel maliyetiyle ölçülmelidir.
E-Ticaret Firması Ne Yapmalı? Somut Adımlar
1. Görev envanteri çıkar, önce kâğıt üzerinde: Yapay zekânın dokunduğu ya da dokunması planlanan her görevi listele. Her satıra şunu yaz: gecikme toleransı, ortalama token uzunluğu, hata maliyeti (düşük/orta/yüksek).
2. Küçük-büyük model ayrımını maliyetle test et: Fiyatlandırma kararları veya müşteri iade gerekçesi analizi gibi yüksek hata maliyetli görevleri güçlü modelle, katalog etiketleme veya basit sınıflandırmayı küçük/hızlı modelle karşılaştırmalı test et. Kalite farkı ne zaman anlamlı hale geliyor, bunu ölçmeden yönlendirme tasarlanamaz.
3. Sınıflandırıcıyı ayrı izle: Routing katmanına bir sınıflandırıcı koyuyorsan onun performansını ayrıca logla. Hangi görev tipini yanlış sınıflandırdığını görmeden sistemi iyileştiremezsin.
4. Eşik değerlerini statik bırakma: Ürün kataloğu, sezon, kampanya döngüsü değiştikçe gelen sorguların dağılımı değişir. Eşikleri periyodik olarak güncelle — tercihen bir haftalık log analiziyle.
Sonuç: "Hangi Model?" Değil, "Ne Zaman Hangi Model?"
Yapay sinir ağı tabanlı dil modellerini operasyonel bir araç olarak kullanan e-ticaret firmaları için asıl rekabet avantajı model seçiminde değil, model yönlendirmesindedir. Aynı bütçeyle daha fazla görev kaliteli çıktıyla kapatılabilir — ama bunun için routing altyapısının, sınıflandırma mantığının ve izleme katmanının bilinçli tasarlanması gerekir. Bu iş "plug and play" değildir; ancak bir kez oturursa operasyonel verimlilik üzerindeki etkisi kalıcıdır.