GPU Atıl Kalırken Para Yakmak: E-Ticaret Firmalarının AI Altyapı Maliyetlerini Düşürmenin Gerçek Yolu
"Sunucu Açık, Ama İş Yapmıyor" Problemi
Hugging Face'in bu hafta yayımladığı "GPU Management: Why Idle GPUs Are the New Grounded Aircraft" başlıklı teknik yazısı, e-ticaret firmalarının AI altyapısını nasıl yanlış kurguladığını somutlaştıran nadir içeriklerden biri. Havacılık dünyasında yerde bekleyen bir uçak, her dakika maliyet üretir; ne kargo taşır ne yolcu. Atıl GPU tam olarak budur — açık, fatura kesen, ama çıktı üretmeyen bir kaynak.
Bu, "AI bütçemi nasıl optimize ederim?" sorusunun cevabı değil. Asıl soru şu: Firma olarak AI iş yükünü hiç ölçtünüz mü?
Sorun Neden E-Ticaret'e Özgün Biçimde Dokunuyor?
E-ticaret AI iş yükü döngüseldir. Gece 02:00'de trafik düşer; kampanya dönemlerinde (Black Friday, bayram öncesi) zirveye çıkar. Ama firmalar çoğunlukla zirve için boyutlandırır — ve bu kapasiteyi tüm yıl ayakta tutar.
Pratik senaryolar:
- Ürün açıklaması üretimi: Toplu çalıştırmaya uygundur. Gece işletilmesi mantıklıyken, büyük firmaların büyük çoğunluğu bunu gündüz, canlı envanter güncelleme döngüsüne bağlayarak sürekli kaynak tüketir.
- Öneri motoru çıkarımı (inference): Kullanıcı oturumu varken tetiklenmeli. Oturum yokken GPU bekliyorsa bu saf israftır.
- Görsel optimizasyon modelleri: Katalog güncellemeleri genellikle haftada birkaç kez gerçekleşir. Ama model her zaman ayakta durur.
Hugging Face yazısının önerdiği çerçeve şu: iş yükünü latency-sensitive (gecikmeye duyarlı) ve batch-tolerant (toplu çalışmaya uygun) olarak ikiye ayır. Birincisi için minimum canlı kapasite, ikincisi için spot instance veya zamanlı çalıştırma yeterlidir.
Firma Tarafında Ne Yapılmalı?
1. İş Yükü Envanteri Çıkar
Hangi AI modeli ne zaman çağrılıyor? Bunun cevabı olmadan hiçbir optimizasyon anlamlı değil. Basit bir log analizi bile genellikle şunu ortaya çıkarır: trafiğin %70'i günün %20'lik dilimine sığıyor.
2. "Her Zaman Açık" Varsayımını Sorgula
Shopify üzerinde çalışan bir mağaza için öneri motoru her saniye tetiklenmiyor. Oturum tabanlı tetikleme + soğuk başlatma süresi (cold start) dengesini hesapla. Çoğu e-ticaret senaryosunda 800ms–1.2sn cold start toleranslıdır.
3. Spot ve Zamanlanmış Instance Kullan
Toplu ürün açıklaması üretimi, stok tahmin modelleri, kampanya döneminde önceden hesaplanan kişiselleştirme skorları — bunların tamamı gece saatlerinde spot instance üzerinde çalışabilir. AWS'de spot, aynı GPU kapasitesinin sabit fiyatının %60–80 altında kalır.
4. Model Ağırlığını İş Değeriyle Eşleştir
7B parametre ile yapılabilecek bir iş için 70B model ayakta tutmak en yaygın ve en sessiz maliyet kaynaklarından biridir. Ürün başlığı önerisi için büyük model gerekmez; segmente özel ince ayarlı (fine-tuned) küçük model hem daha hızlı hem daha ucuz çalışır.
Neden Şimdi?
Yapay sinir ağları tabanlı araçların e-ticarette kullanımı artık "deneysel" değil; operasyonel bütçenin bir parçası. Ancak bu bütçe hâlâ "AI harcadık mı?" sorusuyla değil, "AI ne üretiyor, ne kadara mal oluyor?" sorusuyla yönetilmeli.
Atıl GPU maliyeti, küçük firmalar için aylık birkaç yüz dolar gibi görünse de; büyüyen katalog, çok dilli içerik üretimi ve gerçek zamanlı kişiselleştirme ihtiyaçları birleşince yıllık on binlerce dolara dönüşür. Ve bu maliyetin büyük kısmı kimsenin fark etmediği bir satırda oturur.
Atıl GPU, kötü bir AI kararının değil; iş yükü planlaması yapılmamış bir altyapının sonucudur. Bu ayrımı yapmak, her şeyi değiştirir.