RL Ajanları Tek Kutuda Çalışırken Siz Hâlâ Paylaşımlı GPU'da mısınız? "One Sandbox Per Rollout" ve E-Ticaret Altyapısına Yansımaları

Sessiz Geçen Ama Önemli Bir Kırılma Noktası

Hugging Face'in yeni yayımladığı "One sandbox per rollout, or how labs run RL for agents in 2026" başlıklı teknik yazısı, çoğu e-ticaret ekibinin radarına girmiyor; çünkü başlığında "Shopify" ya da "ROAS" kelimesi yok. Oysa içinde anlatılan şey, önümüzdeki 12-18 ayda yapay zekâ destekli ürün öneri, dinamik fiyatlama ve kampanya optimizasyon modellerini nasıl eğiteceğinizi doğrudan etkiliyor.

Kısaca ne söylüyor bu yazı? 2026 itibarıyla önde gelen araştırma laboratuvarları, pekiştirmeli öğrenme (RL) ile ajan eğitiminde her rollout'u izole bir sandbox'ta çalıştırıyor. Aynı GPU havuzunu paylaşan çok sayıda paralel deneme yerine, her deneme kendi sıfırlanmış ortamında başlıyor ve bitiyor. Bunun sebebi teknik temizlik: bir ajanın aldığı aksiyonların bir sonraki denemeyi "kirletmemesi" için durum sızıntısını (state leakage) sıfıra çekmek.

Firma Tarafı Sorular

Bunu neden önemsemeli? Üç somut senaryo üzerinden gidelim:

1. Dinamik fiyatlama modeli eğitiyorsanız: Tek bir ortamda art arda deneme yapan bir RL döngüsü, önceki fiyat kararlarından kalan "bellek" nedeniyle sapmalı politika öğrenir. Sandbox izolasyonu olmadan eğittiğiniz model, gerçek mağaza ortamında hiç görmediği başlangıç koşullarıyla karşılaşır ve tahminler bozulur. Bu; "model bozuk" değil, "eğitim ortamı bozuk" sorunudur. İki durum birbirinden çok farklı aksiyon gerektirir.

2. Reklam teklif otomasyonu (bidding) için ajan kuruyorsanız: Google Ads veya Meta kampanyalarında teklif kararı veren bir RL ajanını eğitirken her episode'un bağımsız başlaması şarttır. Aksi hâlde ajan, budget-burn geçmişini bir sonraki episode'a taşır ve gerçekte var olmayan bir kısıtlamaya karşı "öğrenir". Sonuç: canlıya alındığında agresif ya da aşırı ihtiyatlı teklifler.

3. Kişiselleştirilmiş öneri ajanı için GRPO/PPO kullanıyorsanız: Hugging Face'in Async GRPO yazısıyla birlikte okuduğunuzda tablo netleşiyor: izole sandbox + asenkron rollout kombinasyonu, eğitim hızını düşürmeden veri kalitesini artırıyor. Küçük ekipler için bu, daha az GPU saatiyle daha güvenilir model demek.

Pratikte Ne Yapmalı?

Ekibiniz henüz RL tabanlı ajan eğitimine geçmediyse bile bu bilgi bugün işe yarar: mevcut A/B test altyapınıza bakın. Her deney kolu gerçekten izole mi başlıyor, yoksa önceki testin öneri geçmişi, sepet durumu ya da kullanıcı skoru yeni kola sızıyor mu? Birçok Shopify + üçüncü taraf öneri eklentisi bu izolasyonu garanti etmiyor.

Yapılacaklar listesi:

• RL veya ajan eğitimi planlıyorsanız, her rollout için Docker/container bazlı ortam sıfırlama rutini kurun; bunu "isteğe bağlı" değil mimari zorunluluk olarak belgeleyin.
• Mevcut A/B test setapınızda "state sızıntısı" denetimi yapın: kullanıcı segmenti, envanter durumu ve geçmiş oturum verisinin deney kolları arasında nasıl yönetildiğini belgeleyin.
• GPU maliyetini gerekçe gösterip izolasyondan kaçınıyorsanız, Async GRPO yaklaşımını inceleyin; aynı GPU bütçesiyle izole sandbox çalıştırmak artık teknik olarak mümkün.

Neden Şimdi?

Bu metodoloji 2026'da araştırma laboratuvarlarının standartı hâline geldi. Ürün öneri ve reklam optimizasyon satıcıları (vendor) bu yöntemi 12-24 ay içinde kendi arka uçlarına entegre edecek ve size "daha iyi model" olarak sunacak. O noktada seçenekleriniz kısıtlı; ama şimdi kendi eğitim altyapınızı bu standarda göre kuruyorsanız hem vendor bağımlılığını azaltırsınız hem de model kalite iddialarını bağımsız olarak test edebilirsiniz.

Yapay sinir ağları tabanlı RL sistemlerinde altyapı kararları, hiperparametre seçimleri kadar —hatta daha fazla— model performansını belirliyor. Bu farkı erken kavrayan e-ticaret ekipleri, ileride "neden modelimiz canlıda bozuluyor?" sorusunu sormak zorunda kalmıyor.