Residential Proxy GB Hesaplama: Aylık Kota Çalışma Kâğıdı

Residential proxy GB hesaplama tek bir çarpımdan çıkar: günlük sayfa sayısı, sayfa başına proxy’den geçen bayt, yeniden deneme payı ve gün sayısı çarpılır, sonuç gigabayta çevrilir. Zor olan çarpım değil, çarpanların doğru ölçülmesidir. Sayfa boyutunu tarayıcının gösterdiği rakamdan alan, yeniden denemeleri saymayan ve tarayıcı render’ını hesaba katmayan bir plan, gerçek tüketimin yarısını bile öngöremez.

GB bazlı ürünlerde yanlış hesabın iki sonucu vardır. Düşük tahmin ayın ortasında kotanın bitmesi ve işin durması demektir; yüksek tahmin ise kullanılmayan kotaya para bağlamaktır. ResidentialProxy kataloğundaki rotating IPv4 residential ürünü GB bazlı satılır, paketler tek seferlik faturalanır ve kota bitince ek paket alınır; süre sınırı olmadığı için kalan kota devreder. Bu yüzden hesap, ayı tutturmaktan çok ilk paketi doğru boyutta almak ve sonraki paketleri ölçülen tüketime göre seçmek içindir.

Bu rehber, static ile rotating arasındaki karar rehberinde kısaca değinilen GB maliyet modelini bir çalışma kâğıdına çevirir: önce sayacın neyi saydığı, sonra beş sayılık formül, ardından ölçüm yöntemi ve üç iş tipi için örnek hesap.

Proxy sayacı, gateway üzerinden geçen her baytı iki yönde sayar. Hedefe giden istek satırı, başlıklar ve varsa gövde; hedeften dönen durum satırı, başlıklar ve gövde. Tarayıcının geliştirici araçlarında görünen “boyut” çoğu zaman yalnız yanıt gövdesidir ve sıkıştırılmış halini gösterir; sayaç ise tel üzerinden geçen tüm baytı sayar. Aradaki fark küçük sayfalarda yüzde ona, çok başlıklı API isteklerinde daha fazlasına çıkar.

HTTPS hedeflerde TLS el sıkışması da tünelden geçer. Her yeni bağlantı birkaç kilobaytlık el sıkışma trafiği üretir; keep-alive kullanmayan ve her istek için yeni bağlantı açan bir istemcide bu maliyet binlerce istekte görünür bir paya dönüşür. Rotasyon için her istekte bağlantı kapatılıyorsa bu pay hesaba yazılır.

Yeniden denemeler, yönlendirmeler ve doğrulama sayfaları da sayılır. 429 ile dönen küçük bir yanıt az yer tutar, ama doğrulama sayfasının tam HTML’i ve 302 zincirinin her halkası kotadan düşer. Başarısız istek de trafiktir; hesapta başarı oranı değil toplam istek sayısı kullanılır.

Sayılmayan tek şey proxy’ye hiç gitmeyen trafiktir. İstemci görselleri, yazı tiplerini ve betikleri indirmiyorsa bunlar sayaçta görünmez. Tarayıcı otomasyonunda ise sayfanın çektiği her kaynak proxy’den geçer; bu yüzden aynı sayfa düz HTTP istemcisiyle birkaç yüz kilobayt, tarayıcıyla birkaç megabayt tutabilir.

Birinci sayı günlük istek sayısıdır. Sayfa değil istek sayılır: sayfalandırılmış bir sorgu on istektir, bir ürün sayfası ile fiyat API’si iki istektir. Günlük işin tüm adımları toplanır.

İkinci sayı istek başına ortalama bayttır. Bu sayı ölçülür, tahmin edilmez; ölçüm yöntemi bir sonraki bölümde. İstek türleri farklı boyuttaysa (liste sayfası ile detay sayfası gibi) her tür için ayrı ölçüp ağırlıklı ortalama alınır.

Üçüncü sayı yeniden deneme ve doğrulama payıdır. Deneme taramasında toplam istek sayısının başarılı istek sayısına oranı bu payı verir; korumasız hedeflerde yüzde beş, korumalı hedeflerde yüzde yirmi ve üstü görülür. Oran ölçülmeden önce yüzde yirmi ile başlamak güvenli bir varsayımdır ve ilk haftanın sonunda düzeltilir.

Dördüncü sayı render çarpanıdır. Düz HTTP istemcisi için bir; tarayıcı otomasyonu için sayfanın çektiği kaynakların toplamının HTML boyutuna oranı. Görsel ve yazı tipi engellenmiş bir tarayıcıda bu çarpan iki ile dört arasında, engellenmemişte on ve üstünde çıkabilir. Değer de ölçülür.

Beşinci sayı çalışma gün sayısıdır. Her gün çalışan bir iş için otuz; yalnız hafta içi için yirmi iki; kampanya dönemlerinde yoğunlaşan bir iş için yoğun ve sakin günlerin ayrı ayrı toplamı.

Formül: günlük istek × istek başına bayt × (1 + yeniden deneme payı) × render çarpanı × gün sayısı. Sonuç bayt cinsindendir; bir milyar bayt yaklaşık bir gigabayt sayılır. Çıkan rakamın üstüne yüzde on güvenlik payı konur ve bir üst pakete yuvarlanır.

Birinci adım: En küçük paketle, katalogdaki 2 GB paketle başlayın ve gerçek işin küçük bir örneğini çalıştırın. Örnek, işin her istek türünü içermelidir: liste, detay, API ve varsa giriş adımı. Birkaç yüz istek çoğu iş için yeterli bir örnektir.

İkinci adım: İstemci tarafında her isteğin gönderilen ve alınan baytını loglayın. HTTP kütüphanelerinin çoğu yanıt gövdesinin boyutunu verir; başlıkları ve el sıkışmayı saymak için panel sayacıyla karşılaştırma yapılır. Taramanın başında ve sonunda panelde kalan kotayı not edin; aradaki fark gerçek tüketimdir.

Üçüncü adım: Panel farkını istemci logundaki toplama bölün. Bu oran, logda görünmeyen başlık, el sıkışma ve yeniden deneme yükünü tek bir çarpan olarak verir. Oran birin çok üstündeyse istemci ya gereksiz bağlantı açıyor ya da logda görünmeyen yeniden denemeler yapıyordur; önce bu bulunur, sonra hesaba devam edilir.

Dördüncü adım: Panel farkını istek sayısına bölün; bu, hesaba yazılacak istek başına bayttır. Aynı taramada toplam istek sayısını başarılı istek sayısına bölerek yeniden deneme payını, tarayıcı kullanıyorsanız toplam baytı HTML baytına bölerek render çarpanını alın. Üç sayı tek taramadan çıkar.

Beşinci adım: Taramayı günün farklı saatlerinde bir kez daha yapın. Hedef siteler kampanya dönemlerinde sayfaya daha fazla içerik ekler, doğrulama sıklığı saate göre değişir. İki tarama arasındaki fark, güvenlik payının ne kadar olması gerektiğini söyler.

Birinci örnek, arama sonucu takibi: Günde 600 sorgu, sorgu başına tek istek, deneme taramasında istek başına 300 KB ölçülmüş olsun. Yeniden deneme payı yüzde yirmi, render çarpanı bir, otuz gün. Hesap: 600 × 300 KB × 1,2 × 30 = yaklaşık 6,5 GB. Yüzde on payla 7,1 GB; katalogdaki 10 GB paket bu işi bir ay taşır ve kalan kota devreder.

İkinci örnek, e-ticaret fiyat takibi: Günde 20.000 ürün sayfası, sayfa başına 150 KB HTML, ayrıca her sayfada 20 KB’lık bir fiyat API’si çağrısı. İstek sayısı günde 40.000, ağırlıklı ortalama 85 KB. Yeniden deneme payı yüzde on, render çarpanı bir, otuz gün. Hesap: 40.000 × 85 KB × 1,1 × 30 = yaklaşık 112 GB. Yüzde on payla 123 GB; katalogdaki 100 GB paket ile 20 GB paketin toplamı ya da iki ayrı 100 GB paket. Birinci ayın gerçek tüketimi ikinci ayın paketini belirler.

Üçüncü örnek, tarayıcıyla açılan korumalı sayfa: Günde 2.000 sayfa, HTML 200 KB, görsel ve yazı tipi engellenmiş tarayıcıda render çarpanı üç, doğrulama ve yeniden deneme payı yüzde otuz, yalnız hafta içi yirmi iki gün. Hesap: 2.000 × 200 KB × 1,3 × 3 × 22 = yaklaşık 34 GB. Yüzde on payla 38 GB; 50 GB paket uygundur. Aynı iş görsel engeli olmadan on kat büyüyebilir; render çarpanı bu yüzden ölçülmeden yazılmaz.

Üç örnekte de rakamlar varsayımdır ve yalnız yöntemi gösterir; kendi hesabınızda deneme taramasının verdiği değerler kullanılır.

Kataloğun rotating IPv4 residential paketleri 2, 10, 20, 50 ve 100 GB’dır ve 10 GB’dan itibaren GB başına fiyat aynı düzeyde kalır; yalnız 2 GB paketin birim fiyatı biraz üstündedir. Yani büyük paket almak birim maliyeti düşürmez; seçim, hesabın güvenilirliğine ve nakit akışına göre yapılır.

Hesap deneme taramasına dayanıyorsa aylık tüketimi karşılayan en küçük paket alınır. Hesap henüz tahminse ilk ay küçük paketle başlanır, gerçek tüketim ölçülür ve ikinci ayın paketi ona göre seçilir. Paketler tek seferlik ve süresiz olduğu için küçük başlamanın cezası yoktur; kota bitince ek paket alınır, kalan kota kaybolmaz.

Kademeli alımın tek maliyeti dikkat gerektirmesidir: kota biterken iş durur. Panelde kalan kota düzenli izlenir ve belirli bir eşiğin altına inince yeni paket alınır. Sürekli çalışan bir işte bu eşik, en az iki günlük tüketime karşılık gelen kotadır.

Görselleri ve betikleri indirmek: Düz HTTP istemcisinde sayfanın HTML’i yeter; tarayıcıda görsel, yazı tipi ve medya istekleri engellenir. Bu tek ayar tarayıcı tabanlı işlerde tüketimi en çok düşüren adımdır.

Sıkıştırmayı kapalı bırakmak: İstemci sıkıştırılmış yanıt kabul ettiğini bildirmezse hedef metni ham gönderir. HTML’de sıkıştırma oranı birkaç kat tutar; bu başlığın eksikliği hesabı tek başına katlar.

Aynı oturumda yeniden denemek: 403 ya da doğrulama sayfası alan bir istek aynı oturum kimliğiyle tekrar edilirse aynı sonucu alır ve her tekrar kotadan düşer. Hata sınıfına göre oturum değiştirme kuralı yoksa yeniden deneme payı hızla büyür.

Yönlendirme zincirini izlemek: Bazı sayfalar birkaç yönlendirmeyle açılır ve her halka ayrı istektir. Nihai adres bilinip doğrudan istenebiliyorsa zincir atlanır.

Gereksiz sayfaları çekmek: Değişmeyen sayfaları her gün yeniden indirmek yerine değişiklik işareti taşıyan başlıklar kullanılır; hedef desteklediğinde değişmeyen sayfa gövdesiz döner.

Başarısız işi loglamadan bırakmak: Hangi isteklerin tekrarlandığı, hangi hedeflerin doğrulama sayfası döndürdüğü loglanmazsa yeniden deneme payı ölçülemez ve hesaptaki en belirsiz çarpan belirsiz kalır.

Hesap bir kez yapılıp bırakılmaz. Her hafta panelde harcanan kota, istemci logundaki toplam baytla karşılaştırılır. Oran deneme taramasındaki orandan uzaklaşıyorsa sebep aranır: hedef sayfaya içerik eklemiştir, doğrulama sıklığı artmıştır ya da istemcide bir ayar değişmiştir.

Günlük tüketim grafiği düz bir çizgi değil, iş planına uyan bir eğri olmalıdır. Plan dışı bir sıçrama çoğu zaman bir hata döngüsüdür: yönlendirme döngüsü, aynı oturumda tekrar eden 403 ya da engeli kaldırılmış görsel istekleri. Sıçrama görüldüğü gün loglardan hangi hedefin ve hangi hata sınıfının büyüdüğüne bakılır.

Ay sonunda gerçek tüketim, hesaptaki beş sayıyla yeniden karşılaştırılır ve sapma hangi çarpandaysa o çarpan düzeltilir. İkinci ayın paketi bu düzeltilmiş hesapla alınır; üçüncü aydan sonra hesap genellikle yüzde on payın içinde kalır.

GB paketinin süresi var mı? ResidentialProxy’de rotating IPv4 residential paketleri tek seferlik faturalanır ve süre sınırı yoktur; kota veri hacmiyle biter ve kalan kota sonraki aya devreder.

Başarısız istekler kotadan düşer mi? Evet. Proxy’den geçen her bayt, yanıt kodundan bağımsız olarak sayılır. Doğrulama sayfaları ve yeniden denemeler bu yüzden hesapta ayrı bir çarpan olarak tutulur.

Tarayıcı otomasyonunda hesap nasıl değişir? Render çarpanı eklenir: sayfanın çektiği tüm kaynakların toplamının HTML boyutuna oranı. Görsel ve yazı tipi engelli tarayıcıda bu çarpan ölçülür ve formüle yazılır; engelsiz tarayıcıda hesap çoğu zaman anlamsız büyür.

Sticky oturum GB tüketimini değiştirir mi? Doğrudan değil; sayaç bayt sayar, oturum sayısını değil. Dolaylı etkisi vardır: akış ortasında IP değişmediği için düşen oturum ve yeniden deneme azalır, bu da yeniden deneme payını küçültür.