Korumalı Sitelerde Scraping: Residential Proxy Rehberi

Korumalı sitelerde scraping, bot koruması çalıştıran hedeflerden herkese açık veriyi toplamaktır ve bu sitelerde ilk engel IP adresinin kaynağıdır. Bot koruması, gelen isteğin IP’sini otonom sistem numarasına (ASN) göre sınıflar; sunucu barındırma şirketlerine kayıtlı adres blokları konut aboneliklerinden gelen adreslerle aynı güven puanını almaz. Datacenter IP’den gelen istek, daha ilk sayfada sorgulanır ya da doğrudan reddedilir. Residential proxy bu ilk engeli kaldırır: istek, bir internet servis sağlayıcısının abonesine ait bir adresten çıkar ve koruma katmanı onu sıradan bir ziyaretçi olarak sınıflar.

Örnekler ResidentialProxy kataloğundaki Rotating IPv4 Residential ve Static IPv4 Residential ürünleriyle çalışır. IP itibarı işin yalnız bir parçasıdır; korumalı site aynı anda isteğin hızına, oturumun tutarlılığına ve tarayıcı kimliğine de bakar ve bu üçü istemci tarafında ayarlanır.

Yalnız giriş yapmadan görülebilen, herkese açık sayfalar kapsamdadır. Hedef sitenin robots.txt dosyası, kullanım şartları ve telif hükümleri geçerlidir; kişisel veri içeren alanlar, giriş gerektiren paneller ve ödeme adımları bu rehberin dışındadır. Proxy, hedef sitenin kurallarını değiştirmez; yalnız isteğin hangi adresten çıktığını değiştirir.

Pratik bir ölçüt: Toplamak istediğiniz sayfayı gizli pencerede, giriş yapmadan açabiliyor musunuz? Açabiliyorsanız teknik tarafa geçebilirsiniz. Açamıyorsanız residential proxy sorunu çözmez ve çözmeye çalışmak hedef sitenin kurallarını çiğner. Fiyat listeleri, ürün sayfaları, ilan vitrinleri ve haber başlıkları çoğu zaman ilk gruptadır.

Residential proxy’nin yaptığı iş, isteğinizi konut tipi bir IP’den çıkarmak ve rotating üründe her istekte ya da her oturumda bu IP’yi değiştirmektir. Katalogdaki Rotating IPv4 Residential ürünü 180’den fazla lokasyon sunar ve hem sticky hem rotating oturum senaryolarına uyar; Static IPv4 Residential ürünü ise Türkiye, Almanya ve ABD gibi ülkelerde ay boyunca sabit kalan adet bazlı adresler verir.

Yapmadığı iş, istemcinizin davranışını düzeltmektir. Saniyede yüz istek atan bir toplayıcı, konut IP’sinden çıksa bile hız sınırına takılır. Her istekte farklı tarayıcı başlığı gönderen bir istemci, aynı IP üzerinde bile tutarsız görünür. Proxy yalnız IP katmanını çözer; hız, başlık ve oturum ayarları istemci kodunda kalır. Bu yüzden korumalı sitede başarı, proxy ile istemci ayarlarının birlikte kurulmasına dayanır.

403 Forbidden: Koruma katmanı isteği daha gövdeyi okumadan reddetti. Datacenter IP’den geliyorsanız residential ürüne geçmek ilk adımdır; residential IP’de de 403 alıyorsanız başlık setinize bakın. Eksik Accept-Language, tarayıcıya uymayan User-Agent ya da hiç Referer göndermemek bu yanıtı tetikler.

429 Too Many Requests: Hedef, IP başına istek sınırını aştığınızı söylüyor. Rotating oturumda her istek yeni IP’den çıktığı için bu yanıt çoğu zaman tek IP’de yığılan eşzamanlı isteklerden gelir; eşzamanlılığı düşürün ve istekler arasına rastgele bekleme ekleyin. Yeniden deneme sayısını sınırlı tutun; sınırsız tekrar hem kotayı bitirir hem korumayı sertleştirir.

Captcha sayfası ya da boş HTML: Hedef, bu ziyaretçiden emin olmadığı için doğrulama istiyor ya da içeriği JavaScript ile sonradan yüklüyor. Captcha, oturumunuzun artık güvenilir sayılmadığının işaretidir; onu aşmaya çalışmak yerine o oturumu kapatın, hızınızı düşürün ve yeni oturumla devam edin. Boş HTML görüyorsanız sayfa tarayıcı render’ı istiyordur; bu durumda Playwright gibi bir araçla tam sayfa yükleyin ve GB tüketiminin artacağını hesaba katın.

Yavaşlayan yanıtlar: Bazı korumalar reddetmek yerine yanıtı kasıtlı geciktirir. Ortalama yanıt süresi aniden birkaç katına çıktıysa koruma sizi işaretlemiş olabilir. Bu sinyal 429’dan daha sessizdir; zaman aşımı değerlerini loglayıp ortalamayı izlemeden fark edilmez.

Korumalı siteler, bir ziyaretçinin sayfalar arasında aynı kimlikle dolaşmasını bekler. Liste sayfasını bir IP’den, ürün sayfasını başka bir IP’den açan ziyaretçi, oturum çerezi aynı olsa bile şüpheli görünür. Bu yüzden çok adımlı akışlarda sticky oturum kullanın: arama, liste ve detay sayfaları aynı IP üzerinden tamamlansın, sonraki ürün grubunda IP değişsin.

Bağımsız sayfalar için rotating oturum uygundur. Birbirinden habersiz 10.000 ürün sayfasını çekerken her isteğin farklı IP’den çıkması, tek IP’ye yük bindirmez ve hız sınırına takılma olasılığını düşürür. Karar, hedefin sayfa yapısına göre verilir: sayfalar arasında durum taşınıyorsa sticky, taşınmıyorsa rotating. Ay boyunca aynı adresin gerektiği izleme işlerinde ise Static IPv4 Residential ürünündeki sabit adresler, oturum tutarlılığını en baştan sağlar.

Rotating IPv4 Residential ürünü GB bazlı satılır; katalogda 2, 10, 20, 50 ve 100 GB paketler vardır ve paketler tek seferlik faturalanır, kota bitince ek paket alınır. Korumalı sitede aynı sayfa, korumasız siteye göre daha fazla GB tüketir: challenge sayfaları, yeniden denemeler ve tarayıcı render’ı gerektiren hedeflerde inen görsel, yazı tipi ve betik dosyaları kotadan düşer.

Bütçeyi gerçek ölçümle kurun. Tam ölçeğe geçmeden önce 2 GB paketle birkaç yüz sayfa çekin, istemci tarafında aktarılan baytı loglayın ve bunu panel sayacıyla karşılaştırın. Tarayıcı kullanıyorsanız görsel, medya ve yazı tipi isteklerini iptal edin; HTML yeterli olan hedeflerde tarayıcıdan düz HTTP istemcisine geçmek en büyük tasarrufu sağlar. Yeniden deneme sayısını üçle sınırlayıp artan beklemeyle tekrarlayın; aynı sayfayı beş kez çekmek beş kat GB demektir.

Hedefin herkese açık sayfalarını ve kurallarını belirleyin; giriş gerektiren alanları kapsam dışı bırakın. Sayfa yapısına göre sticky ya da rotating oturum seçin. Eşzamanlılığı düşük başlatın, istekler arasına değişken bekleme koyun ve hedef izin verdikçe kademeli artırın. Başlık setini gerçek bir tarayıcıdan alın ve istekler boyunca sabit tutun. 403, 429, captcha ve yanıt süresini ayrı ayrı loglayın; her biri farklı bir ayarın yanlış olduğunu söyler.

Küçük bir pilotla başlayın: 2 GB paket, tek hedef, birkaç yüz sayfa. Pilotun sonunda sayfa başına GB, hata oranı ve ortalama yanıt süresi elinizde olur; bunlarla doğru paketi ve doğru eşzamanlılığı seçersiniz. Zaman aşımı ve kimlik doğrulama gibi bağlantı düzeyindeki hatalar için bağlantı hataları rehberine bakın.