Proxy ile Captcha Neden Çıkar? Tetikleyen Sinyaller

Proxy ile captcha neden çıkar sorusunun cevabı, hedef sitenin her istek için hesapladığı risk puanındadır. Site isteğin geldiği IP’nin türüne, o IP’den son dakikalarda kaç istek geldiğine, tarayıcının ve bağlantının kimliğine, konum tutarlılığına ve ziyaretçinin davranışına ayrı ayrı puan verir. Puan belirli bir eşiği aşınca sayfa yerine doğrulama ekranı döner. Proxy bu puanın yalnız bir bölümünü, IP ile ilgili olanını değiştirir.

Bu yüzden proxy’yi değiştirdiği halde captcha görmeye devam eden kullanıcı, çoğu zaman yanlış sinyali düzeltmeye çalışıyordur. Ev hattından açıldığında sorunsuz yüklenen bir sayfanın proxy arkasından doğrulama istemesi, IP’nin ya da IP ile diğer sinyaller arasındaki tutarsızlığın puanı yükselttiğini gösterir; hangi sinyalin sorumlu olduğunu bulmak için her biri ayrı ayrı sınanır.

Birinci sinyal IP’nin kayıtlı olduğu ağ türüdür. Her IP bir otonom sisteme, yani ASN’ye aittir ve bu kayıt IP’nin bir barındırma şirketine mi, bir internet servis sağlayıcısına mı, bir mobil operatöre mi ait olduğunu söyler. Veri merkezi bloğundan gelen bir istek, gerçek bir ziyaretçinin evinden gelen isteğe göre baştan daha yüksek puanla başlar. İkinci sinyal o IP’nin geçmişidir: aynı adres daha önce başka kullanıcılar tarafından yoğun ya da kötü amaçlı kullanıldıysa itibarı düşüktür ve ilk isteğinizde bile captcha çıkabilir.

Üçüncü sinyal hızdır. Tek IP’den kısa sürede gelen istek sayısı bir insanın gezinme temposunu aşıyorsa puan yükselir; sayfa başına birkaç saniyeden kısa aralıklar ve aynı anda açılan onlarca sayfa bu sınıfa girer. Dördüncü sinyal konum tutarlılığıdır: IP Almanya’da görünürken tarayıcı dili Türkçe, saat dilimi İstanbul ve arama parametresi Türkiye ise site bu üçlüyü uyumsuz bulur. Beşinci sinyal oturum tutarlılığıdır: aynı çerez ve aynı oturum kimliği birkaç dakika içinde üç farklı ülkeden gelirse, site oturumun gerçek bir kişiye ait olmadığını varsayar.

Altıncı sinyal tarayıcı ve bağlantı kimliğidir. TLS el sıkışmasının biçimi, HTTP başlıklarının sırası, ekran boyutu ve yüklü yazı tipleri gibi onlarca ayrıntı bir parmak izi oluşturur. Bu parmak izi masaüstü Chrome’a benzerken istek bir sunucu kütüphanesinin varsayılan başlıklarıyla gelirse, ya da aynı parmak izi yüzlerce farklı IP’den görünürse puan artar. Proxy bu altı sinyalden yalnız ilk ikisini doğrudan etkiler; üçüncü ve beşincide yalnız kullanım biçimiyle yardımcı olur, dördüncü ve altıncıya hiç dokunmaz.

Birinci deney: aynı sayfayı proxy olmadan, kendi bağlantınızdan ve temiz bir tarayıcı profiliyle açın. Captcha burada da çıkıyorsa sorun IP’de değildir; hedef o sayfayı herkese doğrulama ile veriyordur ya da tarayıcı profiliniz zaten şüpheli görülüyordur. Bu durumda proxy değiştirmek vakit kaybıdır.

İkinci deney: proxy üzerinden tek bir istek gönderin ve beş dakika hiçbir şey yapmayın. İlk istekte captcha çıkıyorsa hız sinyali devrede değildir; IP türü ya da geçmişi puanı tek başına eşiğin üstüne çıkarmıştır. Üçüncü deney: aynı IP’den isteklerin arasını açın, sayfa başına on beş ile otuz saniye bekleyin. Captcha kayboluyorsa tetikleyici hızdır ve çözüm IP değiştirmek yerine tempoyu düşürmek ya da işi daha fazla adrese yaymaktır.

Dördüncü deney: IP’yi değiştirin ama çerezleri ve tarayıcı bağlamını koruyun, sonra tam tersini yapın: aynı IP’de kalıp yeni bir tarayıcı bağlamı açın. İlk denemede captcha sürüp ikincide kayboluyorsa sorun oturum ya da parmak izi tutarlılığındadır. Bu dört deney bir saatten kısa sürer ve sonraki her kararın, hangi havuzu alacağınızdan oturum süresine kadar, dayanağı olur.

Residential proxy, isteğin bir ev ya da ofis bağlantısına ait IP’den çıkmasını sağlar; ASN kaydı bir internet servis sağlayıcısını gösterir ve ilk sinyal baştan düşük puanla başlar. ResidentialProxy kataloğundaki rotating IPv4 ürünü ülke hedeflemeli bir havuzdan GB bazlı çıkış verir; static IPv4 ürünü ise 12 ülkede aylık adet bazlı sabit residential adres sunar. Veri merkezi IP’sinde ilk istekte captcha gören bir kurulum, aynı hız ve aynı tarayıcıyla residential IP’ye geçtiğinde çoğu hedefte doğrulama ekranını görmeden ilerler.

Aynı ürün hız sinyalini tek başına çözmez. Residential bir adresten dakikada yüzlerce istek gönderirseniz, o adres de bir süre sonra doğrulama ister; üstelik residential havuzlar paylaşımlı olduğu için bu davranış adresin itibarını başkaları için de düşürür. Konum ve parmak izi sinyallerinde ise residential IP’nin katkısı dolaylıdır: ülke uyumlu bir havuz seçerek konum tutarsızlığını giderirsiniz, ama tarayıcı dilini, saat dilimini ve istek başlıklarını yine istemci tarafında düzeltmeniz gerekir. Ülke uyumunun nasıl kurulacağını ülke seçimi rehberinde ayrıntılı anlattık.

Mobile IP ile residential IP arasındaki fark bu konuda sık sorulur. Mobil operatör bloklarında tek bir IP binlerce gerçek kullanıcıyı temsil ettiği için siteler bu adreslere karşı daha hoşgörülüdür; ancak çoğu hedefte residential havuz zaten yeterli puan düşüşünü sağlar ve mobil havuzun ek maliyeti karşılığını vermez. İkisinin ne zaman ayrıldığını residential ve mobile proxy karşılaştırmasında işledik.

Captcha açısından oturum kararı iş türüne göre verilir. Giriş yapılmış hesap, sepet, form doldurma ve çok adımlı akışlarda IP’nin adımlar arasında değişmesi beşinci sinyali tetikler; bu işlerde static IPv4 ya da rotating üründe sticky oturum kullanılır ve oturum süresi işin tamamını kapsayacak kadar uzun tutulur. Oturum bitmeden IP değişirse site, aynı çerezin başka bir ülkeden döndüğünü görür ve doğrulama ister.

Giriş gerektirmeyen okuma işlerinde, örneğin ürün sayfası toplamada ya da sıra takibinde, her istek yeni bir adresten çıkabilir; burada korunması gereken bir oturum yoktur ve tek adreste birikecek hız puanı dağıtılmış olur. Ancak çerezler de her istekte sıfırlanmalıdır. Yeni IP ile eski çerezi birlikte göndermek, sticky oturumda IP değiştirmekle aynı sonucu doğurur.

Ara bir durum, sayfalar arası gezinmedir: liste sayfasından ürün sayfasına geçerken site bir önceki sayfanın çerezini bekler. Bu akışta kısa süreli sticky oturum, örneğin birkaç dakikalık bir pencere, hem oturum tutarlılığını korur hem tek adreste puan birikmesini sınırlar. Korumalı sitelerde oturum seçiminin ayrıntılarını scraping rehberinde ele aldık.

Doğrulama ekranı, puanın eşiği aştığını söyleyen bir sinyaldir. Doğru tepki o oturumu durdurmak, bir süre beklemek ve hangi sinyalin yükseldiğini dört deneyle bulmaktır. Aynı oturumda ısrarla yeniden denemek puanı daha da yükseltir ve bazı hedeflerde IP’yi daha uzun süreli bir engele taşır.

Captcha’yı otomatik çözen servisler ya da doğrulamayı atlatmaya yönelik araçlar bu rehberin önerdiği yol değildir. Çoğu sitenin kullanım koşulları bunu açıkça yasaklar ve tespit edildiğinde yalnız IP değil, hesap ve ödeme bilgisi de engellenebilir. Sürdürülebilir yaklaşım, hedefin herkese açık sayfalarıyla sınırlı kalmak, istek temposunu bir insanın gezinme hızına yaklaştırmak ve captcha oranını bir ölçüm olarak izleyip yükseldiğinde yavaşlamaktır.

Hedef sitenin bir API’si ya da resmi veri erişimi varsa onu tercih edin; doğrulama ekranı hiç çıkmaz ve veri yapısı sayfa düzeninden bağımsız olur. API yoksa ve iş ölçeği büyükse, hedefin erişim politikasını okumak ve gerekiyorsa izin istemek, teknik çözümlerden daha kalıcı sonuç verir.

Captcha’yı bir ölçüm olarak kaydedin. Her yanıtın gövdesinde doğrulama ekranını tanıyan bir işaret arayın; bu işaret bulunduğunda isteği başarısız sayıp hedef alan adı, kullanılan oturum kimliği, çıkış ülkesi ve o dakikadaki istek hızıyla birlikte loglayın. Bu dört alan, haftalık incelemede hangi sinyalin yükseldiğini tek sorguyla gösterir: oran belirli bir oturumda yükseliyorsa o adresin itibarı, belirli bir saatte yükseliyorsa hız, belirli bir ülkede yükseliyorsa konum uyumu şüphelidir.

Sayılar varsayımdır; kendi hedefinize göre değiştirin. Günde 10.000 sayfa toplayan ve captcha oranı yüzde iki olan bir kurulum, günde 200 sayfayı yeniden ister. Bir sayfanın proxy üzerinden geçen boyutunu 400 KB kabul edersek bu, günde 80 MB ve ayda yaklaşık 2,4 GB ek aktarım demektir; GB bazlı rotating üründe bu fark doğrudan kotadan düşer. Oran yüzde ona çıktığında ek maliyet beş katına çıkar ve hedef sizi muhtemelen daha sert bir sınıra taşımak üzeredir.

Eşiği hedef başına koyun. Yüzde birin altındaki oran gürültü sayılabilir; yüzde bir ile beş arası tempoyu düşürme ya da oturum süresini gözden geçirme sinyalidir; yüzde beşin üstü o hedefte toplamayı durdurup teşhis deneylerine dönmeyi gerektirir. Oranı sıfıra indirmeye çalışmak yerine istikrarlı ve düşük tutmak, hem kota hem IP itibarı açısından daha ucuzdur. Residential IP’nin bu dengede neden belirleyici olduğunu residential proxy nedir rehberinde bulabilirsiniz.