Http headers user agent

Python ile yazdigim scraping bota degisen proxyler ekleyip 429 too many requests hatasindan kacinmaya calistim. Yine de bazi sitelerden ayni 429 hatasini alıyorum. Proxy ile get requesti yolladigimizda public ip adresimiz maskelenmis olmuyor mu? Ayrıca instagram da hiç bir proxy adresi calismadigi durumda su sekilde bir headers ekledim (headers={‘user-agent’:‘your bot 0.1’}) ve proxyli get istegimi kabul etti. Simdi bu tip siteler gelen requestleri ip adresi uzerinden mi takip.ediyor yoksa bunda headerslarin da etkisi var mi?

Merhaba,

bunu kesin bilmenin bir yolu yok.
Bazıları sadece ip adresini kontrol ediyor,
bazıları sadece user-agent (bir user-agent bir süre ban yiyebiliyor. veya blacklist içinde olabiliyor.(internette buldukların yada fake-user-agent kütüphanelerinden aldıkların gibi vsvs))
bazıları ikisini birden
bazıları daha farklı metodlar kullanarak senin bir bot olup olmadığını anlamaya çalışıor

1 Beğeni