Merhaba,
Beautifulsoup ile bir web sitesine aynı anda topluca çok sayıda istek gönderdim bir yerden sonra cevap None dönmeye başladı.
Siteler böyle bir işlemin izini sürüp engelleyebiliyor mu? Çözümü var mı?
Şimdiden teşekkürler
bazı siteler böyle işlemler yapanların ip adreslerini tespit edip ip ban filan atabiliyor bazıları da o işlemi bir daha yapmasına izin vermiyor bir de bazıları var bu işlerle hiç ilgilenmiyor sen ip adresini değiştirip dene o zaman olursa demek ki ip adresinden tespit ediliyor
bir de hangi site bu site
Ben daha önceden twittera denemiştim js ile ilgili hata çıkarıyor aşmanın elbet bir yolu vardır selenium ile yazınca’da egelliyor
trendyoldan fiyat-ürün detayı çektim ama bir anda çok sayıda sayfaya talep geçtim , belki belirli bir periyotta limitli sayıyla aşabilirim. Teşekkürler
Beautifulsoup kütüphanesinin böyle bir özelliği yok, kodu atın istiyorsanız.
None döndüren tam olarak ne?
Evet.
Önce problemin sebebini anlamamız lazım.
Web scraping ile çok uğraşmadım ama gerektiği zamanda genelde bu sorunu delay uygulayarak çözerim. Önce güzelce exception handling yapan bir kod yazarım ki kod arka planda sorunsuz çalışabilsin sonra bütün requestleri başarılı ya da başarısız olmasına göre bir log dosyasına yazarım. Bu da eğer kod bir yerde crash olsa bile kaldığı yerden devam edebilmesi ya da sonrasında tekrar çalıştırdığımda sadece hatalı olanları yeniden deneyebilmemi sağlar.
Son olarak her 10,20,100(kaç istekten sonra engellendiğime göre değişir) requestten sonra ya da requestler senin durumunda olduğu gibi hatalı response objeleri dönmeye başladığında duruma göre yine 1, 5, 10 dakika gibi bir sleep koyarım. Sonra bu kod çalışadururken diğer işlerimi yaparım gerekirse 3-4 saat hatta günlerce çalışır.
trendyolun developer sayfasını incelersen burda 10 saniyede 50 çekme isteğinden fazlasını yollarsan hata dönüşü oluyor
Tüm cevaplara teşekkürler arkadaşlar, anlattıklarınız ışığında baktım ban yeme dışında final kodunda da bir hata olabilir, anlamaya çalışıyorum, kendim halledemeyip takıldığım yerde yine yardımınıza başvuracağım.
Kolay gelsin.