Merhabalar Arkadaşlar,
Bir siteyi kazımak istiyorum login kısmında yönlendirme mevcut, scrapy ile bu durumu aşmaya çalışıyorum. handle_httpstatus_list ile 302 bloke ettigimde crawl da edemiyorum. Bu tür yönlendirmeleri scrapy ile nasıl aşabilirim ?
Araştırma yaptım ama sonuc alamadım acıkcası ya da ben anlayamamıs olabilirim.
Şimdiden yardımcı olabilecek arkadaşlara teşekkürler.
Merhaba. Yönlendirmeyi aşmak ne demek?
Scrapy Form request ile login olmakk icin bir istek gönderiyorum. Bu isteği gönderdiğimde sunucu tarafında sayfa yönlendiriliyor. Bu durumda da login olamıyorum. Yönlendirilmiş sayfada kalıyorum ve login olamıyorum. Görsel de eklersem daha hoş olabilir sanırım.
Sadece request method’unu ve response status’unu gosteren bir gorsel yerine request’in ve response’un tamamini eklemen daha hos olabilir.
Logine cevap olarak 302 aliyorsan bu 302’yi asman degil, takip etmen lazim. Yani ayni request’i yeni lokasyona yapman. Scrapy’de opsiyonu olmasi veya zaten oyle yapiyor olmasi lazim.
çözüm bulabildiniz mi? bende bu sorunla karşılaştım. siteden bir kaç sayfa veri çektikten sonra olağan dışı erişim hatası veriyor bir süre sonra 302 hatası ile giriş ekranına yönlendiriyor
konu 1 yıl önce açılmış ama gören olurda yanıtlayabilirse sevinirim