Merhabalar.
Scrapy kullanarak bir web sitesinden veri almak ve dosyaya kaydetmek istiyorum. Yalnız verilerin bulunduğu ilgili sayfaların linklerini ana sayfadan almam gerekiyor. Dolayısıyla öncelikle ana sayfayı tarayıp linkleri ayrıştırdıktan sonra (link sayısı her taramada değişiyor) bu linkleri birer birer taramam gerekiyor. Ana sayfayı tarıyorum, sorun yok. Linkleri ayrıştırıp bir dizi halinde alıyorum (farklı yapılarda da alabilirim) ancak bu linkleri taradığımda (örneğin 200 adet link var) sadece son linkten dönen veriyi kayıt edebiliyorum. Scrapy nin xpath yada css seçicileriyle işim yok çünkü ana sayfa javascript çalıştırıyor ve tarama sonrası bana json verisi döndürüyor. Linkleri bu json verisinden seçiyorum.
Örneğin:
www siteadresi com
Taramadan sonra ayrıştırdığım linkler:
www siteadresi com/123
www siteadresi com/456
www siteadresi com/789
Bu linkleri birer birer taramam ve dönen değeri kaydetmem gerekiyor. Scrapy yapısına çok hakim olamadığım için (belgelere göz gezdirmeme rağmen) nasıl bir yol izleyeceğimi bilemiyorum. Yardımcı olabilecek kimse var mı acaba? Şimdiden teşekkürler…