Veri çekmede sonraki sayfaya geçme sorunu

https://www.idefix.com/kategori/Kitap/Prestij-Kitaplari/grupno=00062?fbclid=IwAR35_RvrfK6NQYFjpPNfLqhgfqwCWQue0rMUFOL1u7l1Uf-BN21qtO5bz7o

selam arkadaşlar, scrapy ile veri çekme denemesi yapıyorum. fakat bir türlü sonraki sayfaya geç kısmını yapamadım. Xpatchni doğru yazdığıma eminim. çünkü chrome eklentisinden denedim. Yardımcı olabilirseniz sevinirim.

şimdiden teşekkürler

for href in response.xpath("//div[@class=‘box-title’]/a/@href"):

url = response.urljoin(href.extract())

yield scrapy.Request(url, callback=self.parse_page)

next_page = response.xpath("//*[@class=‘bottom-pager-content’]/ul/li[7]/a/@href")

if next_page:

url = response.urljoin(next_page.get())

print(url)

yield scrapy.Request(next_page, callback= self.parse

çözdüm arkadaşlar…

Çözdüysen kendini çözüldü olarak işaretle ki tam olarak konu kapanmış olsun.