Merhaba arkadaşlar,
Bir site üzerinde scrapy ile veri kazıyorum. Kazıdıgım veriler toplamda 100.000 üzerinde oldugundan dolayı yaptıgım isleri bölmem ve zaman olarak kısaltmam gerekiyor.
Birden fazla spider çalıştırmak için en etkili ve kullanışlı yolu yaptığım araştırmalar ile net olarak anlayamadım.
Su an yaptıgım sey tam olarak yaklaşık 5400 tane hedef link üzerinden icerisindeki linkleri alıp daha sonra page degistirip her aldıgım 2.link icerisine gidip istedigim bilgileri almak, bu islem 2 saniye delay ile tahmin edeceginiz gibi cok uzun sürüyor. Bu durumda bu 5400 linki önce bölüp farklı spiderlar ile aynı islemi yaptırmak mı daha mantıklı oluyor, yoksa 5400 link alıp veri kazıdıgımız kısımda mı spiderları ayırmak daha etkili oluyor, bu konu ile ilgili örnek kodlarınız var ise paylasabilirseniz cok sevinirim.
Ayrıca aynı anda aynı kodlar ile 2 spider çalıştırdıgımda cakısma yasıyor mu ?