Hoşgeldiniz.
Estağfurullah, biz de bir zamanlar yeniydik. Önemli olan bunu düşünmeniz.
Bu konuda şu bağlantıları inceleyebilirsiniz:
Konu açmadan önce yapılması gerekenler
Forumda Soru Sorarken Dikkat Edilmesi Gereken Hususlar Hakkında
Gönderilerdeki kod görünümü hakkında
Sıkça Sorulan Sorular (SSS)
Böyle bir şeyi ilk sizden duyuyorum ama mantıksız bir durum da değil açıkçası. Eğer işlemlerin aralarındaki süre çok kısa ise sunucu bunu bir DoS saldırısı olarak algılamış olabilir.
Kendi veritabanının kopyalanmasını istemiyor olabilir. Google’a alternatif olarak DuckDuckGo var ama Web Scraping’e karşı tavrı nedir bilmiyorum.
Evet, “Burası benim çöplüğüm, burayı kafana göre kurcalayamazsın!” dediklerinde yapacak pek birşey kalmıyor. Aslında bu noktada Captcha, Cloudflare gibi sistemler siteleri olduğu kadar, bilmeden sınırları zorlayan yazılımcıları da, yasal sorunlara karşı koruyor diyebiliriz.
Ayrıca konu ile ilgili şu yazıları buldum incelemek isteyebilirsiniz:
https://medium.com/@arzuyildiz/scrapy-ile-web-scraping-web-kazıma-nasıl-yapılır-️-841cf7645c10
https://medium.com/bilişim-hareketi/web-crawler-spider-ve-scrapy-4c32bcf57c08#93cc