Merhabalar herhangi bir bahis sitesinden veri çekmek istiyorum ve bunu Python ile yapma fikrim var ama bahis sitelerinde scraper önleyici gibi şeyler var sanırım herhangi bir veri çekmek istediğimde none değeri alıyorum yardım eder misiniz lütfen.
Bahis sitesi demeyelim de herhangi bir site diyelim. Ben her zaman legal tarafta kalmayı tercih ederim.
Evet python ile yapabilirsiniz, istisnai durumlar hariç.
Bu sizin tahmininiz mi tespitiniz mi? Bu duruma göre çözümler değişken olacaktır.
Şimdi birinci varsayım sizin de söylediğiniz gibi bir anti scraper tekniği ile isteğiniz geri çevrilmiş olabilir.
İkinci varsayım, doğru kodlamamış, isteği alamamış olabilirsiniz.
Anti scraper lar için örnek.
5 Anti-Scraping Techniques You May Encounter | Octoparse
Yani rastgele login, captcha gibi yöntemlerle karşılaşmıyorsanız. Bir ihtimal UA kontrolü yapıyor olabilir.
Okurken gözüme takıldı:
When scraping a website, if your crawler contains no headers, it would only identify itself as a script (e.g. if using python to build the crawler, it would state itself like a python script). Websites would definitely block the request from a script. In this case, the crawler has to pretend itself as a browser with a UA header so that websites could provide access to it.
Veri çeken kodunuzun, bu konuda siteye sayfa başlığı bilgisi göndermesi belki kandırabilir.
Ama söylediğim gibi, önce sorunun ne olduğuna emin olmak gerekir, sonrasında nasıl bir tedbir uygulanmış incelemek gerekir.
Yani genel geçer bir çözüm yok, siteye özel çalışmak gerekir.
1 Beğeni