Internette gezip veri çekecek bir program

böyle bir program için selenium kullansam arka planda çalışmadığı için olmaz Beautifulsoup desem yetersiz kalıyor gibi. Başka ne ile sağlayabilirim?

programın en basit haliyle mantığı: arama motoruna girilen kelimelere uygun çıkan sonuçlardan
sayfa sayfa gezerek veri toplayacak

Mechanical soup a bakabilirsin. (Python3 için)

Beautifulsoup tan farkı nedir hocam ?

Merhaba @erennnkr kullanmanı önerdiğim Scrapy. Burada çok uzun açıklamayacağım. Şu linkten ayrıntılı okuyabilirsin. Aklına takılan birşey olursa sorabilirsin.

https://medium.com/bilişim-hareketi/web-crawler-spider-ve-scrapy-4c32bcf57c08

hocam scrapy ile inputlara giriş yapıp butonlara tıklayabilir miyim yoksa sadece veri çekmek için mi

Scrapy ile input girişleri yapabilirsin ama burada Selenium gibi görsel olarak butona tıkla değilde POST metodunu direk olarak kendin göndereceksin. Şuradan yaralanabilirsin;

http://doc.scrapy.org/en/latest/topics/request-response.html#formrequest-objects

çok teşekkür ederim zaten selenium gibi ama onun arka planda çalışan ve beautifulsoup un daha çok iş veren versiyonu lazımdı scrapy bu konuda işime yarar gibi gözüküyor