Python bir sitenin kategorilerini alma

Python’da bir sitenin kategorilerini nasıl alabilirim. https://books.toscrape.com bu sitede mesela kitap kategorileri var onları nasıl alabilirim.O olmazsa link üzerinden de alabileceğim bir yöntem var. https://books.toscrape.com/catalogue/category/books/ linkinden sonra kategori ismi geliyor mesela. Bu linkten sonra gelen sayfaları nasıl alabilirim?

Almak istediğiniz sayfaların kaynak kodlarımı ?
Biraz daha açarmısınız ?

apiye erisimiz yok ise web scraping yapmaniz gerekiyor hazir kutuphaneler var beatifulsoup ile deneyebilirsinuz mesela

hayır bilgi almak istiyorum ve evet apiye erişimim yok. Beautiful soup ile nasıl kategori bilgilerini alabilirim. Mesela korku kitapları, gizem kitapları vb.

Yukarıdaki arkadaşların dediği gibi web scraping ile bu işlem yapılabilir. Ben Selenium modülü kullanarak kategorileri kazıyabildim.
“Psychology
Autobiography
Parenting
Adult Fiction
Humor
Horror
History
Food and Drink
Christian Fiction
Business
Biography
Thriller” vs. kategorileri elde ettim.

Bu kodu çalıştırabilmek için Selenium modülünün yüklü olması ve eğer tarayıcı olarak Chrome kullanacaksanız işletim sisteminize uygun “chromedriver”, Firefox kullanacaksanız “geckodriver” sürücüsunu indirip, çalışma klasörünüze atmanız gerekmektedir.

from selenium import webdriver

site = 'https://books.toscrape.com/'

driver = webdriver.Chrome(executable_path='/home/kullanici_adin/python/calismalar/test/chromedriver')
driver.get(site)

categories = driver.find_elements_by_class_name('side_categories')

for category in categories:
    print(category.text)
1 Beğeni