Yakın zamanda Python kullanarak web scraping projelerine başladım. Özellikle veri analizi için büyük miktarda bilgi toplamam gerekiyor. Ancak bir süredir bazı performans ve verimlilik sorunlarıyla karşılaşıyorum. Bu konuda deneyimli olan arkadaşlardan öneri almak istiyorum.
Şu anda BeautifulSoup ve Requests kütüphanelerini kullanarak veri çekiyorum. Küçük ölçekli projelerde harika çalışsa da, veri büyüdükçe performans düşüyor ve işlem süreleri uzuyor. Özellikle sayfaların yüklenme süreleri sorun yaratıyor. Daha hızlı ve optimize bir çözüm arıyorum.
Aklımdaki sorular şunlar:
Scrapy gibi daha gelişmiş kütüphaneler kullanmak bu tür projelerde ne kadar fark yaratır? Güçlü ve hızlı veri toplama için kullanmalı mıyım?
Web sayfalarının dinamik olarak yüklenmesi (JavaScript kullanımı) durumunda Selenium veya Playwright gibi araçları kullanmak daha mı mantıklı?
Aynı anda çok sayıda istekte bulunmam gerektiğinde asenkron programlama (asyncio, aiohttp) kullanmanın performansa etkisi nedir?
Veri toplama sırasında IP ban veya captcha sorunlarını aşmak için hangi stratejiler önerirsiniz?
Eğer bu konularda deneyimi olan arkadaşlar varsa önerilerinizi ve karşılaştığınız zorlukları öğrenmek isterim. Kullanılan kütüphaneler, ipuçları ya da örnek kod paylaşırsanız çok memnun olurum.
Şimdiden vakit ayırıp cevap veren herkese teşekkürler. İyi çalışmalar dilerim!
Scrapy framework kullanabilirsiniz ama dökümantasyonu okumanız ve bir kaç proje ile yapısını anlamanız gerekiyor. Scrapy en gıcık oldugum konu asenkron işlem sırasında akışı debug ederek anlamanız çok zor. Birde isteğe göre ip cookie sabitleme değiştirme aşaması çok zor, tabi random sorun değilse middleware ile bunu kolaylıkla sağlayabilirsiniz. Birde django gibi bir web frameworkü scrapy entegre etmek aşırı zor iş bu yüzden aiohttp kullanıyorum daha esnek bir yapı sunuyor.
Selenium ile performanslı scraping yapamazsın. Daha çok test yazılımları için kullanılıyor yada html response yeterli olmadıgı js ön planda oldugu sitelerde kullanılır.
Captcha işlemleri çok spesifik bir konu scraping yapacagınız url göre değişir.
Ip ban olayıda sitenin scraping karşı katılıgına göre değişir stratejiyi sizin iyi belirlemeniz lazım. Kimi site bir ip adresinin saniyede 5 istek atmasına kimide 1000 istek atmasına izin verir.
Thread veya baska eszamanlilik cozumu kullanmaya nazaran, cok az. Tek thread/duz koda nazaran, baya baya cok. Bir istek bitmeden bir baskasina baslanabiliyor ise, eszamanlilik bunlarin neredeyse paralel yapilabilmesini saglar. Onlar, hatta yuzler veya binlerden bahsediyoruz.
BS/requests ile mumkun mu ki? Mumkunse daha rahat olabilecegini tahmin ediyorum. Deneyip gormeniz lazim.
Gucluden kasit nedir?
Hizi eszamanliligi nasil ayarladigina bagli. Basit bir queue + worker pool’dan ileri gittigini zannetmiyorum. Daha komplike seyleri yapmayi kolaylastirir mi, zorlastirir mi bilmiyorum. Hatta bu bu framework icin genel olarak gecerli. Proxy kullanma, istek cache’leme gibi seyleri kolaylastirabiliyor. Bazi seyleri de zorlastirabiliyor. Deneyip, ise gore karar vermek lazim.
hocam bu arkadaşlar bir tür bot olabilir mi?
daha önce de bu şekilde neredeyse stock foto diyebileceğimiz profil fotolu, yapay zeka ile yazılmış gibi görünen yazılar yazan bir arkadaş görmüştüm bu forumda.
