Fiyat karşılaştırma sitelerinden data çekmek

Selamlar.

Bir fiyat karşılaştırma mobil appi geliştireceğim. Bu appde kullanıcı örneğin Galaxy S24 araması yapacak bir ürüne girecek, bu arayüzde ise ürünün adı, resmi ve satış platformlarındaki (hepsiburada, trendyol vs.) fiyatları listelenecek. Yani Epey, Akakçe gibi fiyat karşılaştırma sitelerinin mobil hali gibi.

Bunun için dataya ihtiyacım var. Popüler fiyat karşılaştırma sitelerine web scraping yapmayı denedim ancak korunma olduğu için yapamadım. Bir API de bulamadım. Sizce nasıl data çekebilirim?

Değerli yanıtlarınızı bekliyorum, teşekkürler :slight_smile:

Güncelleme: Dostlar Cimri üzerinden web scraping yapabildim. Ancak buradan elde ettiğim datayla bir ürün çıkartacağım için (mobil app) yasal sorun olur mu onu düşünüyorum. LinkedIn üzerinden bir Cimri çalışanına ulaşıp onun aracılığıyla bilgi edinmeye çalışacağım.

Aynı anda bir sürü konu bir arada.

Cevap vermeyi deneyelim.

Öncelikle her sitenin, robots.txt dosyası içinde taramanı istemediklerinin bir listesi olur.

Mesela:

trendyol.com/robots.txt

Dosyasında disallowed yani izin verilmeyen taramaların listesi baya uzun.

Muhtemelen benzer şekilde diğer sitelerin de uzunca bir izin verilmeyen tarama listesi vardır.

Bu listedeki taramaları yapmak etik olmadığı gibi yasal sonuçları da olabilir.

Bunun yerine trendyol özelinde api sunmuş. Satıcı olarak kaydolup api kullanarak istediğin bilgileri çekebilirsin.

İstisna olarak google örümceklerine izin vermiş bunun dışında pek dışardan taranmaktan hoşlanmaz siteler.

Şöyle ki. Ben bir site sahibi işletme olsam, müşterilerimin görmesi yerine botların sistemime sorgular gönderip sistemimi meşgul etmesini istemem.

Ama şirketlerle reklam işbirlikleri ile özel apilerle bu bilgileri izinleri dahilinde kullanmak daha etiktir.

Yani piyasda gördüğün ticari karşılaştırma şirketleri, ilgili firmalarla görüşüp izinler alıp sonrasında taramalarını yaparak hizmet sunarlar. Tabi bu yasal olan durum.

Yani cimri örneğindeki gibi, bir hizmet sağlayıcı, mutlaka ilgili sistelerle iletişime geçip bu taramaları yapmış ve sitesinde yayınlamıştır. Hiç olmadı izin talep etmiştir.

Siz bir ticari yazılım geliştirip, bilgileri cimriden çekip kendiniz kullandığınızda durum daha da karışık. Yazılımınız ilgili siteye bağımlı olur. İlgili site taramanıza izin vermeyebilir. Yani cimrinin taradığı kadar bilgiye erişebilirsiniz ama o da izin vermezsse etik bir yana yasal yaptırımlarla karşılaşabilirsiniz.

Kimse amatör, deneme amaçlı kodlardan rahatsız olmaz. Ama ciddi ticari bir program ve işletmeye dönüşmeyi düşünüyorsanız, başka sitelerden veri kazımak yerine ilgili şirketlerle temasa geçip, API lerini kullanmalısınız.

Web kazıma ile ilgili yapamadığınız nedir bilmiyorum ekranınıza, tarayıcınıza görüntülüyebildiğiniz her sayfadaki bilgiyi , bs4 ve request gibi kütüphanelerle bile rahatça çekebilirsiniz.

Burada biraz html bilginiz olması yeterli. Nerede neye bakacağınıza bilirseniz hepsi çekilebiliyor.

Evet burada uzunca anlatmamın nedeni düşündüğünüz konu.

Kolay gelsin.