Web Scraping ilanı vermek istiyorum

Selamlar. Freelance olarak Web Scraping ilanı vermek istiyorum.

Hukuki olarak bir sorun olmaması için. Hangi siteden veri çekilebilir hangisinden çekilmez hangi veriler çekilebilir hangi veriler çekilmez bunu nereden anlarım? vs. Dikkat etmem gerekenler neler? Rica edersem bilgilendirirmisiniz?

Öncelikle:
https://forum.yazbel.com/search?q=yasal
Sonra:
kvkk haricinde internette herkese açık olan verileri toplamayı kısıtlayan bir şey yok diye biliyorum. Tabi marka saygınlığını koruma falan var bir de (yani milletin verilerini birilerini kötü gösterecek şekilde kullanamazsın - ki bunun da istisnası kamu yararıdır.)
Yani web sitelerini tek tek gezip verileri derlemekten bir farkı yok.

Teşekkür ederim. Okudum yazdıklarınızı ama hala kafama takılan bazı sorular var.
robots.txt dosyasında veri çekmek istediğimiz ilgili link disallow ise veri çekmeye izin verilmediği anlamınamı geliyor?
İnternetden veri çekmek ile ilgili yasaları kulları okuyabileceğim resmi site varmı? Ben bulamadım

hocam daha önce de açıklamıştım. internette herkesin ulaşabileceği verileri kazımak size bir zarar vermez. en kötü sorarlarsa 6 ay oturdum elimle yazdım dersiniz. onun dışında robots.txt arama motorlarının crawlerlarına yol gösterir ya da engeller. yani forum.yazbel.com/ozel-veriler diye bir linkimiz olsa (yani endpointi ozel-veriler olan bir link) ve robots txtye disallow ozel-veriler yazarsak google’ın crawlerları bu ozel-veriler endpointindeki hiçbir şeyi indexlemez, yani google arama sonuçlarında çıkmaz. sizlik bir durum değil yani robots.txt. keyfinize bakabilirsiniz.

1 Beğeni

Gayet iyi anladım Hocam çok teşekkür ederim

Elan verdin qaqa ?) Nəticəsi nə oldu

Hələdə geri dönüş olmayıb.