hocam daha önce de açıklamıştım. internette herkesin ulaşabileceği verileri kazımak size bir zarar vermez. en kötü sorarlarsa 6 ay oturdum elimle yazdım dersiniz. onun dışında robots.txt arama motorlarının crawlerlarına yol gösterir ya da engeller. yani forum.yazbel.com/ozel-veriler diye bir linkimiz olsa (yani endpointi ozel-veriler olan bir link) ve robots txtye disallow ozel-veriler yazarsak google’ın crawlerları bu ozel-veriler endpointindeki hiçbir şeyi indexlemez, yani google arama sonuçlarında çıkmaz. sizlik bir durum değil yani robots.txt. keyfinize bakabilirsiniz.
1 Beğeni