arkadaşlar merhaba. hem kendimi geliştirmek hem de discord üzerinde farklı farklı botlar üzerinde bulunan tüm özellikleri bir bot üzerinde yapmaya çalışıyorum. bir konuda arada kaldım. şimdi bir uygulama yaparken ben bunu sadece kendimin kullanacağını bilsem de sadece benim için değil ben bu botu sanki binlerce sunucuda kullanılacak potansiyelde yapmaya çalışıyorum. şimdi ben bota kullanıcı bir komut ve yanına kısa bilgi yazacak ve bot bunu youtube üzerinden arayacak. şimdi bu arama yöntemlerinde en güvenilir yol youtube data api si kullanmakmış ama bunlarda kota var. hadi tamam kota doldu yeni yönteme geçsin diyelim, yt_dlp. Bu da çok hantal çalışıyor ve aynı anda arama yapılınca büyük sıkıntı çıkarır. pytube ve pythonsearch gibi scraping yapan yöntemler var, bu yöntemler de scraping yüzünden bana riskli geliyor. ne yapmam gerekli?
import requests
import re
import json
from bs4 import BeautifulSoup
response = requests.get(f"https://www.youtube.com/results?search_query=söyleyemedim")
html = response.text
topics = re.search(r"var ytInitialData = ({.*?});</script>", html)
data = json.loads(topics.group(1))
datas = data["contents"]["twoColumnSearchResultsRenderer"]["primaryContents"]["sectionListRenderer"]["contents"]
title = []
for i in datas:
if "itemSectionRenderer" in i:
a = datas.index(i)
for c in datas[a]["itemSectionRenderer"]["contents"]:
if "videoRenderer" in c:
b = datas[a]["itemSectionRenderer"]["contents"].index(c)
title.append(datas[a]["itemSectionRenderer"]["contents"][b]["videoRenderer"]["title"]["runs"][0]["text"])
print(title)
arkadaşlar böyle bir şey denedim oldu ama bu da scraping. fazla isteklerde sıkıntı çıkabiliyormuş galiba
scraping’de fazla istekte blocklanmak kodla çözebileceğin bir şey değil pek. belki proxylerle çözebilirsin ama binlerce sunucuda çalışacak olması yüzlerce binlerce proxy gerektirebilir. biraz maliyetli olur.
bu durumda benim arama olarak hangi yöntemi kullanmam mantıklı?