İnternet sitesine istek gönderme ve eksik içerik

Python
, , ,
1

İnvesting hisse görüntületici sitesinde şirketlerin isim, sembol, son fiyat gibi bilgilerinin olduğu 12 sayfa mevcut. Bu bilgilerden sembol ve son fiyat bilgilerine ulaşmaya çalışıyorum. Aşağıdaki kodları çalıştırıyorum ve istek başarılı. Çıktıda A1CAP kelimesini arıyorum bulamıyorum. s1 içinde url1’in bütün verilerinin bulunması gerekli değil mi?

import requests
from bs4 import BeautifulSoup
import pandas as pd
import json
import xlsxwriter
user_agent = '.......'
headers = {'User-Agent': user_agent}
url1 = "https://tr.investing.com/stock-screener/?sp=country::63|sector::a|industry::a|equityType::a%3EviewData.symbol;1"
r1=requests.get(url1, headers=headers)
s1 = BeautifulSoup(r1.text, 'html.parser')
print(s1)
2

Veriler api ile çekiliyor. Apiden çekmeyi deneyin
Screenshot_20240525_130501
bu şekilde veri çekebilirsiniz:

import requests


headers = {
    'user-agent': 'Mozilla/5.0 (Linux; Android 12; BTK-W09) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/107.0.0.0 Safari/537.36',
    'x-requested-with': 'XMLHttpRequest',
}

data = {
    'country[]': '63',
    'sector': '36,26,24,29,33,25,35,32,27,34,30,31,28',
    'industry': '204,217,212,230,223,222,215,226,218,193,194,220,173,200,202,182,229,180,177,201,207,181,227,228,172,183,196,178,216,231,195,190,174,186,232,209,210,206,224,187,191,221,203,189,176,213,205,208,219,175,188,197,185,225,198,211,214,179,184,192,199',
    'equityType': 'ORD,DRC,Preferred,Unit,ClosedEnd,REIT,ELKS,OpenEnd,Right,ParticipationShare,CapitalSecurity,PerpetualCapitalSecurity,GuaranteeCertificate,IGC,Warrant,SeniorNote,Debenture,ETF,ADR,ETC',
    'exchange[]': '49',
    'pn': '2',
    'order[col]': 'viewData.symbol',
    'order[dir]': 'a',
}

r = requests.post(
    'https://tr.investing.com/stock-screener/Service/SearchStocks',
    #cookies=cookies,
    headers=headers,
    data=data,
)

print(len(r.text))