Merhaba,
Amazon.com üzerinden data scraping yapmaya çalışıyorum.
Amazonda scraping yapmadan önce posta kodunu değiştirmen gerekiyor, eğer değiştirmezsen
fiyat,kargo vb bir kaç bilgiyi alamıyorsun. Bu yüzden scraping işlemini yapmadan önce posta kodunu değiştirip mevcut session ve cookielerle scraping işlemini tamamlaman gerekiyor.
Selenium ile bu işlemleri yapmak basit yapabiliyorsun çünkü tarayıcı amazon ne diyorsa onu yapıyor. Fakat
Requests ve Scrapy ile bu işlemleri manuel yaptıgından adress değişikliğini kabul etmiyor. Bu konuda yardımcı olabilecek var mı ?
Mevcut Kod:
import requests
from lxml import etree
from random import choice
from urllib3.exceptions import InsecureRequestWarning
import urllib.parse
import urllib3.request
urllib3.disable_warnings(urllib3.exceptions.InsecureRequestWarning)
def adres_degistir():
headersdelivery = {
'Host': 'www.amazon.com',
'anti-csrftoken-a2z': 'gBWpuVNRVyTCUlvbTWXJUE7IxaRHZcvh6ZWOL8oAAAAMAAAAAGB+8OlyYXcAAAAA',
'rtt': '200',
'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/88.0.4324.190 Safari/537.36',
'content-type': 'application/x-www-form-urlencoded',
'accept': 'text/html,*/*',
'x-requested-with': 'XMLHttpRequest',
'contenttype': 'application/x-www-form-urlencoded;charset=utf-8',
'downlink': '10',
'ect': '4g',
'origin': 'https://www.amazon.com',
'sec-fetch-site': 'same-origin',
'sec-fetch-mode': 'cors',
'sec-fetch-dest': 'empty',
'referer': 'https://www.amazon.com/',
'accept-language': 'tr-TR,tr;q=0.9',
}
payload = {
'locationType':'LOCATION_INPUT',
'zipCode':'34249',
'storeContext':'generic',
'deviceType':'web',
'pageType':'Gateway',
'actionSource':'glow',
'almBrandId':'undefined'}
sessionid = requests.session()
url = "https://www.amazon.com/gp/delivery/ajax/address-change.html"
ulkesecmereq = sessionid.post(url, headers=headersdelivery, data=payload,verify=False)
return sessionid
def adres_degistimi_kontrol_et(locationsession):
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/88.0.4324.190 Safari/537.36',
'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8',
'Accept-Language': 'en-US,en;q=0.5',
'Accept-Encoding': 'gzip, deflate, br',
'Connection': 'keep-alive',
'Upgrade-Insecure-Requests': '1',
'TE': 'Trailers'}
postdata = {
'storeContext':'generic',
'pageType':'Gateway'
}
req = locationsession.post("https://www.amazon.com/gp/glow/get-location-label.html",headers=headers, data=postdata, verify=False)
print(req.content)
adres_degistir_session = adres_degistir()
adres_degistimi_kontrol_et(adres_degistir_session)