Bir Scrapping meselesi

image
Buradaki kırmızı ile çizdiğim id’lere ulaşacak bir delikanlı arıyorum.

import requests

headers = {
    'authority': 'local-tr.flashscore.ninja',
    'accept': '*/*',
    'accept-language': 'tr-TR,tr;q=0.9,en-US;q=0.8,en;q=0.7',
    'cache-control': 'no-cache',
    'origin': 'https://www.flashscore.com.tr',
    'pragma': 'no-cache',
    'referer': 'https://www.flashscore.com.tr/',
    'sec-ch-ua': '"Not.A/Brand";v="8", "Chromium";v="114", "Google Chrome";v="114"',
    'sec-ch-ua-mobile': '?1',
    'sec-ch-ua-platform': '"Android"',
    'sec-fetch-dest': 'empty',
    'sec-fetch-mode': 'cors',
    'sec-fetch-site': 'cross-site',
    'user-agent': 'Mozilla/5.0 (Linux; Android 6.0; Nexus 5 Build/MRA58N) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/114.0.0.0 Mobile Safari/537.36',
    'x-fsign': 'SW9D1eZo',
    'x-geoip': '1',
}

response = requests.get('https://local-tr.flashscore.ninja/10/x/feed/f_1_0_3_tr_1', headers=headers)
print(response.text)

Kodu ayıklama işini sana bırakıyorum " AA÷ " dan sonra gelen kodların önüne " g_1_ " eklersen aynı olduklarını görüceksin

Sana teşekkürlerden bir tuple yolluyorum. Hiç solmasın, değişmesin. thank u GOAT

Bundan sonra , önce apileri kontrol edersin heralde :))

Yemin ederim kontrol ettim bütün source ları da, bu konularda fazla araştırmadığım için bilgim yok pek. Yoksa https://local-tr.flashscore.ninja/10/x/feed/f_1_0_3_tr_1’ şu kısmı farklı kombinasyonlarla denedim build üzerinden, mesela local-tr.flashscore.ninja/…/build diye gittim ama bu konuları pek bilmiyorum ama öğrenmeliyim kesinlikle.

Farklı kombinasyona gerek yok. İstekleri izle gelen yanıtlarda istediğin bi veri var mı diye bak varsa zaten olay çözülmüştür.
Bide merak ettim bu dataları nerde kullanıyosun

istatistiksel bir merak. takımların özniteliklerini çıkarıyorum, güncelle etkisini karşılaştırıyorum. sonra futbolcuları da işin içine katacağım.

Merak tabi bir yere kadar.

Biliyorsun, başımıza bir şey gelmesin.

Anladım bayağı büyük dataların içine karışıcak gibisin ozaman. Kolay gelsin

olaylar büyüyecek ama, olaylar bizi buluyor muhammet, yoksa biz nezih insanlarız.

Fülya Ztrük gibi ben de umreye gidecektim yoksa…

1 Beğeni

Kendisine sordum:

Tekrar sordum:

Senle konuştuğunu inkar ediyor densiz. Üzerine de konuştuysa bile sildim kafamda tutmam diyor.

Şimdi konu şu:

Daha önce online bahis gibi bir derdimiz yoksa süreye takılmamak gerektiğini düşündüğümü söylemiştim.

Çünkü 14 saniye içinde fikrin değişmeyecekse, bekleyip veriyi almak gayet olası bir durum.

Ama benim işim gücüm yok zamanım da az, her sistenin tüm elementlerini, tüm javascriptlerini ve her api yapısını çözümlemek ve buradan gelen verileri de parse etmekle uğraşacak sadistim diyorsan saygı duyarım.

Lakin ben olaya şöyle bakıyorum.

Web sayfaları, web browser enginler tarafından işlenmeli ve sonrasında oluşan veri üzerinde gördüğün veriyi işlemelisin.

İki nedenden dolayı, birincisi bu işin legalite sınırı tartışmaya açık ve ben bu scrappingin adamın tüm veri tabanına doğrudan erişime kadar giden kısmına geleceğinden bir yerde durmak gerekeceği düşüncesindeyim. İnternet hukuku tartışmaya açık.

İkincisi, programcılar düşündüğün kadar yetenekli olmadığından oluşturulan bazı apiler doğru tanımlanmamış ve alması gereken tüm parametreleri takip etmek gerekir aksi halde bazan istediğin sonuçlar dönmez ve hayat birinin yazdığı yaygın olmayan bir apiyi öğrenmek için çok kısa.

Burada konu şu, zaman endişesi istatistikte ne kadar önemli. Bence istatistik bir kez oluşturulacak ve sadece üzerine değişenler ilave edilecek bir bilgi kümesinde ilk oluşturma zamanı fazla olmakla beraber sonraki ilave veriler çok büyük zaman tüketmeyecektir. En azından her sitedeki sayfanın apilerini okumaya uğraşacak kadar zaman tüketmeyecektir.

Yine daha önce söylediğim üzere, alt tarafı web sayfası ve bir kaç script için ciddiye alıp programlama kafası yormaya değmez. Web sheet, web shit…

Tabi sen böyle düşünmüyor olabilirsin. Zaman senin için önemli o zaman zaten dediğimin tersi yönde zaman harcayabilirsin.

Kimi binlerce fotoğraf baskısı yaparak para kazanır fotoğrafçılıkla kimi müşteri seçer ve dünyanın en güzel tablosunu elle yapmayı tercih eder. İkisine de neden diye sorgulayamam.

Programlama dünyasının genişliğini düşünürsen, şu an trend big data, veri analizi, web scrapping olduğunda herkes bir yerlerden veri kazımakla meşgul. Yani binlerce fotoğraf basarak para kazanmak peşindeler. Saygı duyarım.

Ben portre çizmekle meşgulüm sen istedin diye, elimdeki tam otomatik bir makine ile bir iki fotoğraf çekerim ama tüm enerjimi fotoğrafçılığa harcayamam.

Sorduğun sorunun aslında başta cevabı benim için çözümlendi. Yukarıdki mesajlarda ben örnekledim.

Yani web sayfasına isteği gönderdim, o bana sayfayı oluşturdu ve ben istediğim veriyi onun üzerinden aldım. Süresi benim için anlamsız. Arada ne yaptığı ilgimi çekmiyor. Çünkü ülke şartları ortada, performans için uğraştığma değmez, çünkü muhteşem internet altyapımız nedeniyle, ne yaparsan yap, bir anda kendini ISS’in sana sunduğu hizmet sınırına takılabilirsin.

Yani ülkede band genişliği, istek yaptığın server ın kapasitesi bir çok nedenle zatan yüklenirsem iş stress testine bile dönüşür.

Ve inan hiç ilgimi çekmiyor, biz zamanında bu filmleri, Endüstri Mühendisliği konusunda da gördük. Endüstri Mühendisi deyince sanki sanyiyi kalkındıracak gibi milleti gazladılar. Zavallı arkadaşlarım tercih etti sonra kendilerini yarı muhasebeci yarı stok takipçisi gibi bir pozisyonda buldular.

Yani trendlerin gazına gelenlerin uzun soluklu gelecekleri konusunda emin olamıyorum.

Durum bundan ibaret kolay gelsin.

Tabi emekli albaylar da haklıdır.

Shanyu, yani Şanyü bir ünvandır. Ve Türk tarihi için önemlidir. Marx, kendi etnoloji çalışmalarında ünvanların evriminin, örgütlü kabilelerin kökenini araştırmada kullanır. Metodolojisi pek çok önemli eski-tarihçi için doğrudur. Hatta bence gerçektir. Türk Tarihi için önemi, sanılanın aksine Moğol-Türk kabileleri doğrudan Hiung-nu kökenli aynı kabileler yapar. Sadece bu da değil, Arapların İskitlere “Sarmat”; Bizansların İskitlilere “Türk” ve Çinlilerin Hiung-nulara “Türk” demesi, bu kabileleri daha da birbirine bağlar. Bu kabilelerin en eskileri bu ünvanı(ya da çok yakın transkripsiyonunu) kullandılar hep. Ben bu ünvanı, bizimkilerin(özellikle bizim en önemli tarihçilerimizden bile) “Moğollar ile Türkler farklı efenim” demesinden nefret ettiğim ve hatta ağır cahillik olarak gördüğüm için kullanmayı seviyorum. (Mesela İlber Hoca Moğollar Türk değil der. Halbu ki Marx gibi bir materyalistin metodolojisi ile bakacak olursak, Temuçin Tao’cularla konuşmasında Şanyü diye bahseder Meta Han’dan. Gerçi Çağatayca’yı Türkçe olarak Dil Fakültesinde görüp, Çağatay Han’ı Türk Olmayan Moğol olarak görmek tezatını da bizim milletin hak etmesi normal, çünkü kendimizden başkalarına benzemek konusunda bizden daha aptal bir millet yok gibi.
Kendi 60 yaşında iken öldüğünde, 10 yaşında olan Osman Bey’in AKP’nin ATV’sinde koskoca Türk Tarihinin en büyük mareşalini(Sübüdey) öldürmesini yine aynı Türklere izleten bir toplumun bu dediğimi anlaması mümkün değil tabi.(ki Osman(ya da Ataman) Beyin kendisinin doğrudan Moğol olduğu da ciddi tarih tartışmasıdır, hatta Fatih’in Giray’a, soyu tükenirse hanedanın ondan devam edeceğine dair yaptığı anlaşmayı düşünürsek.(Selçukluyu bitiren Moğollar’ın Keyhüsrevleri Türk Töresine uyarak yayla öldürmesi de cabası)…)
Malum bizimkiler Araplaşmakla meşgul.

Bu da bir tepkidir.

Neyse, Şanyü, Türklerin en eski Ünvanıdır. Yani Altay-idlerin. GPT ile bu ünvanla konuşmuyorum.

Beni tanıması için, anahtar kelimeler ile ulaştığı veri tabanından TIFF ile topladığı metinlerden, kendisine yazılan metindeki anahtar kelimelerden oluşturduğu n-gramlar ile ürettiği metinlerden daha fazlası lazım.

Ben veri değilim. Bilgiyim.

1 Beğeni

Elçiye zeval olmaz, chatgpt ile dialoğunuz kendi aranızda.

Dedim ya aranıda bir birinize nasıl hitap etmek isterseniz o şekilde hitap edin.

Demişsin aranızda ne geçti sordum söylemedi. Sen de söylemedin ama Şanyu nedir konusunda brifing alıyorum :slight_smile:

Sizinkiler aynı şeyi deneyip farklı sonuçlar bekliyorlarsa durumları ortada. Ben o konuya girmeden, dibiyle inatlaşan altına eder inatlaşsınlar bakalım der geçerdim.

Tepkin konusu, pasif agresiflikten ibaret. Anlamazlar… Üzerler… Anlıyor musun?

Web scrappingle uğraşıyorsan sadece bir datasın. Konuştukların, görüştüklerin, arkadaşların, düşüncelerin onlar için sadece istatistiksel bir bilgi hepsi bu.

Bu ülkede tüm ülke internet verisinin günlük arşivlenmesi ile ilgili mevzuat çıkardıklarını biliyorsun değil mi?

Yani Şanyü… Maalesef, sen onlar için bir verisin… Bilgiye saygısı olan ülkede olduğunu düşünecek kadar iyimser olmadığını düşünüyorum.

Onlar için ne olduğum çok da önemli değil.
Onlar için Mustafa Kemal, Esad, Cevat değil Allah kazandırdı Çanakkale Zaferi’ni.
Onlar için İttihatçılar hain ama Kut’ul Amare’yi yapan, Çanakkale’yi yapan, Osmanlı’nın son 2 yüz yılının kurmayları da İttihatçılar ama, "Onlar"a göre haindirler.
Onlar bu ülkenin pisliğidir. Pireye, bok faresine bile benzetmek pireye, bok faresine hakarettir. Zira bu canlılar pisliğin sebebi değildir, “Onlar” ise sebebi, kaynağıdır.
Onlar benim Sikkim’de bile değil.

Sikkim’de olmayan, Tac Mahal’i gezse ne fayda…

Altın Varaklı Saraylarında “Taht Oyunları” oyunları oynayanların üzebilecekleri tek şey Küçük Şanyü’nün keyfidir.

O bile oralı(Sikkim’li) değil gibi. Üstelik o oranın ta kendisi…

“Bırakınız yapsınlar” liboşluğu ben de yok, ama çok da şey yapmıyorum, nasılsa körler duvara çarpana kadar önünde bir şey olduğunu pek de var sayamazlar.
Duvar?
Duvarı deprem aldı.
Deprem?
SDÜ raporuna göre yıkılan 32 bin bina ama, ölen hikmet-i gayb’ın işine bak ki 50 bin. Üstelik Doğu’da bir haneye 2 çocuktan kat kat fazlası düşer. Üstelik bu kitle "Onlar"ın kitlesidir…
Kitle?
Evet, o da sadece bir veri.

Maalesef, sen onlar için bir verisin

Şüphesiz her şey veridir.

“Bir insanın ölümü trajiktir , on insanın ölümü dramatiktir, bir milyon insanın ölümü ise sadece bir istatistiktir.”

Bunu söyleyen de bir Gürcüydü zaten…

1 Beğeni

Çok eğlenceli yazmışsın vaktim olursa uzunca karalayım…

Ama kralı kral yapan soytarısıdır derler.

Şeyh uçmaz mürid uçurur derler.

Onlar özet, asıl onları bu hale getirenlerden bayasıyla beraber yaşıyorsun asıl sorun bu.

“Ağzın bal yesin”.
Öyle.
:))

import requests
from bs4 import BeautifulSoup
import json

URL = "https://www.flashscore.com.tr/mac/nDEQkX6B/#/mac-ozeti/mac-istatistikleri/1"
r = requests.get(URL)

soup = BeautifulSoup(r.text, "lxml")
scripts = soup.find_all("script")

env_script = None
for script in scripts:
    if script.text.find("window.environment") > 0:
        env_script = script.text
        break

init_script = env_script.strip().replace("window.environment = ", "")[:-1]
init_json = json.loads(init_script)

FEED_SIGN = init_json["config"]["app"]["feed_sign"]  # in headers value of X-Fsign
EVENT_ID = init_json["event_id_c"]
HOME_NAME = init_json["participantsData"]["home"][0]["name"]
AWAY_NAME = init_json["participantsData"]["away"][0]["name"]

STATISTICS_URL = "https://local-tr.flashscore.ninja/10/x/feed/df_st_1_{}"

r = requests.get(STATISTICS_URL.format(EVENT_ID), headers={"X-Fsign": FEED_SIGN})
stats_splitted = r.text.split("SG÷")[1:]

stats_dct = {}
HOME = 1
AWAY = 2
for stat in stats_splitted:
    splitted = stat.split("¬")

    stats_dct[f"{splitted[0]}"] = {
            HOME_NAME: splitted[HOME].split("÷")[-1],
            AWAY_NAME: splitted[AWAY].split("÷")[-1],
        }
print(stats_dct)

çok fena spaghetti oldu ama sadece requests ve bs4 ile çözdüm hocam. umarım işinizi görür.

1 Beğeni

Teşekkürler çözeli 2 saatten fazla oldu, Muhammet izini belli etmiyor. Ama yine de devam, make samba kanka.

yıllar önce minik bir bebeyken knight online’a başlamaya karar verdim. o zamanlar kötü ingilizcemle “yapmak” kelimesi kafamda “make” olarak canlandığından “samba yap” anlamında “makesamba” nickini almıştım. o zamandan bu yana samba yaparım :smiley:

Ah ah, bir zamanlar, lisedeyken knight ın meşhur çarı Beter’in sahibi Tuncay abiye Peugeot verdiklerini, hatta Tuncay abinin internet kafesine çarının tablosunu yaptırdığını hatırlarım.

Hiç oynamasam da, bilirim o çılgın oyunu…

Ares’in efsane Assassin’i (o zamanlar asas derdik). Döneminde oynayıp da tanımayan yoktur herhalde