Python - Grafik Analizleri Yapabilir Miyiz? #BeyinFırtınası

Merhaba,

İlgili konu başlığı ve içeriği altında yer alan görsellerden görebileceğiniz üzere Python kullanarak resimdeki grafikten yahut resmin alındığı web sitesinden direkt grafik üzerinden analizler yapmak istiyorum.

Öncelikle resimlerde görünen kırmızı ve yeşil çubuklara mum diyoruz. Bu mumlardan yeşil olanlar artış olduğunu kırmızı olanlar düşüş olduğunu gösteriyor.

Her bir mum kendi içerisinde adlandırılmış durumdadır. İşlevsel durumuna formasyon denir ve 100 den fazla mum formasyonu bulunmaktadır.

Mumların kalın olan kısımlarına gövde, başında ve sonunda bulunan ince kısımlarını çubuk diye adlandırıyoruz.

Genel başlıkları ile grafiğin tanımı bu. Grafik bir kripto para biriminin 24 saatlik süreç içerisinde gerçekleşen 5dk süreli mumlarından oluşmaktadır.


Ne yapmak istiyoruz?

Yapmak istediğimiz analiz;

  • Mum Şekilleri
  • Mum Boyları
  • Mum Senaryoları
  • Çubukların Boyaları
  • Mumların Gidiş Yönleri
  • Mum + Çubuk Takibi

şeklinde analizler yapmak istiyorum.


Ulaşmak istediğimiz sonuç nedir?

Benzer mumları yakalamak, yükseliş ve düşüşlerdeki senaryoları yakalamak, mum açılışlarını yakalamak, mum kapanışlarını yakalamak, geçmiş verilere bakıp yeni yönler tahmin etmek vb.

Konu bir beyin fırtınası olarak devam etmesini istediğim için düşüncelerimin tamamını yazmayacağım. Farklı fikirler ve yönelimlerle yenilik getirmeyi amaçlayalım.


Peki sonuç?

Düzenli olarak alım-satım yaparken yeni stratejiler ile kâr amacı güden bir piyasa yapıcı ve alıcı rolünde sürekliliği olan kazanç hedefi sağlamak. Burada sunulacak yazılım çözümleri ile yapılan yaklaşım ve stratejiler ile düzenli ve sürekli olarak disiplinli denemeler yapacağım. Başarı oranı en yüksek olan strateji ve analizi alım-satım da kullanarak yüksek kazançlar hedefleyeceğiz.

İlgili olanlar, fikir sahibi olanlar, uygulamalı örnek yapabilecek ya da kaynak gösterecek olanları bekliyorum.

Fantom Grafik >> TRADINGVIEW_FTMUSDT

Görseller;

1 -


2 -
3 -
4 -
5 -
6 -
7 -

Not: Yatırım tavsiyesi olarak değil tamamen fikir alışverişi olarak açılmış bir konu başlığıdır. Yatırımlar tamamen kendi bireysel özgür kararlarınız sonucunda nitelendirilir ve gerçekleştirilir. İlgili konu başlığı ve yazar kişisel tercihleriniz sonucunda yapacağınız yatırımlar sonucunda gerçekleşen pozitif-negatif hiçbir koşuldan mesul değildir.

1 Beğeni

Görüntü işleme konusunda OpenCV kütüphanesi kullanılıyor diye biliyorum.
Kütüphaneyi kullanmadığım için istediğin işlem yapılabilir mi yapılamaz mı? yapılırsa ilave kütüphanelere de gerek duyar mı bilemiyorum.
OpenCV Kütüphanesini araştırmanı tavsiye ederim.

OpenCV Nedir? Bileşenleri ve Alternatifleri | Mesut Pişkin adresinde, OpenCV ile alakalı paylaşılan veriler aşağıdadır.

OpenCV (Open Source Computer Vision) açık kaynak kodlu görüntü işleme kütüphanesidir. 1999 yılında İntel tarafından geliştirilmeye başlanmış daha sonra Itseez, Willow, Nvidia, AMD, Google gibi şirket ve toplulukların desteği ile gelişim süreci devam etmektedir. İlk sürüm olan OpenCV alfa 2000 yılında piyasaya çıkmıştır. İlk etapta C programlama dili ile geliştirilmeye başlanmış ve daha sonra birçok algoritması C++ dili ile geliştirilmiştir. Open source yani açık kaynak kodlu bir kütüphanedir ve BSD lisansı ile altında geliştirilmektedir. BSD lisansına sahip olması bu kütüphaneyi istediğiniz projede ücretsiz olarak kullanabileceğiniz anlamına gelmektedir. OpenCV platform bağımsız bir kütüphanedir, bu sayede Windows, Linux, FreeBSD, Android, Mac OS ve iOS platformlarında çalışabilmektedir. C++, C, Python, Java, Matlab, EmguCV kütüphanesi aracılığıyla da Visual Basic.Net, C# ve Visual C++ dilleri ile topluluklar tarafından geliştirilen farklı wrapperlar aracılığıyla Perl ve Ruby programlama dilleri ile kolaylıkla OpenCV uygulamaları geliştirilebilir.

2016-05-27 tarihli güncelleme, OpenCV geliştirici Itseez firması Intel tarafından satın alındı. OpenCV geliştirmesine Intel çatısı altından devam edeceğini duyurdu.

OpenCV kütüphanesi içerisinde görüntü işlemeye (image processing) ve makine öğrenmesine (machine learning) yönelik 2500’den fazla algoritma bulunmaktadır. Bu algoritmalar ile yüz tanıma, nesneleri ayırt etme, insan hareketlerini tespit edebilme, nesne sınıflandırma, plaka tanıma, üç boyutlu görüntü üzerinde işlem yapabilme, görüntü karşılaştırma, optik karakter tanımlama OCR (Optical Character Recognition) gibi işlemler rahatlıkla yapılabilmektedir.

OpenCV Bileşenleri

OpenCV kütüphanesini daha iyi anlamak için mimarisinden ve OpenCV’yi oluşturan bileşenlerden bahsetmek istiyorum.

  • Core: OpenCV’nin temel fonksiyonları ve matris, point, size gibi veri yapılarını bulundurur. Ayrıca görüntü üzerine çizim yapabilmek için kullanılabilecek metotları ve XML işlemleri için gerekli bileşenleri barındırır.
  • HighGui: Resim görüntüleme, pencereleri yönetme ve grafiksel kullanıcı arabirimleri için gerekli olabilecek metotları barındırır. 3.0 öncesi sürümlerde dosya sistemi üzerinden resim dosyası okuma ve yazma işlemlerini yerine getiren metotları barındırmaktaydı.
  • Imgproc: Filtreleme operatörleri, kenar bulma, nesne belirleme, renk uzayı yönetimi, renk yönetimi ve eşikleme gibi neredeyse tüm fonksiyonları içine alan bir pakettir. 3 ve sonra sürümlerde bazı fonksiyonlar değişmiş olsada 2 ve 3 sürümünde de bir çok fonksiyon aynıdır.
  • Imgcodecs: Dosya sistemi üzerinden resim ve video okuma/yazma işlemlerini yerine getiren metotları barındırmaktadır.
  • Videoio: Kameralara ve video cihazlarına erişmek ve görüntü almak ve görüntü yazmak için gerekli metotları barındırır. OpenCV 3 sürümü öncesinde bu paketteki birçok metot video paketi içerisindeydi.

Tüm OpenCV modülleri için http://docs.opencv.org/3.0-beta/modules/refman.html adresine göz atabilirsiniz.

Alternatif Görüntü İşleme Kütüphaneleri

Görüntü işleme projelerinizde kullanacağınız kütüphaneyi amacınıza uygun olarak seçmeniz önemlidir. Bu seçimi yaparken ne yapmak istediğinize doğru karar vermelisiniz, örneğin sadece kameradan (usb, ip vs.) görüntü almak için projenize OpenCV entegre etmenize gerek olmayabilir. Bu gibi durumlar için ve OpenCV’nin neden iyi olduğunu anlayabilmek amacıyla alternatif olarak görüntü işleme kütüphanelerine de bakalım.

  • MATLAB: Matlab için bir görüntü işleme kütüphanesi olarak bahsetmek doğru değildir fakat içerisinde görüntü işlemeye yönelik temel algoritmaları barındırmaktadır.Dördüncü nesil ve çok amaçlı bir programlama dilidir. Akademik araştırmalarınızda, performansın önemli olmadığı durumlarda temel görüntü işlemleri için tercih edebilirsiniz.Matlab kullanarak OpenCV Kütüphanesi ile etkileşimli olarak da uygulamalarda geliştirmek mümkündür.
  • Halcon: Endüstriyel projeler için tercih edilen, kendi içerisinde geliştirme ortamının yanı sıra çeşitli programlama dilleri (C, C++, VS C++, C#, VB.NET) için kütüphanesi bulunan, yapay görme (machine vision) odaklı ticari bir yazılımdır. İçerisinde birçok hazır fonksiyon bulundurur bu sayede hızlı uygulamalar geliştirilebilir. OpenCV açık kaynak kodlu, ücretsiz bir kütüphanedir ve computer vision odaklıdır.Bu yönleri ile Halcon’dan ayrılmaktadır.
  • OpenFrameworks: Açık kaynak olarak geliştirilen bu kütüphane C++ programlama dili için geliştirilen bu proje OS X, Linux, Embedded Linux (ARM), iOS, Android platformlarında çalışabilmektedir. OpenCV kütüphanesinin bir çok algoritmasını kullanır ve temel çıkış amacı kolay ve hızlı uygulama geliştirmektir. Örneğin OpenCV ile 2t sürede gerçekleştirdiğiniz bir işi 1t sürede gerçekleştirebilirsiniz, bunun temel sebebi ise bir çok fonksiyonu aracılığıyla standart hale getirilmiş olan işleri tek satır ile yapabilmesidir (Nesne tespiti,takibi renk belirleme, karşılaştırma vb.).
  • CIMG: Açık kaynak kodlu bir görüntü işleme kütüphanesidir. Windows, Linux ve OS X platformu üzerinde çalışmaktadır. Sadece C++ dili için desteği bulunmaktadır fakat yazılmış wrapperlar ile Java ve Python ile de uygulama geliştirilebilmektedir. Birçok algoritmayı barındırmaktadır fakat OpenCV kadar performanslı ve geniş bir algoritma altyapısına sahip değildir.
  • Fiji: Java platformu için geliştirilmiş açık kaynak kodlu GPL lisansına sahip bir görüntü işleme kütüphanesidir. Windows, Linux ve MAC OSX Intel 32-bit veya 64-bit üzerinde çalışır. Bilimsel görüntü analizi için geliştirilmiştir. Genetik, hücre biyolojisi, nöro-bilim gibi alanlar için özelleştirilmiş algoritmalara sahiptir.

Endrov, ImageJ, Lead tools, Pink, Image Magick, Boost ise görüntü işleme kütüphanelerinden bazılarıdır.

1 Beğeni

Ta-lib includes 150+ indicators such as ADX, MACD, RSI and Bollinger Bands and candlestick pattern recognition.

Ta-Lib ?

1 Beğeni

Sitenin görselleştirdiği şekilde değil de ham şekilde işlemek daha hızlı ve iyi sonuç verecektir. Selenium gibi bir teknoloji kullanıyorsanız görselleştirmeyi yapan script ve değişkenlerine erişmeniz mümkün olabilir. Verilere erişmek için dokümanlandırılmış bir API kullanmak veya sitenin gerçekleştirdiği istekleri simüle etmek de mümkün. Bu yöntemler arasında en stabili dokümanlandırılmış bir API kullanmak.

2 Beğeni

Görüntü işleme ile istatistiksel tahmin yapılıyor mu ya, ömrümde duymadım.

Bu iş için normalde ve pythonda gerekli olanları sana yazıyorum:

Normalde:

-Matematik 1,2
-Yuksek Matematik 1,2
-İstatistik 1, 2
-Parametrik Olmayan İstatistik
-Çok Değişkenli İstatistik
-Regresyon Analizi
-Ekonometri 1,2
-Doğrusal ve Doğrusal Olmayan Cebir
-Ekonometrik Modeller
-Zaman Serisi Analizleri 1, 2
-Veri Bilimi
-Makine Öğrenmesi

Python’da:

-Statistics, Scipy, Numpy, Pandas
-Matplotlib, Seaborn, Mglearn
-Scikit-learn, Ta, Statsmodels, Tscv, Mlxtend
-Keras, Pytorch, Tensorflow, Pmdarima, Pycaret

Bunların yanında Veri toplama ve Veri Biçimlendirme ile ilgili hem program hem de yayın kaynaklarına da ulaşman lazım.

Uzaktan zor gibi geliyor hepsi, ama girince alışıyorsun…

1 Beğeni

Katılımcılar gayet güzel, yorumlar yapmış…

Sorum şu:

Python - Grafik Analizleri Yapabilir Miyiz?

Grafik analizden kastınız nedir?

Grafiği oluşturan datalara ulaşıp bunun analizini yapmak mı?

Yoksa elimizde sadece görsel bir grafik var ve bunun üzerinde görüntü işleme metodları ile bir analiz mi oluşturmaya çalışacağız?

Her ikisi de olası;

İlk yöntemde zaten datalar elinizde bu verilerle nasıl bir analiz yapmak isterseniz zaten yapabilirsiniz.

İkinci metodda ise elinizde sadece grafiğin görüntüsü var ve görüntü işleme ile incelemek tercihiniz.

Bu durumda bir kaç husus bir arada dikkate alınmalı.

Renkler?

Renkleriniz standart mı? Her grafikte veriler farklı renklendiriliyorsa bakış açısı farklı olur, aynı ise farklı olur.

Aynı olduğunu varsayalım…

Bu durumda,

Forumda opencv ile renk tespiti sağlayan bir kod örneği var.

Renkleri ayırır. Belirli genişlikte çerçeveye alır. Genişlik değerlerine göre mum ve çubukları bu çerçevelerin yüksekliği cinsinden gayet rahat sayısal değerlere dönüştürebilirsiniz.

Diğer taraftan bir skalanız var bu skala değerlerini grafikten text e almanız gerekebilir.

Bunun için aklımda tesseract ocr gibi bir programla konum ve değerlerini almak var.

Gersisi bu değerlerle hangi analizi yapmak istediğinize kalır.

Geri dönelim birinci seçeneğe, grafiği oluşturan verilere ulaşamıyorsanız. Öncelikle grafiği oluşturan js koduna bakıp, verilerin izini sürün.

Elde ettiğiniz verileri analiz edin.

Bunlar sorunuza yönelik tahminler.

Gelelim…

Bu tür analizlerle ilgili düşünceme…

20 yılın üzerinde mühendislik yapmış biri olarak somut verilerle çalışmaya, varsayımlarda bulunmaya, değerleri ve koşulları sınırlamaya ve bunun üzerinden kesine yakın hesaplar yapmaya alışkınım.

Ve fakat iş insan faktörüne gelince ön görülemezlik çok farklı bir durum…

Yani tüm hesaplamalarınıza rağmen, insanlar hiç tahmin edemeyeceğiniz farklı davranışlar sergilerler ve bunun sonuçlarıda hesaplamalarınızın alt üst olmasıyla sonuçların.

Yani sosyoloji farklı bir bilim dalı ve tıpkı felsefe gibi kümülatif bilgiden oluşur, kesinliği yoktur, doğrular yoktur yanlışlar yoktur.

Heleki finansal analizler söz konusu olduğunda;

Dünyanın hangi bölgesinde hangi manyağın hangi sorunu çıkaracağı, hangi doğal felaketin çıkacağı, yada kimin savaş çıkaracağı gibi durumlarda insan davranışlarının ne olacağının belli olmadığı bir noktada bunları izole etmeden hesaplama yapılamaz. Ama bu izole hesaplama da kesinlikle olacak olaylar neticesinde koşullar değişeceğinden zaten hesaplamalarınız çöp olur.

Onun için eline alıp grafiklere çizgi çekerek kehanetlerde bulunanlara ideal koşullarda belki derim ama içinde bulunduğumuz dünyada sadece gülüp geçebiliyorum…

Dünyanın en büyük altın rafinerisinin havaya uçması, durduk yere kahve talebinin azalmasına, platin madeni keşfine göre değişebilecek değerleri, önceki davranış istatistikleriyle nasıl doğru reaksion verilebilir bilemedim.

Heleki grafikler üzerinde mümkün bile değil…

Üzerine daha spekülasyon denilen piyasaları keyfe keder manipüle edecek davranışları saymıyorum dahi…

Konu bitcoin ve benzeri tokenler olduğunda, ortadan kaybolanlar, batanlar buhar olanları saymıyorum dahi…

Bu nedenle işin analiz kısmı hayalden ibaret (bana göre)

Ama işin tekniği ve programlaması açısından her iki ihtimalde de programlama çözümü üretmek mümkün.

1 Beğeni

Sana her zaman bulamayacagın bir cevap vereceğim. Anlayacağın şekilde.

Ama "Sosyal Bilimlerin Goreli sonuçları"na cevap vermem gerekir.

Bu koca bir yalandır. Her şey evrenin içindedir ve yeterli değişken ve doğru istatistiksel modellerle her şeyin öngörülmesi mümkündür.
Tek bir şey hariç, her şeyin kendisinin baz alınan zamanı. Sadece herşeyin kendisinden bir oncesine kadar gradyan iniş yapılabilir. Bu aforizmik ve son derece doğru cümleyi buraya bırakıp, haydarindarindarindarinanay, şarkısının fonda kısıldığını varsayarak burayı atlıyorum.

Resimle analiz yapman için, sadece şöyle bir model kurabilirsin. Belirli bir değer-zaman grafiğinin belirli zaman aralıklarındaki her anının resmini eşzamanlı olarak indirip, yükselme ya da azalma şeklinde kategorik olarak sınıflandırıp, cosinüs benzerlik algoritması ya da levenshtein benzerlik algoritması gibi algoritmalarla mevcut/reel/cari değerlerin yukseliş ya da azalışını lojistik, destek vektör vs. gibi modellerle tahmin edebilirsin.

Ama bunlardansa, bizzat söz konusu tahminlenmek istenen değeri(bağımlı değişken, hedef değişken vs.) etkileyeceğini düşündüğün degişkenler(bağımsız değişkenler, açiklayıcı değişkenler, öğretici deģişkenler vs.) ıle belirli istatistiksel metotlar planlayarak analiz etmek ve tahminlerde bulunmak bundan daha faydalı.

Yani bu işler benzerlik ile olabilseydi, sadece veri setinin benzerliklerini de kuran algoritmalar ve formülasyonlar var ki, yine bu görüntü işlemeli bir analizden daha hızlı olur diye düşünüyorum.

1 Beğeni

Anlamış mıdır? Şahsen ben anlamadım…

Evet tam da merak ettiğim bu göreli sonuçlar?

Yalan olan sosyal bilimlerin sonuçlarının göreli olduğu mu? Sosyal bilimlerden elde edilen verilerin yalan olduğu mu? Burayı anlamadım zaten.

Asıl anlamadığım bir yer de burada. Bize öğretilen, “doğru istatistik”, “yeterli değişken” gibi ibarelerin, kalitatif olduğu.

Biz kanditatif özelliklerle çalışırız.

İstatistiki bir çalışma yapıp sonuçlar doğru çıkmazsa, yeterli değişken yoktu demek öngörüye bir katkı sağlamaz ki. Baştan ön görseydiniz o zaman derdim.

Yada doğru istatistik derken, kime göre doğru? Doğru yada yanlış olduğuna sonda karar veriliyorsa zaten veri sabit değil demektir…

Yani insan davranışları zaten ön görülemezlik üzerine kurulu…

Basit istatistik modelleme yapın. Kırmızı ışıkta araçların duracağı varsayımı ile, ama hangi dengesizin bu kuralı çiğneyeceğini ölçemez ancak ön görebilirsiniz.

Sonuç tutarsa öngörü doğru, yanlış çıkarsa öngörü hatalı diyebilirsiniz.

Yani sonuç istediğiniz noktaya gelene kadar hep suç başlangıç değerlerinde.

Sebep?

Ölçüm veya varsayım hatası ya da, sınır hatası…

Peki öngörülecek değer, insan ile alakalı ise?

Zaten bunu öngörebilir, doğru varsayımlarda bulunabilsek. Cinayetler, kazalar önlenebilirdi değil mi?

Teorik olarak tüm değişkenleri doğru belirlersek söylemi doğru ama pratikte…

Bir manyağın, çocukluğundan itibaren tüm tüm başına gelen olaylar, sağlık durumu, ruhani durumu, o günki kan değerleri verileri gibi davranışını etkileyecek her veriye sahip olabilsek ki buna hava koşulları vs gibi dış etkenleri de eklesek. Ve bunların tüm dünyadaki insanların verilerinen oluşan bir veri seti olduğunu düşünürsek ancak belki yatırımdaki analize etkilerine yaklaşabiliriz.

Bu normal ve olası gibi mi görünüyor?

İstatistik bilimine saygılıyım ama iş insan faktörüne gelince işler o kadar kolay değil.

Teoride yüzde yüz verimli motorlar, yüzde yüz verimli mikroişlemciler var ama pratikte böyle bir şey mümkün değil. Hesaplamalar varsayımlar üzerine kurulu ve ihmal ettiğiniz her ayrıntı etki olarak geri dönebiliyor.

Hele iş insan ise inanılmaz farklı dönebilir.

Elinizde 5 milyar insanın, tıbbi kayıtlar, çocukluk geçmişi, ruh hali dahil “yeterli” veriler olduğunda tabi ki istatistik bilimi buna bir tahminde bulunabilir.

Ama o ana kadar, yetersiz veriler nedeniyle yapamayacağınız istatistik bana bir anlam ifade edemiyor.

1 Beğeni

Bu şunun gibi, bir olayın %99 olma ihtimali, de, %1 olmama ihtimali de, neticede olmama ya da olma ihtimali olduğu için, %50 bir olasılık barındırır, demek gibi…

Bunu hocalarıma çok sorardım, aklıma düştü, hiç cevap veremediler. Oysa yanıt çok basitti, bu soru da istatistik ve matematikle açıklanabilir bir gerçekti. Merkezi Limit Teoremini öğrendiğimde, bu sorunun yanıtını da bulmuştum.

Esas itibari ile, peşin hükümleri hep küçümsemiştir istatistikçiler. Deterministik ilişkilerin anlamsız olduğu ile ilgili yığınla yayın okudum. Özellikle de bu konudaki fikirlerini direk Sosyal Bilimlerde kanıtlıyorlardı. Kanıt demeyelim aslında, zira kanıt da çok peşin hüküm bir kavram. Deterministik ilişkilerin anlamlı olduğu hipotezini reddedebiliyorlardı, diyelim.

Davulun sesi uzaktan hep Fourier dönüşümüne uğramış gibiydi çünkü.

Halbuki evrendeki her yasa matematikseldir. Daha doğrusu her yasa yasadır, biz onu matematiksel dile çeviririz. Denklemin yanına yöresine bir “hata terimi” ya da “yanlılık” gibi bir seyler eklenmesi, bize çeşitli spesifikasyon hatalarını ve onların derecesi ya da miktarını anlatır.

Bu tip hataların hemen her ölçümde bir şekilde ortaya çıkması bu sözüm ona "peşin hüküm"cü determinizmin hayal olması ile ilgili değil, bilakis evrenin nano hatta yokto hatta bilmemneskm küçük ölçeğinden zepta ya da bilmem ne skm büyük ölçeğinde hemen her uzayında keşfedilmemiş değişkenler hep olduğu anlamına gelir. Oldu. Oluyor. Olacak.

Bunun anlamı deterministik ilişkilerin ulaşılmaz olmasında değil.

Bingo.

Tüm evrenin ve belki de bizim evren de diyerek sınırladığımız aslında sonsuz olan şeyin temel formuyla ilgili: HAREKET.

Fiziksel, kimyasal, biyolojik, jeokimyevi, biyokimyasal, sitolojik, nutrigenetik bilmemneskmde hiçbir yasa statik değildir. Bu yüzden bir şekilde denklemdeki keşfedilmemiş kısmı üretir.

İnsanlar deterministik ilişkilere ulaşabilir, Sosyal Bilimlerde de. Zira Sosyal olunca doğa denen kümenin içinden çıkmıyor insan toplumu ya da onun ürettiği her şey. Ona dair her şey.

Peki ya ben şuan farklı bir karar verirsem?

Verebilirsin.

Aslanlar da avlarını belirlerken beklenmedik kararlar verebiliyor.
Tabi, biz tüm ayrıntıları ile, “beklenmedik olanın ölçümlerini gözlemleyip modelleyene kadar”, o beklenmediktir.

Verilerin yetersiz olması senin için bir anlam ifade etmeyebilir, belirli bir anlamlılık düzeyinde ama.

Bunu anlaman için, gözlemlemeyi sabırla beklemeli, ya da gözlemleyecek araçlari ya da yöntemleri üretmelisin.

Verinin yetersizliği doğanın belli bir uzayındaki brlli bir alandaki yasaların işlemediği anlamına gelmez.

Insanlar keşfetmesede kütle çekimi yasası oradaydı. Hassasiyeti, değişkenelrdeki birimsel değişiklikler vs. bu gerçeğin olduğunu değiştirmiyor.

İnsan toplumunun kendi çelişkilerinin “rasgelelik”, bu çelişkilerinin sonucunu da “öngörülemezlik” olarak tanımlamak, insan toplumu olarak bizim aptallığımızdır. Oysa doğayı nasıl ölçüyorsak, onun içinde bir boyut olarak kendimizi ve kendimizle ilgili her şeyi ölçebiliriz. Kontrol edebiliriz. Öngörebiliriz.

Yani sadece şu “Sosyal Bilimlerdeki Öngörülmezliğin dayanılmaz hafifliğine” katlanamıyorum.

Üzgünüm.

2 Beğeni

Olayı iyi anlatamamışım sanırım.

Kendimi hep pesimist görürüm, deterministlere bir şey diyemem.

Onun için sosyal yaşamda Murphy kanunlarını baz alırım…

İstatistik bilimi faydasızdır yada kötüdür tezinde değilim. Ama istatistiği yapacak olan analist de insan ve incelediği data seti de insan ise hesaplama her zaman yüksek hata riski içerir.

Görece “yetersiz” bir data seti üzerinden bir istatistik sonuç getirmeyecektir.

Yeterli data seti ise tüm parametreleri içerirse anlamlı, içeremeyeceğine göre (peşin kötümser hükümüm) anlamlı sonuç çıkarmayacaktır.

Yaptığımız bır kopma analizi olsa bir yere kadar doğru, izole insan eli değmemiş, insan hatalarından arındırılmış olarak. Ama insan ellediyse; hatalar yığılmaya başlar…

Biz de buna kaza deriz…

Zaten sorunda bu. Cetvel insan, ölçen insan olduğu sürece doğru ölçüm çıkmayacak ve öngörülemezlik olarak tabir ettiğim durum ortaya çıkacaktır…

Ölçen insan değil bir tanrı varsayımıyla yapılırsa ölçüm doğru istatistik de doğru çıkardı…

Aranızda tanrı olduğu iddiası olan yoksa, ölçümü doğru yaptığını da iddia edemez sanırım…

Yani evren matematiğine de itirazım yok, ama evrenin matematiğinin tamamını çözememiş bir canlı türü olarak, “yeterli” ölçüme dayalı istatistiksel sonuç üretemezsin…

Zaten bunu yapabiliyor olsak, tüm sonuçları doğru bilir, artık mesihliğimizi de ilan ederdik…

Tekrarlıyorum. İstatistik bilimine karşı değilim. Bir meyve bıçağının meyve kesmekteki faydası tartışılmaz ama meyve bıçağı ile bina yıkmaya kalkan birine sadece gülebilirim…

Sonuç hayatın gerçekleri ile istatistik biliminin tüm veri setini doğru sağlayıp doğru sonuçlar elde edebilen varsa. ( Ki bilimsel literatürde, tekrarlanılabilirlik önemli bir husustur).

İspatlayan, direk kendini mesih yada tanrı ilan etsin bence sakıncası yok.

Ha o ana kadar ben pesimist pesimist takılır…

Murphy kanunlarına dikkat ederek işlerimi yaparım.

1 Beğeni
Olayı iyi anlatamamışım sanırım.
Kendimi hep pesimist görürüm, deterministlere bir şey diyemem.

Konu kesinlikle sen deģildin. Determinizm de degildi. Sadece, Sosyal Bilimler’deki ölçme hataları üzerindeki kuru gürültü tezlerden etkilenmis olmandı.

Onun için sosyal yaşamda Murphy kanunlarını baz alırım…

Elbette senin göbeğin senin kararın.

Ama istatistiği yapacak olan analist de insan ve incelediği data seti de insan ise hesaplama her zaman yüksek hata riski içerir.

İnsan şuan matematiksel dili kullanabilip de ölçme yeteneğine sahip olduğunu bildiğimiz tek canlı. Yüksek hata bile, henüz örüntüsu anlaşılamamış veri seti sayılır. Konunun insanlarla da ilgisi yok.

Görece “yetersiz” bir data seti üzerinden bir istatistik sonuç getirmeyecektir.

Yeterli data seti ise tüm parametreleri içerirse anlamlı, içeremeyeceğine göre (peşin kötümser hükümüm) anlamlı sonuç çıkarmayacaktır.

‘Görece’ Yetersiz veri setleri ile dahi doğru düzeltmeleri ve hiperparametreleri seçer, uygun modeli skorlari ve hataları ile bulabilirsen analiz edebilirsin.


Yaptığımız bır kopma analizi olsa bir yere kadar doğru, izole insan eli değmemiş, insan hatalarından arındırılmış olarak. Ama insan ellediyse; hatalar yığılmaya başlar…

Biz de buna kaza deriz…

Zaten sorunda bu. Cetvel insan, ölçen insan olduğu sürece doğru ölçüm çıkmayacak ve öngörülemezlik olarak tabir ettiğim durum ortaya çıkacaktır…

Ölçen insan değil bir tanrı varsayımıyla yapılırsa ölçüm doğru istatistik de doğru çıkardı…

Ne yazık ki kadere ve kazaya iman etmiyor, herşeyin ölçüsünu belirleyip, bu ölçüye hakim olan ve bunu yaparken herkesi bir imtihana sokup, imtihanın sonunda herkesi ödüllendireceği varsayılan metafizik bir şeye inanmıyorum.

Insan da, onun icadı olduğunu düşündüğüm metafiziksel varlık da(insanın ölçü görülmesi bile bunun kanıtı) herhangi bir şeyin ölçüsü değil, zira ölçü, kabul edilmiş birimlerle uzay-zamansal metrikleri açıklamaya çalışan bir belittir. Konunun bahsettiklerinle de bir ilgisi yok.

Aranızda tanrı olduğu iddiası olan yoksa, ölçümü doğru yaptığını da iddia edemez sanırım…

Yani evren matematiğine de itirazım yok, ama evrenin matematiğinin tamamını çözememiş bir canlı türü olarak, “yeterli” ölçüme dayalı istatistiksel sonuç üretemezsin…

Zaten bunu yapabiliyor olsak, tüm sonuçları doğru bilir, artık mesihliğimizi de ilan ederdik…

Mesihlik, Şeyhlik felan pek bilmem. Bilimin bu deneye, gözleme ve mantıklı belitlere dayanmayan konularla pek ilgisi olduğunu sanmıyorum.


Tekrarlıyorum. İstatistik bilimine karşı değilim. Bir meyve bıçağının meyve kesmekteki faydası tartışılmaz ama meyve bıçağı ile bina yıkmaya kalkan birine sadece gülebilirim…

Sonuç hayatın gerçekleri ile istatistik biliminin tüm veri setini doğru sağlayıp doğru sonuçlar elde edebilen varsa. ( Ki bilimsel literatürde, tekrarlanılabilirlik önemli bir husustur).

Karşısın demedim.
Tekrarlanabilirlik önemli hususlardan biridir, yalnızca o değidir.

İspatlayan, direk kendini mesih yada tanrı ilan etsin bence sakıncası yok.

Kimseye bunu öneremem.

Ha o ana kadar ben pesimist pesimist takılır…

Murphy kanunlarına dikkat ederek işlerimi yaparım.

Evren Murphy kanunlarına göre işlemez. Evrende tek bir konun yoktur. Evren sonsuz spektrumda sonsuz boyutta objelerin hareket halindeki sonsuz yasalarının bir bütünüdür. Ki buna belirli bir ölçek getirmek ve bu matematiksel olarak varsayımsal kümeyi sınırlandırmak bile sadece tanım gereğidir.

Bence.

1 Beğeni

Şimdi istatistik bilimine saygı duyarken sosyolojiye haksızlık olmaz mı bu? Adamların bilimine neden kuru gürültü dedik? Ben sadece cetven insan iken insanı ölçerse hatalı ölçümler oluşur, daha sabit bir üst ölçek gerekir dedim. Kuru gürültü demem sosyologların da çoğu tezine katılmam.

Göbek demeyelim de, hazard analiz diyelim. Tedbirli davranmak diyelim, emniyet katsayısınnı yüksek tutmak diyelim, ihtiyat diyelim.

Tam da bunu söylüyorum, örüntüsü anlaşılamamış veri seti ile yapılamayacak istatistik varsayımdan ibarettir.

Doğru düzeltmeleri yapıp, ‘hiperparametreleri’, uygun modeli skorları ve hatalar ile bulabirsen analiz et de yarın hangi kağıdı alacağımızı bilelim o zaman. Sorunda bu zaten. Hata tespitini yapabilecek misin? Neyi hata kabul edeceksin? Varsayımsal uygun model ne? Kim uygun dedi?

Konunun metafizik tarafında değilim, raslantısallık, olasılık hesabı içerisinde hep kestrilemeyen ve adına hata, sapma, ihmal gibi set dışına atılan verilerin sebepsiz olmadığı düşüncesindeyim. Bu sapmaların sebebine değil sonucuna odaklı konuşuyorum.

Konu içinde hayatta şeyhlikten bahsetmedim. Mesihlik ise simgesel, zaten her şeyi öngörülebilir hale getirir ve bilebilirsen, zaten gideceği nokta bu. Falcılara gidenler gibi düşün, bileydim bu kısmına takılacağını falcı, yada kahin derdim.

Tekrarlanılabilirlik, kurduğun istatistiki model her seferinde bana doğru sonuçları verecekse anlamında yoksa, diğer hususlar bunun yanında benim için tali kalır.

Evrenin işleyişi yerine sınırlı bir veri kümesi içerisinde murphy ile kendimce tedbir alıyorum. Tüm sorunları hallettiği iddiasında değilim.

Ama iş sonsuz yasalar konusuna gelince, sonsuz ile yapılacak hesaplamalardan sonlu sonuç elde edemeyeceksek hiç zorlamayalım bence.

Netice itibarıyla.

Olayı somutlaştıralım.

Bana yarın bitcoin in saat 14.00 da ne kadar olduğunu bilecek bir modelin varsa saygı duyarım. Yoksa bende de carnot çevrimi var, ama ne yaptıysak ideal çevrimi elde edemedik…

Bir hafta sonra altının gram fiyatının saat 08.30 da ne kadar olacağını bileceksen yine saygı duyarım.

Ama entropi kanunları değişmediyse her şey dağınıklığa gider, kesinleşmez flulaşır.

Buradan geleceğimiz nokta şu…

David Copperfield uçabiliyor ama paralı gösteri yapıyor… ?!

Yani istatistiki olarak her şeyi modelleyebiliriz ama maaşlı çalışmaya çalışıyoruz?!

Modelle, ben de basayım parayı oraya.

Ha yan yattı çamura battı, veri setim yetersiz, yok şunları ihmal etmeyi unuttum demek yok.

Bilimsel verilerle koy modeli çalıştır sonuçlara bakalım…

Yoksa iş dönüp dolaşıp, dostluk, kardeşlik, dünya barışı deyip insanların bir birini boğazladığı noktaya gelirse sıkıntı…

Ama henüz tüm evrenin matematiğini anlamadık kiye gelirsen yadı gülüm keten helva.7

Edit:

Kendi yazımı kendim okudum, bu sefer de aşırı materyalist gördüm kendimi…

2 Beğeni

Pesimist olmak bir şeyi değiştirmeyeceği için olmuyorum. Ölelim mi yani.

Şimdilik 0.02 hata ile bazen sapmali artma ya ada azalmayı tespit edebiliyorum.

Yakında bulacagım bir yolunu. Bakalım.

2 Beğeni

Er Ryan’ı Kurtarmak filmideki replik aklıma geldi.

-Ölecek miyim doktor?

-Hepimiz bir gün öleceğiz.

0.02 sapma iyi rakam.

Tekrarlanabilirliği bundan önemli.

Her seferinde 0.02 kabul…

Hadi bakalım, çek çıkar bizi bu hattan…

2 Beğeni

Çıkaracağım. Çıkarmak çok önemli. Diff() yapınca seri durağanlaşıyor ve her şey daha kolay oluyor.
Zaten her şey değişim, fark.
Çıkaracaģım günler yakın.

2 Beğeni