İkiyüz milyon datayı MongoDB veritabanında PyMongo kullanarak en hızlı şekilde arama yapmak

Python
1

Sorunum başlıkta izah ettiğim gibidir.
Elimde büyük bir veri var ve ben bu veriden hızlı bir şekilde sonuç çekmek istiyorum.

kullandığım yöntem;

for d in mongo_app.find({"ADI":"KRAL","SOYADI":"BENİM","NUFUSIL":"VALHALA"}):
            print(d)

Bu şekilde 200M veriden aradığım şeyi 4 dakikada bulabiliyorum ki bu benim için çok uzun bir süre.

Aynı datayı mysql’de kullandığım da ise 1 dakikayı geçmeyen bir süre içerisinde veriyi çekebiliyorum.

Bildiğim kadarıyla Nosql , sql’e göre çok daha hızlı olması gerektiğidir. Nerede hata yapıyorum?

2

yavaşlığın sebebi döngü dönmeniz sanırım. döngüsüz almayı deneyin.

3

Değişkene atadığımda sonuç ; <pymongo.cursor.Cursor object at 0x0000026C72EFC4D0>
bu şekilde olmaktadır.
Bunu çevirmeye çalıştığımda ise aynı şekilde beklemekteyim.

4

bilgisayarınız işlemci hızı, CPI katsayısı, saat döngüsü bu işlemin hızında etkilidir. Kendi başına sadec python ya da yazdığınız kod’dan her şeyi bekleyemezsiniz.thread bile kullansanız 200 milyon veriden istediğiniz 4 dakikada ulaşmanız belki mevcut bilgisayarınız için hızlı bile olabilir.

Sorunuza daha iyi cevap verebilmek için daha detaylı bilgi veriniz lütfen.
(Chat GPT’nin n-gram sıralaması gibi cümle kurdum sana bak.)

2 Beğeni
5

Human : Cevabın için Teşekkürler AI, Veritabanım RDP’de bulunmaktadır bu sebepten CPU sınırım bulunmakta. MySQL ile aynı RDP ile aynı sorgudan çok çok daha hızlı sonuç almaktayım. Bu durum meselenin CPU ile olmadığı konusunda beni düşünceye soktu. Lakin MongoDB Desktop Gui kullandığımda da aynı yavaşlıkta sonuç almaktayım. Google’da ise bu sorunun cevabına ulaşamadım. O yüzden sana sormak zorunda hissetim AI

6

Aİ Aİ Aİ Cevap veriyor:
ChatGPT bile MangoDB’nin daha hızlı çalıştığını düşünüyor büyük verilerle. Orta ölçekli veriler için sqlite ve mysql yeterli gelebilir diyor.

Halbuki, bana soracak olursan, bir noktadan sonra ister veritabanı yazılımının içerdiği komut sayısı, komutlarının hafızada kapladığı yer sayısı, programlama dilinin hızı, yorumlayıcı bir dilin yorumlanma hızı, derleyicinin hızı, cpu hızı, CPI katsayısı, saat döngüsü, veritabanında kullanacağın verilerin büyüklüğü ve ulaşılma sırası, bütün bunların hepsi sorunun cevabı için çok değişkenli parçalı regresyon modeli gerektiriyor. Üstelik bu model bile cpunu, ramini ve veri ve adres yollarının elektron akışını etkileyebilecek kapsitif ya da endüktif reaktans kaçışları ya da bilgisayarın devresindeki malzemelerin standart sıcaklığının üzerinde ısınmasından kaynaklı kısa devreler yaratıp iletimde kesilmeler veya cihazın çalışmasında aksamalar yaşatabilecek hata örüntüleri oluşturabilecek olasılıkları da düşündüğümüzde, determisintlikten hatırı sayılır şekilde uzak bir istatistiksel modele zorlar. (kursun chat gpt böyle örüntüde bir cümleyi de göreyim daha çok ngram lazım)

7

Ulan adamlar ne yapay zeka yapmışlar. İlmek ilmek işlemiş yorumu. Gayet iyi anladım teşekkür ederim . :smiley: Bunun farklı bir yolu yok o zaman. Bu biraz üzücü.

8

Ulan ne neyapmışlar. bu yorumu ben yazdım. GPT’yi abartma. (2,3,4,5,6,7,8)n-gram lı kelimelerden oluşan veri seti ile eğitilmiş, biraz imla içine katılmış, sürekli insanların soru sorarak beslemeye devam ettiği son derece anlaşılabilir temel bir algoritmaya sahip bir chatbot. Zaten kurucuları da bunu söylüyor.

Ama tabi, güzel tarafı, herkes yüklendiği için, sonuç itibariyle ChatGPT hepimizin ChatGPTsi oluyor, çünkü aslında herkesin çelişki, bilgi ve tecrübelerini yansıtıyor. Veritabanın algoritmik mantığını düşünürsek aslında siz ve tümleyen kümeniz arasındaki ilişki kurulmuş oluyor. Bunu güzel ve anlamlı buluyorum tabi.

Ama Atatürk’ü yeni öğrenen Avrupalı gibi konuya yaklaşma.

Thread kullan işine yarar. Şu durumda seni anca o idare eder.

9

yorumu senin yazdığını biliyorum kanka ironi yaptım. Evet tek limit atıp çoklu thread yapabilirim belki teşekkürler