SQL , JSON okutma [50M Satır]

hiçbiri çalışmıyor benzer hatalar hocam mlsf

Hacim ben araya girerek bir şey sorayım: görüntülediğin içerik tam olarak ne? Şemalar mı? Tablolar mı?

tablo hocam

personel id , personel ismi , personel soyismi diye devam ediyor

o zaman datayı export edeyim, oradan ona dönüştüreyime gerek yok ki. pymysql kurup bunun üzerinden veri tabanı erişimi yaparak istediğin işlemi gerçekleştir. Kaldı ki veri tabanı olayı milyonlarca satırı tutabilecek bir sistem olması.

1 Beğeni

ozaman sorumu şu şekil yönlendireyim hocam python da bu kadar büyük bir dosyayı okutmak mümkün değilmi , bu kadar büyük dosyaları okutanlar pymysql mi kullanıyor

pymysql büyük dosya okumak için değil, veri tabanına bağlanmak için kullanılıyor. ve evet, veri tabanı üzerinde bu kütüphane ile okuma yapabilirsin. bu kütüphane üzerinden istediğin verileri SQL sorguları ile çekmen lazım. Örnekleri inceleyip kendine uyarlayarak bir günde öğrenirsin.

image


image

import mysql.connector 

cnx = mysql.connector.connect(user='root', password='1234',
                            host='localhost',
                            database='world')

cursor = cnx.cursor()

query = ("SELECT ID, Name FROM city")

cursor.execute(query)

for (ID, Name) in cursor:
    print(ID, " - ", Name)

cursor.close()

cnx.close()

şu şekil erişmeyi denedim fakat sonuç alamadım nerde yanlış yapıyor olabilirim world yazan database in uzantısı sql falan değil bu workbench i yüklediğimde kendisi geldi otomatik

pythonun hiçbir kütüphanesi ile bu kadar büyük bir dosyayı okutamadım (.sql , .cvs , .json) başkalarınında okutabildiğini zannetmiyorum internetteki örnekleri denedim ve sonuç alamadım burdaki hocalarımda dm den yardımcı oldular fakat ordanda başarılı bir sonuç alamadık sql workbench kullan dediler baktım benim istediğimden fazlası var ve karmaşık öğrenmem gerekiyordu ekstra ona zaman ayıramıycaktım ve benim dosyam zaten benim bilgisayarımda olduğu için xampp la bir localhost kurup pymyadmine bağladım o şekilde çözdüm python a girdiğim sorgu localhost da dönüp bana geri geliyor

localhostta dönüp sana nasıl geliyor nasıl yaptın onu

socket yazdım client socket üzerinden servera bağlanıyor daha sonra serverdaki python kodum localhostdaki phpmyadmine sorguyu gönderiyor cevabı alıp tekrar socket üzerinden clientime gönderiyor

kodları paylaşabilir misin rica etsem.

xampp açık mı duruyor çalışırken

Aylar sonra başlığın, panel nasıl oluşturulur başlığı olduğunu fark ettim. :smile:

import socket
from threading import Thread
import pymysql
import time

def client_handler(conn):
    db = pymysql.connect(host='localhost',
                         user='root',
                         password='',
                         db='personeldatasi',)
    baglanti = db.cursor()
    
    try:
        while True:
    
            data = conn.recv(1024).decode("utf-8")
            print(data)
            if not data:
                print("server is down")
                break

        
            data_list = data.split('|')


            query = "SELECT * FROM `personeldatasi` WHERE "
            where_clauses = []
            
            if len(data_list[0]) != 0:
                where_clauses.append(f"`AD` LIKE '{data_list[0]}'")
            if len(data_list[1]) != 0:
                where_clauses.append(f"`SOYAD` LIKE '{data_list[1]}'")
            if len(data_list[2]) != 0:
                where_clauses.append(f"`TITLE` LIKE '{data_list[2]}'")
            if len(data_list[3]) != 0:
                where_clauses.append(f"`SGKNO` LIKE '{data_list[3]}'")
            if len(data_list[4]) != 0:
                where_clauses.append(f"`ISKUR` LIKE '{data_list[4]}'")
            
            if len(where_clauses) > 0:
                query += " AND ".join(where_clauses)
                baglanti.execute(query)
                kullanicilar = baglanti.fetchall()
            else:
                kullanicilar = []
        
            for i in kullanicilar:
                time.sleep(0.1)
                i = list(i)
                i[0] = str(i[0])
                bilgi = '|'.join(i)
                print(bilgi)
                conn.send(bilgi.encode("utf-8"))
        
        
        conn.close()

    except ( ConnectionAbortedError,ConnectionResetError ):
        pass



def server_program():
    host = "127.0.0.1"
    port = 5000

    server_socket = socket.socket()
    server_socket.bind((host, port))

    server_socket.listen(2)
 
    while True:
        conn, address = server_socket.accept()
        print("BAGLANTİ: " + str(address))


        Thread(target=client_handler, args=(conn,) ).start()


if __name__ == '__main__':
    #Thread(target=server_program,daemon=True).start()
    server_program()```


def client_program(self):
    host = "127.0.0.1"
    port = 5000

    client_socket = socket.socket()
    client_socket.connect((host, port))

    isimi = self.linedit1.text()
    soyisimi = self.linedit2.text()
    title = self.linedit3.text()
    sgkno = self.linedit4.text()
    iskur = self.linedit5.text()

    data_list = [ ad , soyad ,title , sgkno , iskur]
    data_str = '|'.join(data_list)
    client_socket.send(data_str.encode("utf-8"))

    while True:

        sorgu_sonucu = client_socket.recv(1024).decode("utf-8")
        self.signal_tablo.emit(sorgu_sonucu)

        if not sorgu_sonucu:
            print("server is down")
            break
    client_socket.close()```
1 Beğeni

adam sgk datasını da bulmuş.

eyw brom canımsın . .

sgk datası yada başka bir data ile alaksı yok hocam ben çalıştığım yerdeki insan kaynakları departmanı için yazdığım bir program , kendileri işe giren çıkanları ayrıştırırken sorgularken araştırırken sorunlar yaşıyordu işleri kolaylaşsın diye yazdığım bir proje tabi projeyi alıp s*rgu programı falan yaparsanız ona benim yapabileceğim bir şey yok