Arama motorlarının çalışma mantığını tam anlayamadım.
Anahtar kelimeyi nerede arıyorlar? Alan adlarının listesini çıkarıp hepsini tek tek çekip karşılaştırma yapmaya çalışsa, 3 milyon sonucu 1 saniyeden kısa sürede bulamazdı. Alan adı alındığı anda ilk önemli verilere çekip kaydediyor desem, ona bellek dayanmaz. Aklıma başka bir şey gelmiyor.
Cevaplarınızı bekliyorum.
Arama motorlarını bilmem ama, milyon da olsa eğer elinizde doğru algoritma ve veri yapısı varsa işler kolaylaşıyor. Ayrıca işlemleri tek sunucuda yapacak diye birşey de yok. Dağıtık programlama denilen birşey var. Yani uzun sürebilecek işleri birden farklı sunucuya dağıtma. Sürekli kullanılan verileri de RAM üzerinde tutan programlar var. Böylece hız arttırmış olur. Bunu facebook hakkında bir yazı okurken öğrenmiştim.
Google için biraz araştırınca karşımıza bununla ilgili birçok yazı çıkıyor
Nasıl çalışır?
Arama motoru algoritmaları
Hadoop ve Spark öğrenmeni tavsiye ederim. MapReduce konusunu görünce zaten soruların cevaplanmış olur.Sadi Evren Şeker Hocanın youtube kanalında, big data hakkında detaylı bilgilere ulaşırsın.