Cara Kerja Search Engine Dibalik Layar

Biasanya para mastah (master) SEO pada umumnya menjelaskan Riset Keyword di awal dari
setiap pembelajaran, namun kali ini penulis akan mencoba sesuatu yang berbeda. Yang akan
merubah mindset Anda mengenai cara kerja Search Engine pada umumnya, sebagai contoh
kasus kita akan menggunakan search engine raksasa yang populer pada saat ini. Google.
Google itu terdiri dari 2 bagian, yang pertama adalah bagian crawlernya, robot yang berkeliaran
untuk mencari data berupa halaman website, dan yang kedua adalah index web, yang kedua ini
adalah bagian yang setiap hari kita gunakan, setiap kali kita akan mencari sesuatu dengan cara
mengetikan keyword dikotak pencarian. Saya tidak akan membahas yang bagian kedua. Karena
Anda sudah biasa menggunakannya.Bagian yang pertama yaitu crawler, atau biasa disebut sebagai bot spider, googlebot saat ini sudah sampai versi ke 2.1, googlebot 2.1, bertugas sebagai crawler atau bot spider screen scraper.

Apa sih fungsi dari googlebot, atau crawler atau bot spider  dimiliki google?

Googlebot 2.1 atau crawler berfungsi sebagai robot yang terus merayap, bergerilya,bergentayangan, untuk terus menerus mencari data/berita/artikel terbaru berupa halaman website yang uptodate. Maksudnya seperti apa? Anggaplah seperti ini, Anda adalah googlebot, tugas Anda adalah mengecek semua website di dunia, apakah ada situs terbaru yang terdaftar, atau adakah pembaruan/update dari situs yang lama yang sudah masuk ke dalam database penyimpanan? Kemudian Anda akan masuk ke dalam sebuah situs server dunia yang di mana terdapat namanama website/domain terbaru yang terdaftar, setelah itu Anda mengunjungi satu persatu websitenya, dan setiap halaman dari semua website itu Anda kunjungi pula, dan Anda simpansetiap halaman dari semua website itu ke dalam sebuah tempat penyimpanan data, anggaplahmflashdisk. Tentunya Anda pun membuat semacam daftar halaman apa saja yang sudah disimpan, dan diambil di website mana, waktunya kapan.

Setelah Anda melakukan itu semua, maka di hari berikutnya Anda pun melakukan hal yang
sama, di tambah dengan mengunjungi situs yang sebelumnya pernah dikunjungi, Anda
mengecek apakah ada halaman yang baru, jika Ada maka Anda langsung kunjungi halaman
tersebut dan menyimpannya kembali di dalam database penyimpanan, misalnya flashdisk.

Nah begitulah googlebot bekerja, robot internet ini bekerja layaknya manusia yang sudah saya
jabarkan tadi. Cuma bedanya adalah ini semua dilakukan secara otomatis dan natural, natural
di sini maksudnya manusia tidak ikut campur tangan, karena tidak ada operator sama sekali
dalam kegiatan crawler yang dilakukan oleh google. Semuanya dilakukan oleh mesin.
Sehingga ketika kita masuk ke dalam www.google.com dan mengetikan suatu keyword
misalkan belajar seo di google, maka Anda akan mendapati banyak sekali halaman-halaman
website ditampilkan sesuai dengan keyword yang diketikkan di kotak pencarian. Halamanhalaman
website ini di ambil oleh googlebot 2.1 yang sebelumnya telah mengcrawl,
mengunjungi halaman website tersebut dan menyimpannya di dalam database google,
sehingga Anda bisa langsung melihat hasil dari setiap keyword yang Anda ketikkan di dalam
kotak pencarian milik google.

Secara teknis cara kerja googlebot yang nyatanya adalah seperti ini :

1. Pengecekan database submit url / pengecekan direktori web 

2. Crawler mengecek web di direktori

3. Masuk ke halaman depan web

4. Mengecek ke satu persatu link di halaman depan sambil indexing

5. Masuk ke dalam halaman, dan terus mengecek satu persatu link yang ada dalam halaman  sampai halaman tersebut tidak memiliki link ke luar

6. Dan begitu seterusnya... 

Nah dari cara kerja google seperti inilah kemudian para master SEO mencari-cari celah agar
halaman websitenya itu bisa muncul dihalaman depan google, google dipaksa untuk
menampilkan halaman-halaman website yang diseokan untuk muncul pada halaman pertama.
Ilmu tersebut bernama SEO, Search Engine Optimization

Sehingga dari sini pula lah google mengeluarkan aturan-aturan yang mana aturan tersebut
sebetulnya berfungsi untuk mengurangi kegiatan pemaksaan google agar memunculkan
halaman yang diseokan itu muncul dihalaman pertama google.
Aturan-aturan tersebut adalah Google Panda, Google EMD, Google Penguin, Google Dinosaurus,
dan banyak lagi hewan-hewan google lainnya.