Bagaimana Sebuah Mesin Pencari Bekerja dan Apa yang di maksud dengan Web Crawl?

Bagaimana sebuah mesin pencari bekerja dan apa yang di maksud dengan web crawl?

Paansii - Sebuah search engine (mesin pencari) berperan penting dalam memberitahukan situs Anda kepada konsumen tentang produk atau informasi-informasi yang Anda tawarkan. Untuk itu alangkah baiknya kita mengetahui bagaimana sebuah mesin pencari bekerja dan bagaimana mesin pencari melakukan web crawl atau mencarikan situs-situs yang berhubungan dengan apa yang diminati konsumen.

Pada dasarnya terdapat 2 (dua) type bagaimana mesin pencari bekerja. Yang pertama yaitu dengan ROBOT yang biasa disebut Crawler atau Spider.

Mesin pencari menggunakan metode Spider.

Ketika kita sudah melakukan submisi sebuah halaman website ke mesin pencari dengan mengisi form yang telah disediakan, jaringan akan secara otomatis menambahkan situs kita dalam daftar index mereka, akan tetapi hal ini memang perlu waktu dan tidak semudah yang kita bayangkan.

Karena kadang-kadang kita perlu melakukan submisi berkali-kali agar dapat terindex. “Spider” dengan sendirinya mengunjungi situs kita kemudian membaca konten atau isi situs, meta tags, dan mengikuti link yang terkoneksi ke situs kita.

Setelah itu spider bertugas mengembalikan informasi tersebut ke sentral dimana data-datanya aan terindex. Spider hanya mampu mengindex beberapa halaman saja, jadi sebaiknya kita membangun website tidak lebih dari 500 halaman.

Spider sewaktu-waktu akan kembali ke website secara periodik untuk mengecek informasi yang terupdate, sedangkan frekwensi kunjungan spider itu ditentukan oleh moderator mesin pencari.

Spider layaknya sebuah buku, yang terdiri dari daftar isi, isi aktual situs, link-link yang berhubungan serta berbagai referensi selama melakukan pencarian, sehingga dalam sehari bisa dikatakan terdapat jutaan halaman yang akan terindex.

Ketika kita meminta sebuah informasi kepada mesin pencari, maka ia akan menelusuri halaman yang telah ada sebelumnya dan bukan mencarikan suatu situs tertentu. “Lain padang lain ilalang”, itulah kata yang tepat untuk menggambarkan beberapa jenis mesin pencari, lain mesin pencari lain pula hasil cariannya.

Hal ini dikarenakan algoritma dalam index mereka tentunya berbeda-beda. Maka apabila kita mengetikkan sebuah kata kunci di Google.com akan berda hasilnya bila kita cari di Alexa.com, begitu pula dengan mesin pencari lainnya, misalnya Excite, Lycos, dan AltaVista.