Robot mesin pencari bertanggung jawab untuk merayapi halaman web. Program secara otomatis membaca data dari semua situs dan mendaftarkannya dalam bentuk yang dapat dimengerti oleh mesin pencari itu sendiri, sehingga nantinya sistem akan menampilkan hasil yang paling sesuai untuk pengguna.
Fungsi
Semua informasi yang diindeks dicatat dalam database umum.
Robot pencari adalah program yang secara otomatis melakukan perjalanan melalui halaman-halaman Internet, meminta dokumen yang diperlukan dan menerima struktur situs yang dirayapi. Robot secara mandiri memilih halaman yang akan dipindai. Dalam kebanyakan kasus, situs yang akan dipindai dipilih secara acak.
Jenis bot
Robot yang tidak berfungsi dengan baik secara signifikan meningkatkan beban pada jaringan dan server, yang dapat menyebabkan sumber daya tidak tersedia.
Setiap mesin pencari memiliki beberapa program yang disebut robot. Masing-masing dari mereka dapat melakukan fungsi tertentu. Misalnya, di Yandex, beberapa robot bertanggung jawab untuk memindai umpan berita RSS, yang akan berguna untuk mengindeks blog. Ada juga program yang hanya mencari gambar. Namun, yang paling penting adalah bot pengindeksan, yang menjadi dasar untuk pencarian apa pun. Ada juga robot cepat tambahan yang dirancang untuk mencari pembaruan pada umpan berita dan acara.
Prosedur pemindaian
Cara lain untuk mencegah perayapan konten adalah dengan membuat akses ke situs melalui panel pendaftaran.
Saat mengunjungi situs, program memindai sistem file untuk keberadaan file instruksi robots.txt. Jika ada dokumen, pembacaan arahan yang tertulis dalam dokumen dimulai. Robots.txt dapat melarang atau, sebaliknya, mengizinkan pemindaian halaman dan file tertentu di situs.
Proses pemindaian tergantung pada jenis program. Terkadang robot hanya membaca judul halaman dan beberapa paragraf. Dalam beberapa kasus, pemindaian dilakukan di seluruh dokumen tergantung pada markup HTML, yang juga dapat berfungsi sebagai sarana untuk menentukan frasa kunci. Beberapa program berspesialisasi dalam tag tersembunyi atau meta.
Menambahkan ke daftar
Setiap webmaster dapat mencegah mesin pencari merayapi halaman melalui robots.txt atau tag META. Selain itu, pembuat situs dapat secara manual menambahkan situs ke antrian pengindeksan, tetapi menambahkan itu tidak berarti bahwa robot akan segera merayapi halaman yang diinginkan. Untuk menambahkan situs ke antrian, mesin pencari juga menyediakan antarmuka khusus. Menambahkan situs secara signifikan mempercepat proses pengindeksan. Juga, untuk pendaftaran cepat di mesin pencari, sistem analisis web, direktori situs, dll. dapat digunakan.
