Pengindeksan adalah proses pemindaian file yang terletak di sumber daya Internet oleh robot pencari. Prosedur ini dilakukan agar situs tersedia dalam hasil pencarian untuk berbagai kueri di mesin pencari. Di antara mesin pencari terbesar saat ini adalah Yandex, yang melakukan pemindaian ini dengan caranya sendiri.
instruksi
Langkah 1
Pengindeksan situs Internet dilakukan oleh program otomatis khusus - robot pencari, yang secara otomatis melacak tampilan situs baru di World Wide Web, terus-menerus memindai halaman Internet yang terletak di Internet, file dan tautan ke mereka di setiap sumber daya.
Langkah 2
Untuk memindai, robot pergi ke direktori tempat sumber daya berada di server tertentu. Saat memilih situs baru, robot dipandu oleh ketersediaannya. Misalnya, ada pendapat bahwa Yandex pertama-tama memindai situs yang dibuat dalam domain berbahasa Rusia dan dalam bahasa Rusia - ru, rf, su atau ua, dan baru kemudian pindah ke wilayah lain.
Langkah 3
Robot menavigasi ke situs dan memindai strukturnya, pertama-tama mencari file yang menunjukkan pencarian lebih lanjut. Misalnya, situs dipindai untuk Sitemap.xml atau robots.txt. File-file ini dapat digunakan untuk mengatur perilaku robot pencari saat memindai. Menggunakan peta situs (sitemap.xml), robot mendapatkan ide yang lebih akurat tentang struktur sumber daya. Webmaster menggunakan robots.txt untuk menentukan file yang tidak ingin ditampilkan dalam hasil penelusuran. Misalnya, itu bisa berupa informasi pribadi atau data lain yang tidak diinginkan.
Langkah 4
Setelah memindai kedua dokumen ini dan menerima instruksi yang diperlukan, robot mulai mengurai kode HTML dan memproses tag yang diterima. Secara default, jika file robots.txt tidak ada, mesin pencari mulai memproses semua dokumen yang disimpan di server.
Langkah 5
Dengan mengklik tautan dalam dokumen, robot juga menerima informasi tentang situs lain yang antri untuk pemindaian mengikuti sumber ini. File yang dipindai di situs disimpan sebagai salinan teks dan struktur di server di pusat data Yandex.
Langkah 6
Kebutuhan pemindaian ulang juga ditentukan secara otomatis oleh robot. Program membandingkan hasil pemindaian yang ada dengan versi situs yang diperbarui saat melewati pengindeksan lagi. Jika data yang diterima oleh program berbeda, salinan situs juga diperbarui di server Yandex.
