Halaman yang diindeks oleh mesin pencari memastikan lalu lintas yang stabil ke sumber daya. Tetapi jika saat ini situs Anda sedang dalam pengembangan, maka kemunculan robot pencari di halaman sumber daya sangat tidak diinginkan, karena informasi tentang bagian yang tidak terisi yang masuk ke dalam pencarian dapat menghilangkan sumber daya Anda dari pengunjung target untuk waktu yang lama. Untuk sementara melindungi situs dari perayapan oleh robot, Anda harus melarangnya mengindeks. Untuk melakukan ini, cukup membuat beberapa perubahan sederhana pada kode sumber daya.
Itu perlu
- - memiliki setidaknya pengetahuan dasar tentang HTML
- - tahu cara membuka folder root dari direktori file situs Anda
instruksi
Langkah 1
Pertama, periksa apakah situs Anda memiliki file robots.txt yang bertanggung jawab untuk pengindeksan sumber daya yang benar. Untuk melakukannya, buka http: situs www ru robots.txt, ganti http: situs www ru dengan alamat situs web Anda.
Langkah 2
Jika, ketika Anda mengklik tautan ini, catatan formulir "User-agent: * Disallow …" terbuka, maka ini berarti file yang diperlukan ada di situs Anda. Dalam hal ini, buka folder root tempat semua file situs Anda disimpan dan temukan file robots.txt.
Langkah 3
Jika sistem manajemen situs Anda memungkinkan Anda untuk mengedit file ini langsung dari folder root, maka buka robots.txt melalui layanan tambahan. Jika tidak mungkin membuat perubahan apa pun pada file melalui antarmuka sistem, simpan dokumen ke komputer Anda, lalu buka melalui program Notepad.
Langkah 4
Ubah dua baris pertama dokumen menjadi berikut ini:
Agen pengguna: *
Larang: /.
Tulisan "User-agent: *" menunjukkan bahwa aturan berikut berlaku untuk semua robot pencarian, dan "Disallow: /" berarti seluruh situs tidak diindeks. Setelah memperbaiki konten, simpan file.
Langkah 5
Jika situs Anda tidak memiliki file robots.txt, buat dokumen baru di Notepad. Masukkan dua entri yang sama di dalamnya, letakkan masing-masing di baris baru, dan simpan file menggunakan perintah "File-Save As …" dengan nama robots.txt.
Langkah 6
Unggah dokumen yang dibuat ke folder root situs Anda dan periksa fungsinya dengan mengikuti lagi tautan http: www · situs · ru robots.txt, di mana alih-alih "http: www · situs · ru" masukkan alamat sumber daya Anda.
Langkah 7
Cara lain untuk melarang pengindeksan adalah dengan memasukkan meta tag khusus ke dalam kode HTML halaman situs. Untuk menggunakan metode ini, temukan dalam kode salah satu halaman situs prasasti " dan letakkan segera setelah " baris ".
Langkah 8
Jika situs Anda ditulis dalam HTML, maka kode ini harus disisipkan di setiap halaman. Untuk sumber daya PHP, cukup menempatkan entri seperti itu di file header.php.
