Hampir setiap webmaster mencoba mengoptimalkan halaman situsnya sedemikian rupa untuk mendapatkan elemen terindeks sebanyak mungkin. Tetapi dalam beberapa kasus, sebaliknya, Anda perlu menyembunyikan beberapa halaman, misalnya, formulir untuk memasukkan data pendaftaran, memulihkan kata sandi, dll.
Itu perlu
Mengedit file Robots.txt
instruksi
Langkah 1
Cara termudah untuk menutup pengindeksan beberapa bagian atau seluruh situs tertentu adalah dengan membuat entri yang sesuai di file robots.txt. Dia digunakan sebagai panduan untuk mesin pencari. Saat memasuki halaman situs, robot pencari merujuk ke file ini, jika tidak ada, itu mengindeks seluruh situs, jika tidak maka mengikuti rekomendasi yang ditentukan dalam file ini.
Langkah 2
Jika Anda membuat situs Anda sendiri, dan Anda tidak memiliki aplikasi seperti itu, dalam bentuk dokumen teks yang menunjukkan larangan, mudah untuk membuatnya sendiri. Buka dokumen teks baru, misalnya menggunakan program Notepad. Tempatkan baris berikut di badan dokumen: User-agent: * Disallow: /file.htmlDisallow: / directory /
Langkah 3
Sekarang mari kita cari tahu apa yang Anda minta mesin pencari sebagai tugas. Tanda "*" di seberang User-agent berarti bahwa instruksi ini harus dijalankan oleh semua sistem file. Misalnya, jika Anda menulis "Yandex" alih-alih "*", banding ini hanya akan dibaca oleh robot mesin pencari Yandex. Pernyataan larang melarang pengindeksan bagian (direktori) atau file tertentu (file.html).
Langkah 4
Setelah mengkompilasi file robots.txt, Anda dapat langsung membuka teks di halaman situs. Seperti yang Anda ketahui, mesin pencari tidak suka memiliki lebih dari 3 tautan aktif eksternal di halaman Anda. Bagaimana jika Anda membutuhkan mimisan tetapi memposting 5 tautan atau lebih. Dalam kasus ini, Anda dapat menggunakan atribut atau tag.
Langkah 5
Untuk menutup tautan dari pengindeksan oleh mesin pencari Google, Anda perlu membawa tautan ke dalam formulir berikut: tautan jangkar. Badan atribut harus dimasukkan ke bagian mana pun dari tautan, jangan lupa untuk memisahkannya dengan spasi, mis. atribut dapat ditempatkan di antara "a" dan "href" atau antara tautan dan jangkarnya.
Langkah 6
Untuk menutup tautan dari pengindeksan oleh mesin pencari Yandex, Anda harus memasukkan tautan ke dalam formulir berikut: tautan jangkar. Tag ditempatkan di awal dan di akhir tautan. Jangan lupa bahwa tag ini dipasangkan: bagian kedua, tidak seperti yang pertama, dilengkapi dengan tanda "/".
