Halaman setiap situs secara teratur dirayapi oleh robot pencari, yang memproses informasi di situs sehingga tersedia atas permintaan pengguna di mesin pencari. Kunjungan pengunjung dari mesin pencari memiliki efek positif pada lalu lintas situs dan merangsang pengembangan sumber daya. Tetapi, jika ada halaman di situs, informasi yang tidak ditujukan untuk audiens Internet (misalnya, halaman pribadi pengguna atau halaman pendaftaran), maka transisi dari mesin pencari ke halaman tersebut tidak diperlukan dan itu lebih baik untuk melarang informasi ini dari pengindeksan.
Diperlukan
- - punya situs web sendiri
- - untuk mengetahui tautan ke halaman, yang pengindeksannya harus dilarang.
- - memiliki setidaknya pengetahuan dasar tentang HTML
instruksi
Langkah 1
Untuk mencegah robot pencari mengindeks halaman situs tertentu, Anda perlu membuat perubahan pada file robots.txt, jika sudah ada di situs Anda, atau buat file ini.
Langkah 2
Jika file robots.txt sudah diunggah ke situs dan dimungkinkan untuk mengedit file ini langsung dari panel kontrol sumber daya, maka buka robots.txt melalui layanan web untuk mengedit.
Langkah 3
Jika tidak ada cara untuk membuat perubahan pada file yang diinginkan langsung dari panel kontrol, maka buka robots.txt di browser dengan mengklik tautan ke file ini. Salin semua data dari halaman yang terbuka dan tempel ke lembar di Notepad.
Langkah 4
Jika tidak ada robots.txt di situs, buka program "Notepad", di dokumen baru di mana Anda harus memasukkan kode yang diperlukan.
Langkah 5
Pada lembar dokumen teks kosong, tulis baris pertama yang diperlukan:
Agen pengguna: *
Langkah 6
Kemudian pergi ke baris berikutnya dengan menekan tombol Enter dan ketik kode berikut:
Disallow: / index / page3Disallow: menunjukkan tidak ada pengindeksan, dan / index / page3 adalah tautan ke halaman yang tidak perlu diindeks. Alih-alih tautan / indeks / halaman3, masukkan tautan ke halaman situs Anda yang ingin Anda blokir untuk diproses oleh robots.
Langkah 7
Perhatikan bahwa nama domain itu sendiri tidak ada di awal tautan; kehadirannya di entri menyiratkan garis miring. Saat merayapi situs, robot pencari secara otomatis memasukkan nama domain ke tautan tersebut. Karena itu, tulis tautan ke halaman yang diperlukan dengan cara ini.
Langkah 8
Setelah Disallow: Anda tidak hanya dapat menempatkan tautan ke halaman tertentu, tetapi juga tautan ke bagian atau direktori situs mana pun. Demikian pula, Anda dapat melarang pengindeksan bagian situs yang diinginkan.
Langkah 9
Jika perlu untuk melarang pemrosesan oleh robot dari beberapa bagian sumber daya yang berbeda, tulis tautan ke setiap bagian atau halaman pada baris baru, di awal yang jangan lupa untuk memasukkan entri Disallow:.
Langkah 10
Untuk menyelesaikan perubahan robots.txt, klik tombol "Simpan" saat mengedit file di panel kontrol, atau simpan dokumen teks dengan entri di bawah nama robots.txt dan unggah file ini ke situs.
