Cara penulisan pencekalan Disallow:/p

Penulisan perintah robots.txt ini harus benar-benar diperhatikan, karena berdampak serius pada blog kita di hasil pencarian google.
Karena penulisan perintah pencekalan yang kurang benar, artikel kita bisa saja tidak tampil di halaman pencarian google walau kita melakukan submit berulang-ulang.
Seperti yang saya alami beberapa hari yang lalu.
Artikel yang saya publish tak kunjung tampil di halaman pencarian google padahal sudah submit di google webmaster tools dan juga di google plus.
Sebelumnya saya tidak mencurigainya, mungkin saja ini adalah dampak dari mengganti template, karena saya telah mengganti template sebelumnya, jadi setidaknya butuh waktu seharian untuk crawling.
Namun hampir 2 hari artikel tidak juga tampil di halaman pencarian google. Padahal bila untuk menampilkan satu artikel dibutuhkan waktu tidak sampai 1 menit saja, artikel sudah terindex google meskipun tidak pada page one.

Kemudian saya pun mencari penyebab tidak terindexnya artikel saya ini.
Seperti biasa saya masih mengandalkan plugin Mozilla Firefox (SEO-DOCTOR).
Plugin ini sangat saya sukai karena selalu membantu saya untuk mengetahui score SEO untuk blog saya.
Pada pengecekan homepage, tidak ada yang salah dan bendera pun berwarna hijau, yang artinya halaman tersebut baik.
Namun pada halaman artikel dengan judul "Peralatan elektronik yang boros listrik" ikon bendera pun berubah menjadi seperti rambu-rambu dilarang masuk.
Baca juga: Inilah yang menyebabkan H1 title tag menjadi doubleMulanya saya tidak mencurigai akan kesalahan pada penulisan pencekalan robots.txt.
Langkah awal yang saya lakukan adalah menghapus sederetan meta robots yang saya pasang.
Dan, ikon rambu-rambu dilarang masuk masih saja nongol di pojok kanan tab url browser mozilla firefox, usaha pertama masih belum berhasil.

Selanjutnya saya masih saja belum menemukan jalan keluar untuk masalah ini.
Saya pun membuka kembali halaman postingan saya dan kemudian membaca keterangan dari plugin SEO DOCTOR ini.
Dari keterangan yang didapat,
Page Indexable
Page is not indexable because of robots.txt exclusion (User-agent: * Disallow: /p)

Pencekalan Disallow: /p

Nah dari sini saya mulai mencoba memahami keterangan tersebut.
"Disallow: /p"
Berarti perintah tersebut mencekal huruf "p" setelah slash url?
Mulanya adalah, pencekalan ini ditujukan untuk mencekal halaman statis saja.
Tapi karena setelah huruf "p" tidak diberi slash lagi, maka semua URL artikel yang dimulai huruf "p" akan dicekal pula.

Inilah yang terjadi pada halaman postingan saya beberapa hari yang lalu.
Karena URL/judul artikel saya diawali dengan huruf "p" yaitu "peralatan elektronik yang boros listrik" dan itu adalah termasuk halaman yang harus dicekal.
Disebabkan penulisan disallow: /p yang salah (tanpa slash setelah huruf "p") jadi apapun halamannya (postingannya) bila diawali dengan huruf "p", maka akan dicekal.
Bisa jadi (ini hanya asumsi saya) berlaku juga pada pencekalan Disallow: /search
Bila kita tidak menambahkan slash dibelakang pencekalan search tesebut, artikel kita yang diawali kata search akan dicekal juga.
Baca juga: fungsi robots.txtAkhirnya saya menambahkan slash dibelakang huruf "p" tadi.
Jadi penulisan pencekalan untuk robots.txt saya menjadi "Disallow: /p/", inilah penulisan yang benar.
Setelah itu saya mencoba mengecek ulang di browser mozilla firefox yang sudah terpasang plugin SIO-DOCTOR (sebelumnya, hapus semua history).
Dan.. Ikon yang semula rambu-rambu dilarang masuk kini menjadi bendera hijau yang menandakan halaman tersebut adalah good.
Saya pun tidak takut lagi membuat artikel dengan judul yang diawali dengan huruf "p"

Semoga menjadikan masukan dan bermanfaat selalu..
Happy Blogging!

IBX59E89E6F98B8E