Saturday, January 24, 2015

Fungsi robots.txt

Fungsi dari robots.txt adalah untuk mencekal, memblokir, membatasi mesin pencari ketika merambani halaman blog / website kita.
Halaman mana yang ingin kita publikasikan dan halaman mana yang ingin kita cekal, kita bisa mengatur hal tersebut melalui robots.txt ini.
Untuk apa dicekal?
Agar tidak terdapat duplikat konten di hasil pencarian, jadi yang muncul adalah satu postingan saja, bukan halaman archive ataupun halaman yang lain.

Cara memasang robots.txt
Untuk cara pemasangan pada blog selain blogspot, semisal wordpress, sobat bisa menggunakan plugin (cari di google..) dan menuliskannya seperti perintah default seperti contoh di bawah, begitu juga untuk blog yang lain selain wordpress sobat harus meng-uploadnya terlebih dulu ke root directory server yang sobat gunakan.
Caranya, tulislah perintahnya pada notepad, jadi filenya berupa txt dengan nama robots.txt
Untuk blogspot, sobat bisa menggunakannya dengan cara tidak mengaktifkan opsi robots.txt tersebut, jadi biarkan nonaktif (dinonaktifkan).
Untuk melihatnya, sobat bisa dengan menuliskan /robots.txt dibelakang URL,
Contoh http://blogger-perak.blogspot.com/robots.txt
Lalu tekan enter, dan sobat akan melihat perintah tersebut walaupun sobat tidak mengaktifkan opsi robots.txt ini.
Tapi bila sobat menginginkan pencekalan yang lain, sobat bisa mengaktifkan opsi ini, kemudian menuliskan perintah seperti defaut lalu menambahkan beberapa baris perintah yang diinginkan.
Untuk mengaturnya di blogspot:
Setelan > Preferensi Penelusuran > Pilih robots.txt khusus

Fungsi robots.txt

Seperti inilah, perintah umum dari robots.txt (default dari google) tersebut,
User-agent: Mediapartners-Google
Disallow:

User-agent: *
Disallow: /search/
Allow: /

Sitemap: http://blogger-perak.blogspot.com/sitemap.xml

Perintah robots.txt
Berikut ini penulis akan mencoba mengulas agar lebih jelas tentang arti dan beberapa perintah yang digunakan untuk penulisan robots.txt

User-agent:*
Nama bot yang dipanggil
Tanda * menandakan semua bot crawler

Disallow:
Tidak ada halaman yang dicekal

Disallow: /
Semua halaman dicekal
*bila terdapat nama path dibelakang / berarti kita melakukan pencekalan pada path tersebut, contoh
Disallow: /search
berarti kita melakukan pencekalan pada path search, atau dengan kata lain mesin pencari tidak diperbolehkan untuk merambani halaman yang dibelakang url nya bertuliskan /search seperti contoh http://blogger-perak.blogspot.com/search/label/Tutorial%20blog?max-results=4
Karena halaman tersebut tidak perlu untuk dirambani dan tidak perlu untuk dipublikasikan.
Baca juga: Cara penulisan pencekalan Disallow:/pAkan tetapi bila menuliskan Disallow: / terus tanpa ditambahi nama path, maka kita telah mencekal semua halaman blog. (nah.. untuk apa kita mencekal semua halaman?)

Allow: /
Semua halaman diperbolehkan untuk dirambani, sama seperti Disallow:

Sitemap:
Alamat sitemap kita.
Masukkan alamat sitemap yang valid dan sama dengan alamat sitemap yang kita submit di google webmaster tools.

Selanjutnya, sobat bisa mencekal halaman yang lain seperti:
Disallow: /?m=0
Disallow: /?m=1
Disallow: /*archive.html
Disallow: /p/

Ada yang mau nambahi?
Silahkan tulis komentar dibawah..

Semoga artikel tentang fungsi robots.txt ini bermanfaat bagi blogger semua..
Happy Blogging!

8 komentar

Muhammad Adam Hussein, SPd, CM Fungsi robots.txt delete January 30, 2015 at 6:35 AM

Maka dari itu mas, biasanya dalam pengaturan tersebut ada peringatan kalau salah maka akan terjadi no index yang nantinya itu membuat blog kita enggak ditelusuri.

Padahal itu penting, saya setuju dengan artikel mas, makasih ya?

Komeng Farm's Fungsi robots.txt delete December 11, 2015 at 10:34 PM

http://komengfarm.com/mesin-pembuat-konsentrat-pakan-ternak.html

Supry Fungsi robots.txt delete January 25, 2016 at 8:01 PM

saya makin bingung dengan robot txt,hehehehehe

Aldi Fiore Fungsi robots.txt delete February 4, 2016 at 7:02 AM

http://sekiryute1.blogspot.co.id/

Win Jaya Travel Fungsi robots.txt delete April 27, 2017 at 9:00 AM

TRAVEL DARI BANDARA JUANDA KE TUBAN

wandi pratama Fungsi robots.txt delete June 18, 2017 at 5:26 PM

Bisa dijelaskan tentang gan
Disallow: /?m=0
Disallow: /?m=1
Disallow: /*archive.html
Disallow: /p/

terima kasih atas penjelasannya

kunjungi juga gan blog saya https://oneblogku.blogspot.co.id

Blogger Perak Fungsi robots.txt delete August 4, 2017 at 1:59 AM

Disallow: /?m=0 agar di hasil pencarian google tidak muncul /?m=0 setelah url (ini hanya utk custom domain yg menggunakan blogger)

Disallow: /?m=1 juga seperti itu.

=> contoh: www.romli.net/?m=1

/?m=0 tampilan desktop dan /?m=1 tampilan mobile.

Disallow: /*archive.html agar halaman aechive tdk tampil di pencarian google.

Disallow: /p/ agar halaman statis tidak tampil di pencarian google.

FullApkZ Fungsi robots.txt delete September 23, 2017 at 6:49 AM

Banyak blogger yang sebelumnya terindex banyak kemudian dapat nontif Webmaster Block by Robot.txt banyak setelah pasang Disallow: /search/
Itu karena url Label yang dulu terindex menjadi ke Block

IBX59E89E6F98B8E