Cara setting robots.txt di Blogger

Blogger (Blogspot) sekarang memperbolehkan custom robots.txt, ini sangatlah bermanfaat karena kita bisa mengatur visibility dari artikel-artikel kita di mesin pencari, kita menjadi mungkin mengatur artikel tertentu untuk tidak terindeks (atau pun sebaliknya) oleh mesin pencari.

Secara default, setiap blog yang menggunakan platform Blogger akan memiliki robots.txt seperti berikut:

User-agent: Mediapartners-Google
Disallow: 

User-agent: *
Disallow: /search
Allow: /

Sitemap: http://www.example.com/feeds/posts/default?orderby=updated

Dimana mempunyai penjelasan sebagai berikut:

Mediapartners-Google adalah robot dari Google Adsense, dan biarkan seperti defaultnya karena jika Anda salah mengubahnya maka iklan yang ditayangkan tidak akan menyesuaikan dengan konten Anda.

Baris berikutnya adalah untuk semua robot yang ditandai dengan tanda bintang (*). Pada konfigurasi defaultnya jelas terlihat bahwa label dari blog kita sudah disetting untuk tidak terindeks dengan menulis Disallow: /search.

Perlu di ingat bahwa tanda garis miring (/) di ibaratkan sebagai homepage Anda, jadi misal Anda ingin supaya label terindeks jangan hanya mengisi dengan garis miring seperti ini Disallow: / karena itu sama saja Anda tidak memperbolehkan robot menelusuri blog Anda tapi menjadi seperti contoh di bawah ini:

User-agent: Mediapartners-Google
Disallow: 

User-agent: *
Disallow:
Allow: /

Sitemap: http://www.example.com/feeds/posts/default?orderby=updated

Dengan konfigurasi seperti di atas maka semua artikel dan label akan terindeks. Dan untuk memblok robot di halaman tertentu (saya ambil contoh halaman Ihwal saya) Anda cukup menulis seperti berikut:

User-agent: Mediapartners-Google
Disallow: 

User-agent: *
Disallow: /p/ihwal.html
Allow: /

Sitemap: http://www.example.com/feeds/posts/default?orderby=updated

Berikut ini contoh robots.txt beserta fungsinya masing-masing :

Memberikan pengecualian semua robot dari seluruh server

User-agent: *
Disallow: /

Membiarkan semua robot untuk melakukan Akses  di blog tersebut :

User-agent: *
Disallow:

Memberikan pengecualian terhadap semua robot dari bagian Server

User-agent: *
Disallow: /cgi-bin/
Disallow: /tmp/
Disallow: /junk/

Memberikan pengecualian terhadap single robot

User-agent: BadBot
Disallow: /

Membiarkan single robot

User-agent: Google
Disallow:
User-agent: *
Disallow: /

Memberikan pengecualian terhadap semua file kecuali satu

User-agent: *
Disallow: /~joe/stuff/

Atau sobat blogger dapat secara eksplisit melarang semua halaman dianulir:

User-agent: *
Disallow: /~joe/junk.html
Disallow: /~joe/foo.html
Disallow: /~joe/bar.html

Update: untuk memecahkan masalah paginasi yang muncul di blogspot setelah kita menghapus Disallow: /search maka kita bisa menggunakan konfigurasi seperti berikut untuk memblok halaman paginasi:

User-agent: Mediapartners-Google
Disallow: 

User-agent: *
Disallow: /search?updated-min=
Disallow: /search?updated-max=
Allow: /

Sitemap: http://www.example.com/feeds/posts/default?orderby=updated

Setelah mengubahnya pastikan semuanya sesuai seperti apa yang kita inginkan dengan mengunjungi www.example.com/robots.txt. Ganti Example.com dengan domain Anda.

Perhatian: Gunakan dengan hati-hati. Jika salah menggunakan fitur ini maka blog Anda bisa diacuhkan oleh mesin pencari.