Site Info


Template

Cara Mengatur Robots.txt Di Blogger


Cara Mengatur Robots.txt Di Blogger- Robots.txt adalah perintah yang diberikan oleh pemiliki suatu blog kepada robot mesin pencari. Perintah yang dimaksud adalah perintah untuk mengikuti atau tidak mengikuti halaman yang terdapat dalam blog kita. Untuk melihat susunan Robots.txt dalam blog kita, Anda dapat mengetikkan URL seperti berikut: http://www.asli-tutorial.blogspot.com/robots.txt. Secara default, blog dengan domain Blogger memiliki Robots.txt seperti berikut ini:

User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /search
Allow: /
Sitemap: http://alamatbloganda/feeds/posts/default?orderby=UPDATED

Kode-kode diatas (Robots.txt) memiliki artinya masing-masing. Secara bahasa, kode diatas dapat kita artikan sebagai berikut:

User-agent: Mediapartners-Google: Robot Google AdSense yang mengikuti atau merayapi blog (crawl).

Disallow: Yang tidak dibolehkan, tidak ada.

User-agent:*: Semua robot mesin pencari. Misalnya GoogleBot, dan sebagainya

Disallow: /search: Perintah untuk tidak memperbolehkan merayapi halaman yang terdapat link /search nya. Misal: /search/label/ dan sebagainya.

Allow:/: Mengizinkan halaman untuk dirayapi (crawling), kecuali halaman yang tertanda pada kode

Disallow. Tanda slash (/) adalah homepage blog.

Sitemap: http://alamatbloganda/feeds/posts/default?orderby=UPDATED : Kode untuk mengindeks sitemap Anda.

Cara Mencegah Perayapan Robot Mesin Pencari Pada Halaman Tertentu:
Anda hanya perlu menambahkan kode Disallow: (LINKHALAMAN)
Misalnya Anda tidak ingin halaman kontak blog Anda dirayapi oleh Robot mesin pencari, dan misalnya URL nya adalah http://alamatbloganda/p/contactme.html . Maka Anda akan mendapati kode Robots.txt akan berubah menjadi:

User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /search
Disallow: /p/contactme.html
Allow: /
Sitemap: http://namablog/feeds/posts/default?orderby=UPDATED
Jika Anda tidak pernah mengutak-atik robots.txt, tidak akan menjadi masalah karena secara default blog akan tetap dirayapi oleh robot.

Nah mungkin itu saja yang dapat saya sampaikan dalam Cara Mengatur Robots.Txt Di Blogger. Perlu diketahui bahwa jangan pernah mengutak-atik robots.txt dari sumber yang tidak bisa dipercaya, karena sedikit saja kesalahan kata dalam robots.txt dapat mengakibatkan blog Anda tidak terindeks robot.

0 komentar

Silakan berkomentar dengan bahasa yang baik dan benar. Komentar yang mengandung bahasa kasar, SPAM, dan SARA tidak akan dibalas dan akan ditaruh dalam folder SPAM. Blog ini menerapkan fitur moderasi komentar. Dilarang menyertakan link hidup atau mati serta bentuk promosi lainnya. Terima kasih.