Cara Memasang Robot.txt di Blog

Comeon-Moveon-Bagaimanakah cara Menambahkan dan memasang Robot.txt di blogger ? kali ini saya akan menjelaskan Tentang Tips dan Trik Menambahkan dan memasang Robot.txt dengan Benar di Blog. sebelum melanjutkan anda harus mengerti apa sih Robot.txt tersebut ? Robot.txt adalah sebuah file berformat .txt atau text yang berisi beberapa baris code script yang berfungsi untuk memberikan intruksi Website agar website anda di SERP dan untuk meningkatkan suatu visitor blog. 

Pada umumnya blog memiliki Robot.txt seperti ini 

User-agent: Mediapartners-GoogleDisallow:User-agent: *Disallow: /searchAllow: /Sitemap: http://comeon-moveon.blogspot.com/feeds/posts/default?orderby=UPDATED

keterangan dari Code diatas adalah

• User-agent: Mediapartners-Google : ini adalah membantu Robot.txt dari Google Adsense beroperasi dengan baik dan sangat penting untuk Blogger yang memiliki jasa adsense
• User-agent:* : ode ini adalah berfungsi untuk mengindex semua robot di Search Enginee agar blog dapat mudah terindex Oleh Situs Pencarian. Seperti Google, Bing, Yahoo, dll
• Disallow: /search : Code ini adalah Web Crawler yang berfungsi untuk tidak dapat melakukan Crawl dan mengindex halaman utama Web jadi untuk code ini silahkan ganti dengan Allow: /search
• Sitemap: http://comeon-moveon.blogspot.com/feeds/posts/defaulth?orderby=UPDATED : Code ini berfungsi untuk mengarahkan pada sitemap Blog dengan Menambahkan kode tersebut maka akan meningkatkan rate dari blog Crawling dan memudahkan web Crawler untuk melakukan Crawl pada semua postingan yang ada di blog.

Nah jika anda sudah mengerti dengan Arti kode tersbut maka kita bisa menggunakan Robot.txt disebuah web dengan membuat Robot.txt sendiri. anda bisa menggunakan Robot.txt seperti dibawah ini.

User-agent: *
Disallow: /search?*
User-agent: Mediapartners-Google
Allow:/
Sitemap: http://comeon-moveon.blogspot.com/feeds/posts/default?orderby=updated
Sitemap: http://comeon-moveon.blogspot.com/sitemap.xml

dan pasang Code tersebut di Blog anda. langkah-langkah pemasangan code tersebut adalah sebagai berikut :

1. Masuk ke blog anda dan pilih Settings > Search Preferences lebih jelasnya anda bisa lihat gambar dibawah ini :

2. Jika sudah lihat di Bagian Crawlers and indexing dibagian bawah sendiri dan Klik edit bagian custom robot.txt Content pilih Yes

3. Jika sudah masukkan Kode diatas tadi kedalam kotak tersebut dan klik Save Changes untuk menyimpannya

4.Jika sudah kita mengatur terlebih dahulu custom robot header tags dengan seperti apa yang ada digambar dibawah ini dan jika sudah Save Changes

Demikian artikel yang dapat saya buat semoga bermanfaat bagi kalian semua.