User-agent: Mediapartners-GoogleDisallow:User-agent: *Disallow: /searchAllow: /Sitemap: http://comeon-moveon.blogspot.com/feeds/posts/default?orderby=UPDATEDketerangan dari Code diatas adalah
- User-agent: Mediapartners-Google : ini adalah membantu Robot.txt dari Google Adsense beroperasi dengan baik dan sangat penting untuk Blogger yang memiliki jasa adsense
- User-agent:* : ode ini adalah berfungsi untuk mengindex semua robot di Search Enginee agar blog dapat mudah terindex Oleh Situs Pencarian. Seperti Google, Bing, Yahoo, dll
- Disallow: /search : Code ini adalah Web Crawler yang berfungsi untuk tidak dapat melakukan Crawl dan mengindex halaman utama Web jadi untuk code ini silahkan ganti dengan Allow: /search
- Sitemap: http://comeon-moveon.blogspot.com/feeds/posts/defaulth?orderby=UPDATED : Code ini berfungsi untuk mengarahkan pada sitemap Blog dengan Menambahkan kode tersebut maka akan meningkatkan rate dari blog Crawling dan memudahkan web Crawler untuk melakukan Crawl pada semua postingan yang ada di blog.
User-agent: *dan pasang Code tersebut di Blog anda. langkah-langkah pemasangan code tersebut adalah sebagai berikut :
Disallow: /search?*
User-agent: Mediapartners-Google
Allow:/
Sitemap: http://comeon-moveon.blogspot.com/feeds/posts/default?orderby=updated
Sitemap: http://comeon-moveon.blogspot.com/sitemap.xml
1. Masuk ke blog anda dan pilih Settings > Search Preferences lebih jelasnya anda bisa lihat gambar dibawah ini :
wah keren gan , tapi apak itu sudah otomatis terindex kayak sitemap gan ??
BalasHapus