Robot.txt adalah alat untuk memberitahukan mensin crawler / pencari apa yang boleh dan tidak di index olehnya, dalam kata lain robot.txt ini merupakan search preference untuk mesin crawler / pencari. Justru semakin banyak yang dindex mesin pencari semakin baik? Tentu, tapi yang ingin dicegah disini adalah duplikasi index sebuah content yang dapat mengakibatkan adanya search preference yang mengarah pada label atau hanya archive blog yang seharusnya langsung mengarah ke posting atau content yang relevan dengan keyword yang dicari, untuk mengetahui cara setting robot.txt di blog kalian silahkan baca penjelasan dibawah ini :
CARA SETTING ROBOT.TXT DI BLOG
1. Log in ke blogger dengan akun blogger anda. 2. Klik setelan > Preferensi penelusuran / Search preferences.
3. Pada tab perayap dan pengindeksan pilih robot.txt.
4. masukkan perintah dibawah ini:
User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /search
Allow: /
Sitemap:http://goseoupdates.blogspot.com/feeds/posts/default?orderby=UPDATED
Silahkan ganti tulisan yang berwarna biru dengan link blog kalian.
CARA SETTING ROBOT HEADER TAGS
1. Masih di menu setting Search preferences / Preferensi penelusuran
2. Dibagian paling bawah ada menu Custom robots header tags. Klik edit.
3. Pilih yes
4. Akan muncul kotak settingan, samakan setingan seperti gambar dibawah ini
5. Save changes
Jika terjadi kesalahan pada setting robot.txt dan header tags, blog kita akan diabaikan oleh google, silahkan cek terlebih dahulu apakah ada kesalahan pada penulisannya.
Semoga apa yang saya bagikan untuk kalian dapat berguna dan bermanfaat.
0 komentar:
Posting Komentar