Fungsi Robot.txt diBlog dan Cara Mengaktifkan Robot.txt diBlog

Robots txt adalah sebuah ketentuan untuk mencegah web crawler dan robot web lain.,dari pengaksesan seluruh atau sebagian situs web. Robot txt berfungsi sebagai mengontrol halaman-halaman tertentu agar tidak di indeks oleh spider mesin pencari,atau situs jejaring sosial seperti facebook,twitter,youtube,dll. Pada penyetingan robots txt kita harus hati-hati dalam penyetingannya. jika tidak blog anda atau websitepun bisa terabaikan oleh spider mesin pencari.

Untuk cara mensetting robots txt khusus silahkan ikuti caranya dibawah ini:

1. Login ke Blogger
2. Klik Setelan
3. Klik Preferensi Penelusuran.
4. Klik Robots txt khusus
5. Klik Aktifkan.
6. Selanjutnya copy dan  masukkan kodenya dibawah di dalam Robots txt khusus

User-agent: Mediapartners-Google
Disallow:

User-agent: *
Disallow:
Allow: /

Sitemap: http://seosc.blogspot.com/feeds/posts/default?orderby=updated

• ganti seosc dengan url anda.

7. Selanjutnya mengaktifkan Tag tajuk robot khusus.
8. Klik aktifkan dan samakan seperti gambar dibawah ini.

9. Klik simpan perubahan.

Hanya itu yang dapat saya berikan tentang cara mengaktifakan settingan txt khusus blogger

Sumber :