Kali ini saya akan mencoba membahas tentang cara mengatur robot.txt agar valid, tapi sebelum ketahap pembuatan mari kita simak sebentar apa yang dimaksud dengan robot.txt
Pengertian Robot.txt
Yang dimaksud dengan Robots.txt adalah sebuah file dengan sebuah fungsi yang di gunakan untuk membatasi akses robot mesin pencari (misal : Google,Bing,Yahoo) yang sedang menjelajahi atau membuka situs web yang anda miliki. Sebelum mereka mejelajahi halaman web, mesin pencari terlebih dahulu untuk melihat apakah sebuah file robots.txt ada atau kah tidak, dan di dalam robots.txt ada perintah (command) yang mencegah mereka mengakses untuk halaman tertentu.
Sebenarnya ini pengalaman saya waktu membuat file robot.txt yang langsung saja tancap di blog ini dan alhasil artikel-artikel kebanyakan tidak muncul di search engine terutama google. Bayangkan saja bagaimana perasaan anda sudah capek2 menulis artikel yang bagus, keren atau sebagainya tapi hasilnya nihil alias tidak muncul di search engine, pasti bosankan membuat artikel selanjutnya? Oke disini saya akan memberikan tutorial untuk membuat dan mengecek robot.txt yang dipasang di blog pakah sudah valid atau tidak, perhatikan caranya di bawah ini :
Cek Robot.txt
Pertama cek terlebih dahulu robots.txt anda yang sebelumnya sudah terpasang di blog sudah valid atau tidak di sini : tool.motoricerca.info caranya masukan URL blog anda dan berikan akhiran robots.txt contohnya seperti ini http://www.andoxsz.blogspot.com/robots.txt atau perhatikan gambar di bawah ini :
Setelah mengecek Robots.txt dan terdapat error, seperti di bawah ini :
Keterangan :
Perhatikan gambar kotak diatas yang berwarna pink Line 6 Allow: / itu menandahkan bahwa robots.txt pada blog anda mengalami error karena kebanyakan robots.txt yang dipasang oleh para blogger seperti ini :
User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /search
Allow: /
Sitemap: http://www.namabloganda.com/feeds/posts/default?orderby=UPDATED
Kesalahan robot.txt di atas adalah terletak pada Line 6, disana ada perintah Allow: / padahal perintah itu tidak di terima oleh "User-agent" dan perintah yang di terima "User-agent" adalah "Disallow".
Cara Memperbaikinya
Ganti kode yang telah terpasang sebelumnya di blog anda dengan kode di bawah ini
User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow:
Sitemap: http://www.namabloganda.com/feeds/posts/default?orderby=UPDATED
Keterangan : Ganti kode yang berwarna merah dengan nama blog anda, contohnya seperti ini :
Sitemap: http://andoxsz.blogspot.com/feeds/posts/default?orderby=UPDATED
Cara memasang robots.txt pada blog
- Pertama masuk di blog anda
- Kemudian Pilih Setelan
- Selanjutnya Pilih Preferensi Penelusuran --- robots.txt khusus, klik edit Ya dan masukan kode robots.txt yang telah diedit
- Kemudian save changes dan cek kembali robots.txt anda di tool.motoricerca.info, maka hasilnya seperti gambar di bawah ini
loading...
0 Response to "Atur Robot.txt Agar Valid"
Post a Comment