Atur Robot.txt Agar Valid

Kali ini saya akan mencoba membahas tentang cara mengatur robot.txt agar valid, tapi sebelum ketahap pembuatan mari kita simak sebentar apa yang dimaksud dengan robot.txt

Pengertian Robot.txt

Yang dimaksud dengan Robots.txt adalah sebuah file dengan sebuah fungsi yang di gunakan untuk membatasi akses robot mesin pencari (misal : Google,Bing,Yahoo) yang sedang menjelajahi atau membuka situs web yang anda miliki. Sebelum mereka mejelajahi halaman web, mesin pencari terlebih dahulu untuk melihat apakah sebuah file robots.txt ada atau kah tidak, dan di dalam robots.txt ada perintah (command) yang mencegah mereka mengakses untuk halaman tertentu.

Sebenarnya ini pengalaman saya waktu membuat file robot.txt yang langsung saja tancap di blog ini dan alhasil artikel-artikel kebanyakan tidak muncul di search engine terutama google. Bayangkan saja bagaimana perasaan anda sudah capek2 menulis artikel yang bagus, keren atau sebagainya tapi hasilnya nihil alias tidak muncul di search engine, pasti bosankan membuat artikel selanjutnya? Oke disini saya akan memberikan tutorial untuk membuat dan mengecek robot.txt yang dipasang di blog pakah sudah valid  atau tidak, perhatikan caranya di bawah ini :

Cek Robot.txt

Pertama cek terlebih dahulu robots.txt anda yang sebelumnya sudah terpasang di blog sudah valid atau tidak di sini : tool.motoricerca.info caranya masukan URL blog anda dan berikan akhiran robots.txt contohnya seperti ini http://www.andoxsz.blogspot.com/robots.txt atau perhatikan gambar di bawah ini :

Setelah mengecek Robots.txt dan terdapat error, seperti di bawah ini :

Keterangan : 

Perhatikan gambar kotak diatas yang berwarna pink Line 6 Allow: / itu menandahkan bahwa robots.txt pada blog anda mengalami error karena kebanyakan robots.txt yang dipasang oleh para blogger seperti ini :

User-agent: Mediapartners-Google

Disallow:

User-agent: *

Disallow: /search

Allow: /

Sitemap: http://www.namabloganda.com/feeds/posts/default?orderby=UPDATED

Kesalahan robot.txt di atas adalah terletak pada Line 6, disana ada perintah  Allow: / padahal perintah itu tidak di terima oleh "User-agent" dan perintah yang di terima "User-agent"  adalah "Disallow".

Cara Memperbaikinya

Ganti kode yang telah terpasang sebelumnya di blog anda dengan kode di bawah ini 

User-agent: Mediapartners-Google

Disallow:

User-agent: *

Disallow: 

Sitemap: http://www.namabloganda.com/feeds/posts/default?orderby=UPDATED

Keterangan : Ganti kode yang berwarna merah dengan nama blog anda, contohnya seperti ini :

Sitemap: http://andoxsz.blogspot.com/feeds/posts/default?orderby=UPDATED

Cara memasang robots.txt pada blog 

• Pertama masuk di blog anda
• Kemudian Pilih Setelan
• Selanjutnya Pilih Preferensi Penelusuran --- robots.txt khusus, klik edit Ya dan masukan kode robots.txt yang telah diedit
• Kemudian save changes dan cek kembali robots.txt anda di tool.motoricerca.info, maka hasilnya seperti gambar di bawah ini 

Apabila sesuai dengan gambar diatas maka robots.txt yang anda edit sudah terpasang dengan benar alias sudah Valid.

loading...

Share on Facebook

Share on Twitter

Share on LinkedIn

Ingin mendapatkan artikel dari Serba Serbi Informasi tanpa membuka blog ini? Silahkan masukkan e-mail anda di kolom ini, artikel yang di post Serba Serbi Informasi akan otomatis terkirim ke e-mail anda: