Robots.txt adalah kode yang berguna untuk mengendalikan halaman-halaman tertentu agar tidak diindeks oleh sebuah mesin pencari. Penemu Robots.txt sendiri adalah Martijn Koster, saat ia bekerja di WebCrawler pada tahun 1994.
Nah seperti pernyataan di atas, dalam pengertian yang lebih sederhananya, robots.txt adalah ketentuan dari pemilik situs untuk mencegah mesin pencari menelusuri laman atau bagian tertentu dari situsnya.
Saya sendiri baru beberapa hari yang lalu mengerti apa itu Robots.txt. Dan sempat dibingungkan oleh hal tersebut. Saya sempat searching mengunjungi blog-blog yang sudah terkenal yang di dalamnya ada artikel tentang cara setting robots.txt. Sebagian besar, settingan yang mereka gunakan itu sama, namun menurut saya terlalu berbelit-belit.
Kurang lebih, settingan robots.txt yang dishare oleh situs-situs terkenal di artikelnya itu seperti ini :
User-agent: *
User-agent: Mediapartners-Google
Sitemap: http://www.namablog.blogspot.com/feeds/posts/default?orderby=UPDATED
Sitemap: https://www.namablog.blogspot.com/feeds/posts/default?orderby=UPDATED
ada juga yang seperti ini :
User-agent:
Mediapartners-Google
Disallow: User-agent: Googlebot Disallow: /search
Disallow: /?m=1
Disallow: /?m=0
Disallow: /*?m=1
Disallow: /*?m=0 User-agent: *
Disallow: /search
Sitemap: http://www.masyadi.com/feeds/posts/defaultorderby=UPDATED
Mediapartners-Google
Disallow: User-agent: Googlebot Disallow: /search
Disallow: /?m=1
Disallow: /?m=0
Disallow: /*?m=1
Disallow: /*?m=0 User-agent: *
Disallow: /search
Sitemap: http://www.masyadi.com/feeds/posts/defaultorderby=UPDATED
Alasan mereka memilih settingan tersebut katanya agar mesin pencari tidak terlalu boros untuk mengindeks laman-laman yang tidak penting dalam situs kita. Saya yang baru mengerti tentang robots.txt pun tak ketinggalan untuk mencobanya. Namun yang saya rasakan setelah beberapa hari menggunakan robots.txt tak ada perubahan yang signifikan pada blog saya. Hasil penelusuran situs saya di google masih sama seperti biasanya.
Sampai akhirnya saya menemukan Cara Mengetahui Settingan Robots.txt yang digunakan oleh Situs orang lain. Caranya sangat mudah sekali, Anda hanya perlu menambahkan 'Robots.txt' di belakang Url Situs yang ingin Anda ketahui settingan robots.txtnya.
Sebagai contoh, saya akan coba mengetahui Robots.txt yang digunakan oleh situs masyadi.com. Disitus tersebut lah saya menemukan artikel tentang cara setting robots.txt yang lumayan ribet dan panjang. Namun kagetnya saya, ketika coba cek robots.txtnya blog tersebut berbeda dengan yang di share di artikelnya dan jauh lebih simpel, Berikut saya berikan contoh Cara Mengetahui Settingan Robots.txt yang digunakan oleh blog orang lain
- Cari nama situs yang ingin Anda ketahui settingan robots.txt nya, contohnya masyadi.com
- Nah sekarang, diURL blog, tambahkan /robots.txt setelah nama blog yang ingin anda ketahui robots.txtnya. sehingga Untuk blog masyadi.com menjadi masyadi.com/robots.txt. lalu tekan Enter.
- Nah ketemu kan settingan robots.txt nya? sekarang kita bandingin, bedanya sama settingan robots.txt yang blog masyadi.com share di artikelnya.
- Jelas bukan? ternyata walaupun blog masyadi.com share tentang cara settingan robots.txt yang baik untuk blog, ternyata blognya sendiripun tidak menggunakan settingan tersebut dan lebih memilih untuk menggunakan yang lebih simpel.
Nah itu dia cara mengetahui settingan robots.txt yang digunakan oleh Blog SEO. Jadi untuk kalian yang masih bingung cara setting robots.txt ga perlu bingung lagi, kalian tinggal cari dan pilih situs mana yang menurut kalian tampil baik ketika tampil di hasil penelusuran. dan intip deh settingan robots.txt nya, lalu tinggal terapkan ke blog kalian masing-masing ya, hehe. Cukup sekian untuk artikel kali ini tentang Cara Mengetahui Settingan Robots.txt yang digunakanoleh Blog SEO. Jangan lupa share artikel ini jika bermanfaat. Terima kasih.
