Setting Custome Robots.txt. Agar Seo

Wibi Alwi Surya Kuncoro 14.02.00
Sekarang untuk Optimasi SEO di blog sudah sangat mudah, tidak seperti dulu pada tampilan blogspot lama masih terkesan rumit. Optimasi SEO Blog dengan Robots.txt memanng sangat perlu dilakukan agar Google makin ramah dengan blog kita.  

Sebelum Blogger menambahkan fitur Search Preferences, sangat tidak mungkin untuk mengatur file robots.txt seperti pada blog atau situs yang menggunakan self hosting seperti WordPress, namun saat ini Blogger sudah mulai memaksimalkan SEO OnPage untuk menyaingi kompetitornya di dunia blogging.  Salah satu fitur penting untuk mengoptimalkan SEO Blog adalah pengaturan file robots.txt yang akan diulas pada artikel ini. Kali ini saya akan sedikit share tentang Optimasi SEO Blog dengan Robots.txt.

Memahami Fungsi dan Peranan File Robots.txt

Sebenarnya robots.txt pada blogger hanyalah berupa virtual file yang dapat diseting melalui pengaturan secara OnPage, karena kita tidak diberikan akses ke root direktory seperti pada blog atau situs yang menggunakan self hosting.  Fungsi dari robots.txt ini adalah ibarat rambu lalulintas bagi crawler mesin pencari seperti googlebot saat sedang meng-crawl konten atau isi blog kita.   File robots.txt memungkinkan kita untuk mengontrol dan memberikan izin bagi crawler search engine, mana konten blog yang boleh di akses dan mana konten blog yang tidak boleh diakses.  Pada pengaturan file robots.txt ini hanya dikenal dua macam perintah yaitu DISALLOW untuk perintah larangan peng-indexan dan ALLOW untuk perintah mengizinkan peng-indexan.

Custom Robots.txt Untuk Optimasi SEO Blogger

Sebelum Blogger mengaktifkan fitur custom robot.txt ini pengaturan meta index (noindex dan nofollow) untuk optimasi SEO Blogger dilakukan melalui update meta tag pada dokumen HTML template, dengan adanya fitur ini sekarang pengaturannya menjadi semakin mudah, secara default robots.txt memiliki dua baris perintah seperti di bawah ini :

User-agent: *
Disallow:

Perintah pada baris pertama di atas adalah identifikasi user-agent atau crawler search engine, agregator maupun robot pengindex lainnnya seperti googlebot dan lain-lain.  Sedangkan perintah pada baris ke dua adalah perintah larangan bagi robot pengindex untuk mengindex konten blog.

Perintah di atas jika diterjemahkan :

User-agent: * = Seluruh robot peng-index dibolehkan untuk mengindex blog atau situs
Disallow: = Seluruh konten blog atau situs dari root directory sampai ke sub directory termasuk archive dan halaman statis, diperbolehkan untuk diindex.  Jika ingin melakukan pelarangan anda tinggal menambahkan karakter slash (/) pada baris kedua sehingga bentuknya akan menjadi seperti ini :

User-agent: *
Disallow: /

Perintah ini akan melarang seluruh robot peng-index dari search engine, agregator dan lain-lain untuk mengindex seluruh konten blog atau situs

Jika sobat ingin melakukan pengaturan pada file robots.txt, sobat bisa login ke blogger dengan ID sobat, selanjutnya pada halaman dashboard sobat pilih menu Settings ->> Search Preferences ->> Crawlers and Indexing pada bagian Enable Custom robots.txt content, Lihat gambar dibawah

Setting Custome Robots.txt. Agar Seo

Secara default bloger telah menambahkan file robots.txt ini pada blog yang dibangun dengan platform blogger, cara melihatnya ketik url blog pada address bar browser dan tambahkan robots.txt di belakangnya contohnya seperti ini http://wibialwis.blogspot.com/robots.txt.  Jika Anda telah memahami pengaturan file robots.txt ini anda dapat memodifikasinya agar SEO blog bisa menjadi lebih optimal.  Berikut ini adalah dafault baris perintah robots.txt dan penjelasannya.

User-agent: Mediapartners-Google
Disallow:

User-agent: *
Disallow: /search
Allow: /

Sitemap: http://namablogsobat.blogspot.com/feeds/posts/default?orderby=update


Baris perintah di atas jika diterjemahkan adalah sebagai berikut :

User-agent: Mediapartners-Google
Disallow:


Maksud perintah pada baris kelompok pertama ini adalah  memberikan izin kepada user-agent google adsense untuk meng-crawl seluruh konten blog agar bisa menampilkan iklan yang relevan, jika blog Anda menggunakan google adsense, tentu perintah ini penting dan jangan dihapus agar iklan yang ditampilkan relevan dan tepat sasaran.

User-agent: *
Disallow: /search
Allow: /


Untuk perintah pada kelompok baris yang kedua ini akan mengizinkan seluruh user-agent Search Engine dan Agregator termasuk Robot Autobloging untuk meng-crawl seluruh konten blog, kecuali directory yang berisi label blog karena di sana ada perintah Disallow: /search yang melarang robot search engine untuk meng-crawl directory ini, dan sebaiknya memang directory label tidak perlu diindex karena label tidak menunjukkan halaman riil, lihat artkel  Menambahkan Tag "nofollow" pada Seluruh Link Label Blogger

Sitemap: http://namablogsobat.blogspot.com/feeds/posts/default?orderby=updated

Perintah pada kelompok ketiga adalah perintah menambahkan sitemap yang mana pada feeds ditambah perintah orderby, berisi list dari update terbaru, perintah ini akan membantu mempercepat pengindeksan pada mesin pencari.

Itulah sedikit yang saya share walaupun hanya berupa pemahaman dasar tentang perintah dan cutomisasi pada file robots.txt bisa dijadikan acuan, atau mungkin kita bisa saling bertukar informasi untuk pengaturan file robots.txt ke tingkat advance sehingga SEO blog kita bisa menjadi lebih baik. Semoga Bermanfaat.

Share this

Related Posts

Previous
Next Post »

13 comments

Write comments
3 Maret 2013 pukul 12.18 delete

kalau pada baris:
User-agent: Mediapartners-Google

diganti dengan:
User-agent: googlebot

Apa itu bisa sama fungsinya dengan baris yang pertama tadi. Mksudnya dgn menggunakn User-agent: googlebot apa google adsense bisa menampilkan iklan yang relevan di blog kita sobbb????

Reply
avatar
3 Maret 2013 pukul 18.14 delete

Setau saya User-agent : Mediapartner-Googel dan User-agent: Googlebot itu peranannya sama, adsense bisa menampilkan iklan yang relevan di blog sobat. Konten blog juga berpengaruh.

Reply
avatar
13 Maret 2013 pukul 04.03 delete

penjelasan yang sangat-sangat mudah dimengerti, terutama untuk blogger pemula seperti saya..

thank you for sharing

Reply
avatar
13 Maret 2013 pukul 19.49 delete

Ia sama-sama sob, saya juga masih pemula, masih banyak belajar...happy blogging aja dech :)

Reply
avatar
14 Maret 2013 pukul 00.07 delete

di coba dulu gan...smoga manjur...hehe

Reply
avatar
20 April 2013 pukul 14.14 delete

wahhhh boleh tuhhh

mantap dachh gann...

sukses ya gan...

Reply
avatar
24 April 2013 pukul 10.56 delete

wiissss keren bgt,....

coba akhh

hatur nuhun nya gan...

Reply
avatar
2 Mei 2013 pukul 10.14 delete

patut di coba nie! mkasi gan tutornya!
di tunggu folbacknya zob

Reply
avatar
3 Mei 2013 pukul 11.20 delete

waduuhhhh kyaknya baguss tuhhh

thnank's dachhh

Reply
avatar
14 Juli 2013 pukul 20.39 delete

mantap gan tutorialnya,.. ijin praktek gan,.. kunjungan pertama dari : hhtp://jawacyber.blogspot.com dan jika berkenan ditunggu FOLLOW backnya juga gan,.. Terimakasih

Reply
avatar
1 Mei 2015 pukul 17.20 delete

Pada artikel ini mas menuliskan :
Sitemap: http://namablogsobat.blogspot.com/feeds/posts/default?orderby=update
Tapi setelah saya cek pada robot.txt blog ini, mas tidak menggunakannya...
Mohon pencerahannya mas...

Reply
avatar

* Jangan Meninggalkan Link Aktif
* Silahkan berkomentar dengan Kata Sopan Dan Ber-Etika.
* Terima kasih telah singgah di blog ini.
* Oke jangan pernah bosen singgah di sini :D
EmoticonEmoticon