Fungsi dari Robot.txt Untuk Sebuah Blog

Diversan Blog - Fungsi dari Robot.txt Untuk Sebuah Blog -Robot.txt pada sebuah blogger sangatlah penting. Mengapa? hal ini berguna untuk membantu perayapan dan pengindex'an blog di Search Engine.

Secara sederhana, Robot.txt ini merupakan sebuah konvensi untuk memerintah robot mesin pencari atau web crawler atau juga dapat mencegah sebuah halaman untuk diindex.

Contohnya, kamu tidak ingin halaman tertentu pada blog yang kamu kelola tidak ingin ditampilkan pada mesin pencari. Dengan Robot.txt inilah kita bisa memanfaatkannya agar dapat memblokir halaman tersebut.

Baca Juga : Beberapa Tips Optimasi SEO Pada Blog Ampuh

Sebenarnya semua blogspot yang diberikan oleh Blogger sudah tersedia fitur Robot.txt ini. Secara default, susunan kode Robot.txt seperti di bawah ini.

HTML
User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /search
Allow: /
Sitemap: http://www.blog.diversan.xyz/sitemap.xml

Mungkin kamu bingung apa arti dari semua kode di atas. Baiklah, saya akan menjelaskannya satu persatu. Silahkan disimak.

Keterangan :
User-agent: Mediapartners-Google	User agent milik Google menandakan bahwa blog ini adalah milik Google
Disallow	Tidak diperbolehkan tidak ada
User-agent: *	Semua Robot Search Engine
Disallow: /search	Tidak diperbolehkan merayapi folder search dan seterusnya
Allow: /	Mengizinkan semua halaman untuk dirayapi, kecuali yang sudah Disallow.
Sitemap: http://www.blog.diversan.xyz/sitemap.xml	Alamat feed blog/sitemap blog kamu

Oke, itu tadi sedikit pengertian tentang Fungsi dari Robot.txt Pada Sebuah Blog. Semoga bermanfaat untuk kamu. Terimakasih,