Robots.txt adalah sebuah file yang berisi kode-kode yang berfungsi untuk menginstruksikan robot-robot search engine untuk dapat menjelajahi dan mengindex seluruh atau sebagian halaman website/blog. Mengapa saya katakan sebagian halaman saja ? Karena tidak semua file atau folder harus di index oleh search engine, misalkan folder admin atau folder yang berisi dokumen-dokumen penting.
Robots.txt pun akan meningkatkan SEO blog anda, karena robots.txt dapat mencegah blog anda dari duplikat konten. Robot-robot search engine paling tidak suka bila menemukan duplikat konten dari blog anda, bila robot search engine menemukan duplikat konten maka blog anda akan terkena pinalti dari search engine yang bersangkutan.
Berikut contoh robots.txt yang saya ambil dari situs resmi wordpress.
User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: /feed
Disallow: /comments
Disallow: /category/*/*
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Disallow: /*?*
Disallow: /*?
Allow: /wp-content/uploads
# Google Image
User-agent: Googlebot-Image
Disallow:
Allow: /*
# Google AdSense
User-agent: Mediapartners-Google*
Disallow:
Allow: /*
# digg mirror
User-agent: duggmirror
Disallow: /
Sitemap: http://www.domain.com/sitemap.xml
Cara membuat robots.txt ini mudah saja, anda hanya tinggal membuka notepad kemudian copy code di atas lalu beri nama robots.txt. Setelah itu anda upload ke server anda sejajar dengan wp-admin, wp-content dll. Sehingga nanti alamat robots.txt anda menjadi
Tidak ada komentar:
Posting Komentar