Cara Setting Robots TXT di WordPress
Sebagai pemilik website, tentu saja ingin website Anda berada di halaman teratas pencarian google, sehingga akan membuat website mudah ditemukan sekaligus meningkatkan traffic pengunjung. Salah satu hal penting agar berada di halaman utama google adalah konten terindex google. Mungkin hal ini adalah kebutuhan utama, karena tanpa terindex google bagaimana website akan berada halaman atas pencarian google.
Agar website mudah terindex oleh google, Anda dapat mendaftarkannya di google webmaster tool, jadi pastikan sudah melakukan hal ini. Namun, google tidak akan membedakan halaman yang boleh dan tidak boleh diindex . Anda perlu melakukan konfigurasi, sehingga tidak semua halaman/konten akan diindex oleh google. Pada kesempatan kali ini kita akan membahas cara setting robots txt di wordpress.
Apa itu Robot.txt ?
Robot.txt merupakan file text yang menyedikan intruksi untuk robot mesin pencari dalam merayapi atau mengindex halaman website atau blog. Dengan adanya robots.txt maka mesin pencari akan lebih mudah dalam memetakan situs Anda.
Robots.txt bertugas untuk memisahkan halaman yang tidak ingin Anda tampilkan ke dalam mesin pencari. Dikarenakan meskipun tidak ada file ini Google tetap akan melakukan proses ‘crawl’ sampai dengan keseluruhan halaman yang ada di situs.
Jadi secara umum, fungsi utama dari robot.txt adalah untuk membantu mesin pencari dalam memilih halaman web yang ingin ataupun tidak ditampilkan pada mesin. Karena tidak semua halaman harus dilakukan index, seperti halaman admin pada jenis website tertentu atau hal lainnya.
Mengapa Perlu Robot.txt ?
Dari beberapa penjelasan sebelumnya, mungkin Anda sudah paham tujuan dan fungsi dari robot.txt. Untuk lebih detail, berikut saya jabarkan alasan utama menggunakan robot.txt :
- Menjaga keamanan data penting pada website. Bayangkan bila semua data website di index oleh mesin pencari, maka data akan sangat rentan disalah gunakan oleh pihak yang tidak bertanggung jawab.
- Mengurangi beban server. Dengan memilih file-file yang perlu diindex oleh google, maka akan mengurangi resource atau beban server atau hosting Anda. Robot.txt ini seperti pengunjung website, sehingga bila semua file harus di crawl, sudah tentu robot.txt harus membuka/mengakses semua file website.
- Mempercepat indexing. Bila file yang perlu di index banyak, maka semakin lama bila mesin pencari melakukan crawl. Karena akan memerlukan antrian dalam pemrosesan indexing.
Dimana Letak Robot.txt ?
File robot.txt akan disimpan pada folder server dan pada umumnya akan berada di folder public_html. Bentuk dari robot.txt adalah file virtual, sehingga Anda tidak dapat engakses maupun diganti dari direktori manapun. Selain itu Anda juga tidak akan bisa menemukan file robot.txt pada folder public_html.
Sehingga bila ingin melakukan perubahan, maka perlu membuat file robot.txt kemudian menambahkan script ke dalamannya kemudian di simpan. File ini akan menimpa file sebelumnya yang telah Anda konfigurasi.
Rule Robot.txt di WordPress
Pada umumnya wordpress akan memberikan default konfigurasi robot.txt seperti berikut :
User-agent: * Allow: / Disallow: /wp-admin/ Disallow: /wp-includes/ Disallow: /wp-admin/admin-ajax.php
Bila Anda ingin mengizinkan mesin pencari melakukan crawal pada halaman maka dapat menggunakan command Allow. Sedangkan bila Anda ingin memblock mesin pencari melakukan crawl maka bisa menggunakan command Disallow.
Berikut adalah settings robot txt wordpress yang saya rekomendasikan.
User-Agent: * Allow: /wp-content/uploads/ Disallow: /wp-content/plugins/ Disallow: /wp-admin/ Disallow: /wp-includes/ Disallow: /readme.html Disallow: /refer/ Sitemap: http://www.namadomainAnda.com/post-sitemap.xml Sitemap: http://www.namadomainAnda.com/page-sitemap.xml
Namun Anda juga masih bisa menambahkan kode lainnya sesuai dengan kebutuhan website Anda.
Perintah sebelumnya menginformasikan kepada robot pencari agar mengindex semua file website besarta gambar wordpress. Namun jika melarang indexing pada file plugin, admin area, wp-includes, file readme dan tautan affiliasi. Selanjutnya kita akan membahas cara setting robot txt di wordpress.
Cara Setting Robots TXT di WordPress
Berikut ini adalah beberapa cara yang dapat Anda ikuti dalam melakukan konfigurasi robots.txt pada wordpress. Pilihlah langkah yang menurut Anda paling mudah.
Menggunakan Plugin Yoast SEO
Mungkin sebagian dari Anda sudah sangat familiar dengan Yoast SEO. Plugin yang berfungsi untuk memudahkan pengguna wordpress dalam konfigurasi SEO Onpage. Berikut ini adalah langkah-langkah yang diperlukan untuk setting robots.txt di WordPress.
Pertama, Install Plugin Yoast SEO
Cara melakukan install plugin yoast SEO seharusnya Anda sudah mahir dan tidak perlu kita bahas lebih lanjut.
Kedua, Masuk ke Halaman Tools
Selanjutnya silakan Anda cari menu “SEO” dibagian bar kiri >> Pilih “Tools” >> Klik “File Editor“.
Ketiga, Membuat File Robot.txt
Anda akan menemukan pilihan untuk “Create a New Robots.txt”. Pada halaman tersebut, masukkan rule yang ingin diterapkan pada situs web.
Namun bila Anda sudah memiliki konfigurasi .htaccess sebelumnya maka akan langsung berada pada editor robot.txt seperti gambar dibawah.
Menggunakan Plugin All in One SEO Pack
Cara setting robot txt di WordPress kedua adalah dengan menggunakan plugin All in One SEO Pack. Plugin ini fungsinya hampir sama dengan Yoast SEO. Berikut ini adalah langkah-langkah yang diperlukan untuk setting robots.txt di WordPress.
Pertama, Install Plugin All in One SEO Pack
Cara melakukan install plugin All in One SEO Pack seharusnya Anda sudah mahir dan tidak perlu kita bahas lebih lanjut.
Kedua, Masuk ke Halaman Feature Manager
Setelah prose instalasi selesai, silakan untuk Pilih “Feature Manager” >> Aktifkan “Robots.txt“.
Di dalam plugin ini juga terdapat beberapa fitur yang dapat Anda manfaatkan sekaligus, jadi tidak perlu melakukan instalasi plugin yang lainnya.
Ketiga, Settings Robots.txt
Selanjutnya Anda akan menemukan menu “Robots.txt” ketika selesai diaktifkan. Silakan klik menu tersebut dan buat rule robot.txt yang Anda butuhkan.
Manual Unggah Robots.txt
Cara yang terakhir ini mungkin sedikit rumit bila Anda kurang familiar dalam menggunakan hosting ataupun server. Karena konfigurasi yang akan dilakukan perlu masuk ke dalam folder public_html.
Membuat File Robots.txt
Silakan Anda masuk ke file manager hosting Anda >> cari dan open folder “public_html” >> buat file dengan nama “robots.txt“.
Buka file “robots.txt” tersebut dan tambahkan script robots yang Anda butuhkan.
Cara setting robots.txt di wordpress tidaklah rumit. Banyak cara yang dapat Anda lakukan agar dapat melakukan konfigurasi robots.txt. Cara yang paling mudah tentunya mengunakan plugin, karena langsung konfigurasi melalui admin wordpress.
Demikianlah Cara Setting Robots TXT di WordPress, semoga bermanfaat dan dapat membantu Anda. Jangan lupa untuk share artikel ini kepada teman sobat. Agar website novri.web.id dapat lebih maju dan semakin ramai. image by blogspot
