Sebelum itu, perlu diketahui bahwa dengan memberikan robots.txt pada situs, maka akan memberikan tanda ke Google ke mana saja akses yang harus dilakukan dan halaman mana saja yang perlu diindeks.
Selain itu robots.txt juga berguna untuk SEO, di mana setiap artikel di blog kita akan lebih mudah dan lebih cepat terindeks di mesin pencari Google. Tujuannya adalah untuk menaikan peringkat situs di Search Engine Result Pages (SERP) dan proses indexing lebih terstruktur.
Apa itu Robots.txt?
Robots.txt adalah sebuah file yang menyediakan sekumpulan instruksi untuk mesin pencari atau menunjukkan jalan kepada mesin pencari. Istilah mudahnya adalah sebagai jalan atau tanda yang digunakan situs web untuk menunjukkan jalan kepada mesin pencari.
Ketika membuat website baru dan dihubungkan dengan Google Webmaster Tool maka setiap halaman web akan di ‘crawl’ oleh Google dan muncul di hasil pencarian. Google akan melakukan pendataan sesuai dengan kata kunci yang ada pada situs dan lain sebagainya.
Robots.txt bertugas untuk memisahkan halaman yang tidak ingin Anda tampilkan ke dalam mesin pencari. Dikarenakan meskipun tidak ada file ini Google tetap akan melakukan proses ‘crawl’ sampai dengan keseluruhan halaman yang ada di situs.
Selain itu robots.txt juga bertugas untuk menghalangi beberapa situs pencari agar tidak melakukan crawl situs. Hal ini bertujuan untuk mengurangi beban yang harus diterima oleh situs.
Jadi intinya, robots.txt membantu mesin pencari untuk memilih halaman situs mana saja yang akan ditampilkan pada mesin pencari. Pengguna juga bisa menyesuaikan halaman yang boleh ditampilkan pada mesin pencarian Google.
Letak File Robots.txt
File robots.txt sebenarnya sudah ada di dalam folder root pada server penyimpanan file situs atau yang biasa disebut dengan public_html. Hanya saja robots.txt merupakan file virtual yang tidak bisa diakses maupun diganti melalui direktori manapun. Jadi, ketika Anda membuka halaman public_html maka tidak ditemukan file robots.txt di sana.
Agar dapat memodifikasi rule robots.txt harus menambahkan file baru di sana. Membuat sendiri file robots.txt yang diletakkan di dalam folder public_html dan memasukkan skrip konfigurasi secara manual.
File baru yang dibuat bertugas menjadi file replacement yang nantinya akan menimpa file konfigurasi yang sudah ada.
Rule File Robots.txt di WordPress
Konfigurasi robots.txt termasuk cukup simpel dikarenakan hanya ada beberapa perintah saja yang diperlukan. Berikut ini adalah contoh dari konfigurasi file robots.txt yang dapat Anda terapkan.
User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content
User-agent: Bingbot
Disallow: /
Atau Anda dapat menambahkan beberapa konfigurasi lain untuk mengizinkan beberapa situs pencari untuk melakukan ‘crawl’. Anda cukup menambahkan beberapa baris skrip seperti dibawah ini.
User-agent: Mediapartners-Google
Allow: /
User-agent: Adsbot-Google
Allow: /
User-agent: Googlebot-Mobile
Allow: /
Sitemap: https://karsanusantara.com/sitemap.xml
Keterangan:
User-agent: bagian ini digunakan untuk mendeskripsikan rule jenis/nama robot.
Allow: untuk menambahkan bagian mana yang dapat diakses oleh robot.
Disallow: untuk mendeskripsikan bagian yang tidak boleh diakses oleh robot.
Skrip di atas merupakan contoh dari robots.txt yang digunakan untuk mengarahkan mesin pencari untuk pemindaian isi dari situs web. Anda dapat mengatur skrip tersebut sesuai dengan kebutuhan. Misalnya, jika terdapat halaman forum, maka yang perlu dilakukan adalah disallow folder forum agar tidak terbaca oleh mesin pencarian agar tidak muncul pada hasil pencarian. Bisa jadi jika tidak disallow maka seluruh thread yang ada di dalam forum tersebut akan terindeks.
Cara Setting Robot TXT di WordPress
Ada beberapa cara yang dapat Anda lakukan untuk mengaktifkan Robot TXT di WordPress. Cara yang paling simpel dan tidak memerlukan tambahan plugin adalah dengan mengunggah file robots.txt secara manual. Setidaknya akan ada tiga cara yang akan kita bahas pada artikel ini, yaitu cara setting robot txt di WordPress menggunakan All in One SEO Pack, Yoast SEO, dan yang terakhir menggunakan cara manual.
Menggunakan Plugin All in One SEO Pack
Setidaknya ada empat cara setting robot txt di WordPress menggunakan plugin All in One SEO Pack.
Langkah 1 – Instal All in One SEO Pack
Anda perlu melakukan instalasi plugin All in One SEO Pack jika belum melakukan proses instalasi. Jangan lupa mengaktifkannya setelah proses unduhan selesai.
Langkah 2 – Feature Manager
Setelah proses instalasi selesai, kemudian masuk ke dalam menu All in One SEO. Kemudian mengaktifkan fitur robots.txt yang ada di dalamnya.
Di dalam plugin ini juga terdapat beberapa fitur yang dapat Anda manfaatkan sekaligus, jadi tidak perlu melakukan instalasi plugin yang lainnya.
Langkah 3 – Klik Robots.txt
Saat robots.txt sudah aktif, Anda akan melihat pilihan menu robots.txt di panel bagian kanan. Klik menu tersebut dan Anda akan diarahkan pada menu robots.txt.
Di dalam menu ini Anda dapat menambahkan user-agent, rule, dan directory-path yang akan dimasukkan ke dalam file.
Langkah 4 – Menambahkan Rule
Anda tidak perlu khawatir dalam menambahkan rule di dalam plugin, karena sewaktu-waktu dapat menghapusnya. Tinggal sesuaikan saja pengaturan yang diinginkan dan disesuaikan dengan mesin pencari.
Menggunakan Plugin Yoast SEO
Cara setting robot txt di WordPress kedua adalah dengan menggunakan plugin Yoast SEO. Plugin ini fungsinya hampir sama dengan All in One SEO Pack. Berikut ini adalah langkah-langkah yang diperlukan untuk setting robots.txt di WordPress.
Langkah 1 – Instal Plugin
Langkah pertama perlu dilakukan tentu saja melakukan instalasi plugin Yoast SEO.
Langkah 2 – Masuk ke Halaman Tools
Setelah terinstal, navigasikan menu menuju ke “SEO -> Tools”. Pada halaman ini akan ada beberapa pilihan yang muncul, klik “File Editor”.
Langkah 3 – Membuat File Robots.txt
Pada halaman selanjutnya akan ada pilihan untuk “Create a New Robots.txt”. Pada halaman ini, masukkan rule yang ingin diterapkan pada situs web.
Anda dapat menyesuaikan dengan kebutuhan situs Anda masing-masing.
Mengunggah Manual File Robots.txt
Cara setting robot txt di WordPress yang terakhir adalah dengan mengunggahnya secara manual menggunakan FTP atau melakukan akses ke panel hosting.
Langkah 1 – Membuat File Robots.txt
Anda dapat membuat terlebih dahulu file robots.txt menggunakan aplikasi note di perangkat desktop. Pada contoh ini kami menggunakan Atom.
Masukkan rule ke dalam file dan klik “Save”.
Langkah 2 – Mengunggah File Robots.txt ke Server Hosting
Anda dapat mengunggah file robots.txt menggunakan beberapa cara, salah satu cara yang bisa dilakukan adalah dengan menggunakan FTP. Selain itu juga dapat mengunggahnya melalui panel admin layanan hosting.
Submit ke Google Search Console
Anda dapat memastikan jika file robots.txt yang sudah dibuat memang benar dan memastikan tidak ada error yang muncul. Pengecekan dapat dilakukan dengan menggunakan Google Search Console.
Kesimpulan
Robots.txt dapat mempermudah Google untuk menentukan halaman mana saja yang boleh dan dapat untuk di ‘crawl’. Selain itu robots.txt juga memberikan arahan atau petunjuk jalan agar Google melakukan ‘crawl’ pada file atau folder tertentu.
Cara setting robot txt di WordPress juga tidak terlalu rumit. Caranya pun juga bermacam-macam sehingga bisa dipilih sesuai dengan pemahaman masing-masing orang. Cara yang paling sederhana adalah dengan menggunakan plugin. Saat menggunakan plugin pengguna tidak perlu mengetikkan kode program atau ‘rule’ robots.txt secara manual.
Sumber:
niagahoster.co.id
Posts
