Cara Atasi Diindeks meski diblokir oleh robots.txt Terbaru
Pada artikel kali ini saya akan menjelaskan apa penyebab dan cara mengatasi Diindeks, meski diblokir oleh robots.txt pada google search console.
Setelah beberapa bulan lalu saya mengganti tema blog ini dengan menggunakan template Viomagz versi jadul yang telah saya redesign sendiri dengan menambahkan fitur lazyload dan efek night mode, pada akhir bulan november 2021 saya mendapatkan notifikasi masalah cakupan dengan pesan Diindex meski diblokir oleh robot.txt.
Seperti biasanya, saya langsung melakukan validasi yang sudah tersedia di google search concole untuk melakukan perbaikan masalah cakupan tersebut. Namun berselang satu hari saya mendapatkan notifikasi lagi bahwa masalah cakupan tersebut gagal divalidasi.
Untuk bisa memperbaiki masalah cakupan tersebut maka saya harus tahu dulu apa penyebab dari munculnya notifikasi diindex meski diblokir oleh robot.txt. Untuk itu berikut ini saya akan jelaskan apa penyebab masalah cakupan tersebut bisa muncul.
Penyebab munculnya peringatan Diindex meski diblokir oleh robot.txt
Sebagian besar blogger pemula mungkin belum tau apa penyebab munculnya peringatan diindex meski diblokir oleh robot.txt. Namun sebenarnya untuk mengetahui apa penyebab munculnya masalah cakupan akibat diindex meski diblokir oleh robot.txt tidak begitu rumit.
Penyebab munculnya masalah cakupan dan peringatan diindex meski diblokir oleh robot.txt yang pertama adalah mesin pencari google telah mengabaikan perintah noindex dalam file robot.txt.
Blogger.com sampai hari ini masih menggunakan robot.txt untuk memberi tau mesin pencari google agar memblokir halaman yang memang tidak untuk diindex. Biasanya halaman yang tidak diindex adalah halaman pencarian serta halaman label.
Perhatikan contoh file robot.txt ini
User-agent: Mediapartners-Google
Allow: /
Disallow:
User-agent: *
Disallow: /search
Allow: /
Sitemap: https://www.namablogkamu/sitemap.xml
Coba perhatikan pada bagian Disallow : /search
Perintah Disallow : /search pada file robot.txt berfungsi untuk memberitahu mesin pencari google agar tidak melakukan pengindekan pada URL yang diawali dengan /search setelah atau domain blog.
Jika kamu belum tau, URL dengan akhiran /search digunakan untuk halaman label dan halaman pencarian.
Lihat contoh dibawah ini :
URL halaman label :
- https://www.maxikhsan.my.id/search/label/Komputer
URL halaman pencarian :
- https://maxikhsan.my.id/search?q=bisnis
URL daftar postingan :
- https://maxikhsan.my.id/search?updated-max=2021-01-05T22:22:00-08:00&max-results=7
Cara Atasi Diindex meski diblokir oleh robot.txt
Saya sendiri sering menemukan masalah cakupan yang memberi peringatan diindex meski diblokir oleh robot.txt. Namun sebenarnya ada tiga metode yang sering saya aplikasikan untuk mengatasi masalah ini.
1. Menghapus Disallow: /search
Untuk masalah diindex meski diblokir oleh robot.txt ini sebenarnya bisa diselesaikan dengan cukup mudah. Jika kamu menemukan masalah atau peringatan seperti ini maka coba untuk menghapus bagian /search pada robot.txt.
Namun meski cara ini bisa menyelesaikan masalah cakupan dan menghilangkan peringatan diindex meski diblokir oleh robot.txt, ada juga dampak buruknya terhadap blog karena masih ada kemungkinan halaman label dan halaman pencarian akan terindex oleh mesin pencari google.
Hampir setiap blogger pasti tidak menginginkan URL label, URL pencarian dan URL daftar postingan terindex mesin pencari. Oleh karena itu jika cara pertama masih tidak bisa menyelesaikan masalah cakupan dan peringatan diindex meski diblokir oleh robot.txt, maka silahkan coba cara yang kedua.
2. Aktifkan Tag Header Robot Custom
Cara yang kedua ini bisa dilakukan dengan cukup mudah untuk mengatasi masalah cakupan dan peringatan diindex meski diblokir oleh robot.txt.
Pada bagian setting di dashboard blogger.com, masuk ke bagian aktifkan tag header robot custom. Silahan sesuaikan pengaturan dengan blog kamu, karena setiap blog atau admin blog memiliki pengaturan yang berbeda-beda.
3. Pasang Meta robot.txt
cara ketiga yang bisa dilakukan untuk mengatasi peringatan diindex meski diblokir oleh robot.txt adalah memasang script meta robot pada template.
Silahkan copy script dibawah ini, lalu paste di dalam template setelah kode <head>.
<!-- Meta Robot -->
<b:if cond="data:view.isSearch or data:view.isArchive">
<meta content='noindex, noarchive' name='robots'/>
</b:if>
User-agent: Mediapartners-Google
Disallow:
User-agent: *
Allow: /
Sitemap: https://namablogkamu.com/sitemap.xmlGanti namablogkamu dengan domain blog kamu.
Klik Simpan lalu pergi ke google search console dan lakukan validasi untuk menghilangkan peringhatan diindex meski diblokir oleh robot.txt.
Biasanya proses validasi berlangsung selama 28 hari, namun bisa saja lebih cepat jika tahapan yang dilakukan sudah sesuai dengan tutorial dalam artikel ini.
Semoga bermanfaat.
Posting Komentar