Cara Mengatasi Error Diblokir oleh robots.txt di Google Search Console (GSC)

Pas lagi cek  email tahu-tahu ada email notifikasi error dari Google Search Console yaitu "Halaman diblokir oleh robots.txt" atau "Indexed, though blocked by robots.txt" di Google Search Console (GSC) bisa membuat saya panik, terutama bagi pemilik website baru. Namun, gak usah khawatir! Error ini cukup umum terjadi dan solusinya seringkali tidak serumit yang dibayangkan. Artikel Cara Mengatasi Error 'Diblokir oleh robots.txt' di Google Search Console (GSC) ini akan memandu Anda memahami apa itu error tersebut, mengapa itu terjadi, dan bagaimana cara mengatasinya langkah demi langkah.

Apa Itu File robots.txt?

Bayangkan website Anda adalah kayak sebuah rumah besar dan Googlebot (robot perayap Google) adalah tamu yang ingin berkunjung. 

File robots.txt adalah papan petunjuk yang Anda letakkan di depan pintu. 

Papan ini memberi tahu "tamu" area mana saja yang boleh mereka masuki dan area mana yang terlarang (misalnya, ruang pribadi, gudang, atau dapur).

Secara teknis, robots.txt adalah file teks sederhana yang memberikan instruksi kepada robot perayap (seperti Googlebot, Bingbot, dll.) tentang halaman atau direktori mana yang tidak boleh mereka akses atau rayapi di website Anda.

Robots.txt adalah file teks sederhana yang memberikan instruksi kepada robot perayap tentang halaman atau direktori mana yang tidak boleh mereka akses atau rayapi di website Anda

Mengapa Error 'Diblokir oleh robots.txt' Muncul?

Error ini muncul karena Google menemukan URL halaman Anda (misalnya melalui sitemap atau link dari halaman lain), tetapi saat mencoba merayapinya, instruksi dalam file robots.txt Anda secara eksplisit melarangnya.

Beberapa penyebab umumnya adalah:

Kesalahan Konfigurasi 

Aturan Disallow (larangan) yang terlalu luas secara tidak sengaja memblokir konten penting.
Contoh: Disallow: /blog/ akan memblokir semua artikel di dalam folder blog Anda.

Pengaturan Default CMS

Beberapa platform seperti WordPress terkadang memiliki aturan default yang memblokir direktori tertentu yang sebenarnya tidak perlu diblokir.

Sengaja Diblokir 

Anda mungkin memang sengaja memblokir halaman tertentu (seperti halaman admin, hasil pencarian internal, atau halaman profil pengguna) agar tidak muncul di hasil pencarian, namun Google tetap menemukannya.

Langkah-langkah Mengatasi Error

Ikuti panduan berikut untuk menemukan dan memperbaiki masalah ini.

Langkah 1: Identifikasi URL yang Diblokir

Buka Google Search Console Anda. Pergi ke bagian Pages (Halaman) di menu sebelah kiri. Cari kategori error "Blocked by robots.txt" atau "Diblokir oleh robots.txt". Klik kategori tersebut untuk melihat daftar lengkap URL yang terpengaruh.

Contohnya halaman ini yang terpengaruh blokiran robot.txt 

Langkah 2: Periksa File robots.txt Anda

Cara termudah untuk melihat file robots.txt Anda adalah dengan mengetik domainanda.com/robots.txt di browser Anda. Anda akan melihat file teks dengan beberapa baris perintah. Ketika saya cek ternyata 404 yaitu gak ada.

Langkah 3: Cek Pengaturan WordPress (Jika menggunakan WP)

Terkadang ada satu tombol yang gak sengaja tercentang ketika menginstall WrodPress, cara mengeceknya yaitu:

Masuk ke Dashboard WorPress > Pengaturan (Settings) > Membaca (Reading).

Pastikan kotak "Halangi mesin pencari mengindeks situs ini" (Discourage search engines from indexing this site) TIDAK tercentang. 

Kalau tercentang, ini penyebab utama peringatan Google Search Console tadi.

Ternyata gak tercentang, berarti gak ada file robot.txt nya yah. Yaudah yuk kita sama-sama bikin.

Langkah 4: Buat File robots.txt

Setelah menemukan aturan yang salah, Anda perlu mengeditnya jika sudah ada file robot.txt nya. Jika belum ada seperti kasus saya, berarti harus membuatnya dan menguploadnya ke cPanel web Anda.

Anda dapat membuat file ini sendiri agar Google Search Console kembali hijau. Caranya:

1. Buka File Manager di Hosting Anda (cPanel) atau gunakan plugin seperti Yoast SEO / Rank Math jika Anda pakai plugin SEO.
2. Buat file baru dengan nama robots.txt di folder utama (public_html), atau buka notepad dan save filenya dengan nama robot.txt.
3. Isi file dengan teks standar ini:
   
   
   
   
   
   

(Membiarkan Disallow kosong berarti tidak ada yang dilarang).

• Kemudian Upload ke website Anda (cPanel).

Sekarang coba akses lagi alamatweb.com/robots.txt. Jika sudah muncul teks di atas, berarti sudah sukses. Contoh nya dibawah ini, sudah berhasil.

Jika gunakan platform lain bisa Anda cari dokumentasi spesifik untuk platform Anda tentang cara mengedit file robots.txt. Paling gak jauh beda.

Langkah 5: Validasi ke Google

Setelah filenya muncul (tidak 404 lagi), buka lagi Dashboard dari Google Search Console.

ke menu Halaman > Diblokir oleh robot.txt > Klik tombol VALIDASI PERBAIKAN

Google akan mengecek ulang dan biasanya dalam beberapa hari status "Diblokir" itu akan hilang. Kembali ke Google Search Console.

Kesimpulan Cara Mengatasi Error 'Diblokir oleh robots.txt' di Google Search Console (GSC)

Error 'Diblokir oleh robots.txt' adalah pengingat pentingnya mengkonfigurasi "papan petunjuk" website Anda dengan benar. Dengan mengidentifikasi URL yang bermasalah, menemukan aturan yang salah di file robots.txt, mengeditnya, dan meminta pengindeksan ulang, Anda dapat memastikan konten berharga Anda dapat ditemukan dan diindeks oleh Google, sehingga tidak kehilangan potensi trafik.

Total 757.626 tayangan blog ini adalah hasil dari ketelitian mengurus hal-hal teknis seperti ini. Yuk dukung blog ekagoblog.com selalu. Terima kasih sudah membaca dan mempraktekan Cara Mengatasi Error 'Diblokir oleh robots.txt' di Google Search Console (GSC)

🚀 Jualan Anda Masih Sepi?

Gunakan Paket Mantap: 120 Listing + 50 Gambar + Fitur Sticky!

PASANG IKLAN PREMIUM DISINI