Diblokir oleh robots.txt: arti status Search Console ini dan cara memperbaikinya

Status diblokir oleh robots.txt muncul di laporan pengindeksan halaman Google Search Console, di antara alasan mengapa halaman tidak diindeks. Dokumentasi laporan pengindeksan halaman menjelaskannya dalam satu baris: halaman diblokir oleh file robots.txt situs Anda. Di balik baris itu ada dua situasi yang sangat berbeda, pemblokiran yang sehat dan yang tidak disengaja, ditambah satu status serupa yang membingungkan: "Diindeks, meski diblokir oleh robots.txt". Panduan ini menunjukkan cara membedakan keduanya dan memperbaiki masing-masing tanpa merusak hal lain. Jika file ini masih baru bagi Anda, mulailah dari definisi robots.txt kami.

Apa arti "Diblokir oleh robots.txt" di Search Console?

File robots.txt berada di root host (contoh.com/robots.txt) dan memberi tahu crawler jalur mana yang boleh diambil. Saat Googlebot menemukan URL, lewat tautan atau sitemap, ia memeriksa file itu lebih dulu. Jika aturan Disallow cocok dengan jalur untuk user-agent-nya, ia tidak mengambil halaman tersebut. Search Console lalu mencantumkan URL itu di bawah "Diblokir oleh robots.txt".

Ada dua akibatnya. Google tidak melihat konten, judul, tautan internal, maupun tag meta di halaman itu. Karena tidak pernah membacanya, Google juga tidak melihat tag noindex. Status ini tercantum sebagai alasan halaman tidak diindeks dan bagi sebagian besar situs hanya bersifat informatif: Google sendiri mencatat bahwa URL yang diblokir robots.txt kemungkinan memang sengaja diblokir.

Masalah muncul ketika daftar itu berisi halaman yang ingin Anda tampilkan di Google: halaman produk, artikel, kategori, atau seluruh situs setelah migrasi. Dalam kasus itu, pemblokiran menjadi penyebab langsung situs yang tidak muncul di Google, dan termasuk masalah teknis yang paling cepat diperbaiki.

"Diblokir oleh robots.txt" atau "Diindeks, meski diblokir"?

Status kedua terdengar bertentangan, dan inilah yang paling membuat pemilik situs khawatir. Pengantar Google tentang robots.txt menjelaskannya: robots.txt bukan mekanisme untuk menjauhkan halaman dari Google. Jika halaman lain menautkan ke URL yang dilarang, Google tetap bisa mengindeks URL itu tanpa meng-crawl-nya. Hasilnya menampilkan alamat tanpa deskripsi, karena Google tidak pernah membaca teksnya.

Kuncinya adalah memutuskan dulu apa yang Anda inginkan untuk setiap URL: diindeks atau tidak diindeks. robots.txt menjawab pertanyaan lain (di-crawl atau tidak), dan mencampur keduanya adalah sumber sebagian besar kesalahan.

Mengapa halaman Anda diblokir oleh robots.txt?

Sebagian besar pemblokiran tak disengaja berasal dari beberapa penyebab. Periksa dengan urutan ini:

• Aturan staging yang terbawa ke produksi. Disallow: / melindungi situs uji, lalu ikut terbit saat peluncuran dan memblokir semuanya.
• Pengaturan CMS. WordPress punya opsi "Minta mesin telusur untuk tidak mengindeks situs ini"; platform lain punya tombol serupa yang mengubah robots.txt atau menambahkan header.
• Aturan yang lebih luas dari dugaan. Disallow: /p memblokir /produk/ dan /promo/ sekaligus /p/. Aturan robots.txt mencocokkan awal jalur.
• Karakter pengganti. * cocok dengan rangkaian karakter apa pun dan $ menandai akhir URL. Disallow: /*? memblokir semua URL berparameter, termasuk halaman bernomor atau hasil filter yang ingin Anda indeks.
• Sumber daya yang diblokir. Memblokir /assets/ atau /wp-includes/ menyembunyikan CSS dan JavaScript yang dibutuhkan Google untuk merender halaman, sehingga pemahamannya atas konten Anda menurun.
• Migrasi. Jalur berubah, robots.txt lama tertinggal, atau hosting baru menyajikan file bawaannya sendiri.
• Host yang salah. Setiap subdomain dan protokol punya file sendiri: aturan di www.contoh.com tidak berlaku untuk toko.contoh.com.

Ingat bahwa Google mengikuti aturan yang paling spesifik (jalur cocok yang paling panjang), dan ketika Allow serta Disallow sama spesifiknya, aturan yang paling longgar yang menang. Jadi Allow: /blog/ yang tepat sasaran bisa membuka kembali sebuah folder di bawah blokir yang lebih luas.

Cara memperbaiki "Diblokir oleh robots.txt" langkah demi langkah

1. Ekspor URL yang terdampak

Di Google Search Console, buka Pengindeksan, lalu Halaman, dan klik baris "Diblokir oleh robots.txt". Ekspor daftarnya dan urutkan per folder. Biasanya pola akan terlihat dalam satu menit: satu direktori, satu parameter, satu subdomain.

2. Pisahkan blokir yang disengaja dari kesalahan

Tandai setiap pola sebagai "tetap diblokir" atau "harus ada di Google". Keranjang, checkout, akun pelanggan, hasil pencarian internal, dan area admin masuk kelompok pertama. Semua yang menjawab kueri penelusuran, mendapat tautan, atau tercantum di sitemap XML Anda masuk kelompok kedua. URL yang ada di sitemap sekaligus diblokir adalah kontradiksi yang perlu diselesaikan.

3. Temukan aturan yang cocok

Buka alat Inspeksi URL untuk satu URL contoh: alat ini menunjukkan apakah crawling diizinkan. Lalu baca file yang aktif, atau tempel URL ke pemeriksa robots.txt gratis kami untuk melihat baris mana yang memblokirnya dan untuk user-agent apa.

4. Ubah file

Hapus atau persempit aturannya, atau tambahkan Allow yang lebih spesifik. Buat perubahan seminimal mungkin dan uji pada URL yang ingin dibuka sekaligus URL yang harus tetap diblokir. Jika file berantakan, buat versi bersih dengan generator robots.txt kami dan bandingkan sebelum menerbitkannya.

5. Pastikan Google membaca file baru

Google umumnya menyimpan robots.txt di cache hingga 24 jam, menurut spesifikasi robots.txt-nya. Untuk mempercepat, buka Setelan, lalu laporan robots.txt di Search Console (tersedia untuk properti tingkat domain), dan minta crawl ulang untuk file tersebut. Setelah itu, minta pengindeksan untuk URL terpenting yang sudah dibuka blokirnya di Inspeksi URL.

6. Validasi dan pantau

Klik "Validasi perbaikan" di halaman masalah. Validasi bisa memakan waktu beberapa hari hingga beberapa minggu, dan URL baru diperiksa seiring Google meng-crawl ulang. Panduan kami tentang pengindeksan Google menjelaskan apa yang terjadi setelah crawling, ketika Google memutuskan apakah halaman layak disimpan.

Cara memperbaiki "Diindeks, meski diblokir oleh robots.txt"

Perbaikannya bergantung pada apa yang Anda inginkan untuk halaman itu:

1. Anda ingin halaman tampil di Google. Hapus blokirnya. Google akan meng-crawl halaman, membaca kontennya, dan menampilkan hasil normal dengan judul dan deskripsi.
2. Anda tidak ingin halaman tampil di Google. Hapus juga blokirnya, lalu tambahkan <meta name="robots" content="noindex"> di head, atau header HTTP X-Robots-Tag: noindex untuk PDF dan file lain. Setelah Google meng-crawl ulang dan menghapus halaman itu, Anda boleh memblokirnya lagi jika volume crawl penting, meski sebagian besar situs tidak pernah membutuhkannya. Definisi noindex kami menjelaskan pilihannya.
3. Halaman seharusnya tidak publik. Lindungi dengan kata sandi atau hapus (404 atau 410). robots.txt maupun noindex bukan langkah keamanan.

Untuk navigasi berfaset dengan ribuan URL filter, blokir di robots.txt bisa tetap menjadi alat yang tepat untuk menghemat crawl budget. Peringatan "Diindeks, meski diblokir" pada sebagian kecil URL itu bisa diterima, selama versi kanonis kategori Anda dapat di-crawl dan diindeks.

Cara memastikan perbaikan berhasil

Tiga sinyal mengonfirmasi perbaikan yang berhasil. Inspeksi URL pada URL aktif menampilkan "Crawling diizinkan: Ya". Jumlah halaman yang diblokir di laporan pengindeksan halaman turun dalam beberapa minggu berikutnya. Dan halaman yang dibuka blokirnya mulai mendapat tayangan di laporan Performa. Pemeriksaan cepat dengan pemeriksa keterindeksan kami juga menangkap hambatan lain yang sering menyertai kesalahan robots.txt: noindex yang terlupa, tag kanonis yang salah, atau pengalihan.

Pemantauan penting karena kesalahan ini bisa muncul lagi. Pembaruan tema, plugin, atau skrip deployment bisa menulis ulang robots.txt tanpa ada yang menyadarinya. Memantau halaman yang klik dan tayangannya tiba-tiba turun adalah peringatan dini tercepat.

Dasbor GEO / SEO Sorank terhubung ke Search Console dan menampilkan halaman yang naik dan turun itu dalam satu tampilan. Blokir yang masuk lewat deployment pun terlihat sebagai sekelompok URL yang menurun, bukan sebagai kehilangan trafik yang pelan dan tak terjelaskan.

robots.txt, crawler AI, dan GEO

Kini robots.txt punya audiens kedua: crawler milik asisten AI. OpenAI, Anthropic, Perplexity, dan Google masing-masing menerbitkan user-agent (GPTBot dan OAI-SearchBot, ClaudeBot, PerplexityBot, Google-Extended) yang mematuhi robots.txt. Aturan untuk salah satunya, atau blokir umum User-agent: *, menentukan apakah ChatGPT, Claude, atau Perplexity bisa membaca halaman Anda saat mereka menelusuri web untuk menyusun jawaban.

Logikanya sama dengan Google: tentukan per bot apa yang Anda inginkan. Memblokir crawler pelatihan sambil mengizinkan crawler penelusuran adalah kompromi yang umum, dan panduan kami tentang robots.txt untuk crawler AI mencantumkan user-agent serta aturan untuk masing-masing. Entri glosarium tentang crawler AI menjelaskan peran setiap bot.

Untuk melihat dampak pilihan ini, pantau prompt yang penting bagi bisnis Anda. Pelacakan Sebutan AI di Sorank menunjukkan apakah ChatGPT, Gemini, atau Claude mengutip situs Anda, dan pesaing mana yang mereka kutip sebagai gantinya.

Aturan yang perlu diingat

robots.txt menentukan apa yang boleh dibaca crawler; noindex menentukan apa yang boleh ditampilkan hasil penelusuran. Gunakan blokir hanya untuk area tanpa nilai penelusuran, jangan pernah memblokir halaman yang ingin Anda indeks atau keluarkan dari indeks, dan periksa laporan pengindeksan halaman setelah setiap migrasi atau deployment. Sebagian besar masalah "diblokir oleh robots.txt" selesai dalam hitungan menit begitu aturan penyebabnya ditemukan, dan dasbor Search Console di Sorank membantu Anda menangkap masalah berikutnya sebelum merugikan trafik.