Excluded by 'noindex' tag: apakah itu normal, dan bagaimana memperbaikinya?

« Excluded by 'noindex' tag » adalah satu-satunya status indeksasi yang Anda buat sendiri, dengan sengaja atau tidak. Dokumentasi laporan Indeksasi halaman dari Google menjelaskan alasan ini dalam tiga kalimat: « Ketika Google mencoba mengindeks halaman, Google menemukan direktif 'noindex' dan oleh karena itu tidak mengindeksnya. Jika Anda tidak ingin halaman ini diindeks, selamat! Jika Anda ingin halaman ini diindeks, Anda harus menghapus direktif 'noindex'. » Panduan ini membantu Anda memutuskan di sisi mana setiap URL berada, menemukan sumber pasti aturan yang tidak diinginkan, dan memperbaikinya tanpa merusak bagian lain.

Apa arti « Excluded by 'noindex' tag »?

Aturan noindex meminta mesin pencari untuk tidak menampilkan halaman di hasil mereka. Google membacanya di dua tempat, seperti dijelaskan panduannya tentang memblokir pengindeksan dengan noindex:

• Meta tag robots di <head> HTML: <meta name="robots" content="noindex"> untuk semua mesin pencari, atau name="googlebot" khusus untuk Google.
• Header HTTP X-Robots-Tag yang dikirim server bersama respons, dengan nilai noindex atau none. Ini satu-satunya pilihan untuk file tanpa HTML, misalnya PDF.

Saat Googlebot menemukan salah satunya, ia menjaga URL tetap di luar indeks. Statusnya muncul di Search Console, di bawah Indeksasi lalu Halaman, pada tabel « Why pages aren't indexed ». Halaman bantuan mencantumkan alasan yang sama sebagai « URL marked 'noindex' »: kedua label itu menggambarkan satu situasi.

Tiga fakta mengubah cara Anda membaca laporan:

• Google mematuhi Anda. Berbeda dengan « Crawled - currently not indexed », ketika Google memutuskan sendiri untuk tidak mengindeks halaman, status ini mencerminkan instruksi yang dikirim situs Anda.
• Ini membutuhkan perayapan. Google hanya bisa melihat aturan noindex pada halaman yang boleh diambilnya. Halaman yang diblokir robots.txt tidak pernah sampai ke status ini.
• Aturan bisa datang dari mana saja dalam rantai. HTML, CMS, plugin, tema, konfigurasi server, dan CDN masing-masing bisa menambahkannya, dan sumber halaman tidak menampilkan header HTTP.

Normal atau error?

Kebanyakan situs punya URL dalam status ini, dan banyak di antaranya memang seharusnya di sana. Laporan Google menyebut bahwa halaman yang terdaftar sebagai tidak terindeks ada di sana « belum tentu karena error ». Urutkan daftar berdasarkan jenis URL sebelum memperbaiki apa pun.

Baris terakhir lebih penting daripada kelihatannya. Sitemap memberi tahu Google « indeks halaman-halaman ini », sedangkan noindex berkata sebaliknya. Batasi sitemap hanya pada URL yang bisa diindeks dan kanonik (panduan kami tentang mengirim sitemap ke Google menjelaskan cara membersihkannya).

Dari mana noindex yang tidak diinginkan berasal?

Ketika halaman penting membawa noindex, penyebabnya hampir selalu salah satu sumber di bawah ini. Periksa dengan urutan ini, dari yang paling sering ke yang paling jarang.

Kasus WordPress cukup umum untuk disebut. Menurut dokumentasi WordPress tentang layar Membaca, mencentang « Discourage search engines from indexing this site » menambahkan noindex,nofollow di head setiap halaman (sejak versi 5.3). Satu kotak yang terlupa setelah peluncuran sudah cukup untuk mengeluarkan seluruh situs dari Google. Peluncuran dan desain ulang adalah momen paling berisiko, itulah sebabnya daftar periksa migrasi SEO selalu menyertakan pemeriksaan aturan perayapan. Untuk pengaturan khusus WordPress, lihat halaman kami tentang SEO dan GEO WordPress.

Bagaimana mendiagnosis status ini, langkah demi langkah?

1. Buka laporannya. Di Search Console, buka Indeksasi, lalu Halaman, klik « Excluded by 'noindex' tag » dan ekspor daftarnya.
2. Urutkan URL dengan tabel di atas. Pisahkan yang memang harus tetap di luar indeks.
3. Periksa satu URL penting. Tempel di alat Inspeksi URL. Baris « Indexing allowed? » memberi tahu apakah Google melihat noindex dan apakah itu berasal dari meta tag robots atau header X-Robots-Tag.
4. Uji URL langsung. Klik « Test live URL »: jika versi langsung tidak lagi memiliki noindex, aturannya sudah dihapus dan Google hanya perlu merayapi ulang.
5. Periksa sendiri kedua tempat itu. Cari noindex di sumber halaman, lalu di header respons (alat pengembang browser, tab Jaringan). Pemeriksa header HTTP gratis menampilkan X-Robots-Tag tanpa membuka alat pengembang, dan pemeriksa keterindeksan menguji meta tag, header, dan robots.txt sekaligus.
6. Telusuri sumbernya dengan tabel sumber, mulai dari pengaturan CMS dan plugin SEO.

Bagaimana cara memperbaikinya?

Perbaikannya bergantung pada sumbernya. Ubah pengaturan di tempat aturan itu dihasilkan, jangan hanya yang terlihat, atau aturan itu akan kembali saat pembaruan berikutnya.

Setelah perbaikan, minta pengindeksan untuk URL terpenting di alat Inspeksi URL, dan kirim ulang sitemap jika banyak halaman terdampak. Untuk sekelompok URL yang sudah diperbaiki, klik « Validate fix » di laporan. Google menyatakan validasi « typically takes up to about two weeks, but in some cases can take much longer ». Bersihkan cache halaman atau CDN terlebih dahulu, jika tidak Google mungkin mengambil versi lama dengan aturan lama. Jika halaman masih belum muncul berminggu-minggu kemudian, panduan kami tentang membuat halaman terindeks Google mencantumkan langkah berikutnya, dan jika halaman pindah ke Crawled - currently not indexed, masalahnya sekarang ada pada konten, bukan aturan.

Noindex, robots.txt, atau canonical: mana yang harus dipakai?

Ketiga alat ini sering tertukar, dan menggabungkannya dengan salah menghasilkan laporan yang paling membingungkan.

Google menyatakannya dengan jelas: jika robots.txt memblokir halaman, « the crawler will never see the noindex rule ». Jika Anda ingin halaman keluar dari indeks, biarkan halaman itu bisa dirayapi dengan noindex sampai ia hilang, lalu putuskan apakah akan memblokirnya. Uji file Anda dengan pemeriksa robots.txt dan baca spesifikasi meta tag robots untuk daftar aturan lengkap. Di sana juga disebutkan bahwa jika aturan bertentangan, « the more restrictive rule applies ».

Mengapa ini penting untuk SEO dan visibilitas di AI?

Halaman di bawah noindex tidak mendapat klik organik dari Google, apa pun kualitasnya. Di situs besar, aturan yang tidak diinginkan pada satu template bisa menghapus ratusan halaman produk atau artikel sekaligus, dan tanda pertamanya sering berupa penurunan trafik beberapa minggu kemudian. Jika situs Anda seolah hilang sama sekali, mulailah dengan daftar periksa kami tentang situs yang tidak muncul di Google.

Asisten AI menambah biaya kedua. ChatGPT, Perplexity, dan Gemini sering menjawab dengan mengambil halaman dari indeks pencarian web lalu mengutipnya, sehingga halaman yang tidak ada di indeks kecil peluangnya untuk dikutip. Studi kami tentang platform yang paling sering dikutip AI menunjukkan sumber mana yang mereka utamakan.

Sorank adalah produk kami: perangkat lunak SEO dan GEO dengan autopilot. Dasbor GEO dan SEO-nya menampilkan klik, impresi, dan posisi dari Search Console, sehingga penurunan impresi yang tiba-tiba pada sekelompok halaman mudah terlihat, dan ekstensi Chrome Sorank yang gratis menandai masalah SEO di setiap halaman yang Anda buka.

Ringkasnya: biarkan noindex pada halaman yang tidak boleh pernah berperingkat, hapus dari sumbernya pada halaman yang seharusnya berperingkat, jaga sitemap bebas dari URL noindex, dan jangan pernah memblokir halaman di robots.txt selagi Google masih perlu membaca noindex-nya. Untuk menerbitkan halaman yang dibuat agar terindeks dan dikutip, lihat paket Sorank, mulai 49€ per bulan, dengan uji coba gratis 3 hari.