“Crawled - currently not indexed”: artinya dan cara memperbaikinya

Crawled - currently not indexed termasuk alasan yang tercantum di bawah “Mengapa halaman tidak diindeks” di Search Console, dan sering kali menjadi yang terbesar di situs konten maupun toko daring. Dokumentasi laporan Pengindeksan halaman dari Google menjelaskan status ini dalam dua kalimat: “Halaman dirayapi oleh Google tetapi tidak diindeks. Halaman ini mungkin akan atau mungkin tidak diindeks di masa mendatang; tidak perlu mengirim ulang URL ini untuk dirayapi.” Panduan ini menjelaskan apa yang diputuskan Google, URL mana yang boleh dibiarkan dalam status ini, cara menemukan penyebab sebenarnya untuk URL yang penting, dan perbaikan yang sesuai untuk setiap penyebab.

Apa arti “Crawled - currently not indexed”?

Google memproses URL dalam tiga tahap: penemuan dan perayapan, lalu pengindeksan, dan terakhir pemeringkatan (entri glosarium kami tentang perayapan dan pengindeksan menjelaskan setiap tahap). Halaman dalam status ini sudah melewati tahap pertama: Googlebot meminta halaman tersebut dan menerima respons. Ia berhenti di tahap kedua: setelah memproses kontennya, Google memilih untuk tidak menyimpannya di indeks.

Pilihan itu disengaja dan terdokumentasi. Panduan Google tentang cara kerja Penelusuran menyatakan bahwa “pengindeksan tidak dijamin; tidak setiap halaman yang diproses Google akan diindeks”. Ada tiga alasan umum: kualitas konten yang rendah, aturan robots dalam meta yang melarang pengindeksan, dan desain situs yang mempersulit pengindeksan. Karena aturan noindex memunculkan status tersendiri (“Dikecualikan oleh tag ‘noindex’”), halaman yang tercantum sebagai dirayapi tetapi tidak diindeks terutama mengarah ke alasan pertama dan ketiga.

Ada tiga hal yang perlu diingat:

• Ini bukan hukuman. Tidak ada tindakan manual yang terlibat, dan bagian situs lainnya tidak dihukum karenanya.
• Ini bukan keputusan final. Google menyatakan halaman itu “mungkin akan atau mungkin tidak diindeks di masa mendatang”. Setiap perayapan ulang adalah keputusan baru.
• Ini bisa terjadi pada halaman yang dulunya sudah diindeks. Google secara berkala menghapus URL yang tidak lagi dianggap layak disimpan, sehingga artikel lama bisa masuk ke status ini tanpa perubahan apa pun dari Anda.

Untuk seluruh proses pengindeksan dan faktor-faktor yang mempercepatnya, lihat panduan kami tentang pengindeksan Google.

Crawled atau Discovered - currently not indexed: apa bedanya?

Kedua status ini terlihat mirip, tetapi berhenti di tahap yang berbeda sehingga membutuhkan perbaikan yang berbeda.

Singkatnya, “Discovered” terutama masalah perayapan, sedangkan “Crawled” terutama keputusan pengindeksan. Mempercepat server jarang memindahkan halaman yang sudah dirayapi ke indeks; memperbaiki halaman itu sendiri biasanya bisa.

Apakah ini masalah, atau bisakah URL-URL ini dibiarkan saja?

Setiap situs dengan ukuran tertentu punya URL dalam status ini, dan banyak di antaranya seharusnya memang tidak pernah peringkat. Sebelum memperbaiki apa pun, urutkan daftar berdasarkan jenis URL. Jumlah URL bernilai rendah yang stabil bukan alasan untuk khawatir; lonjakan mendadak, atau halaman penting dalam daftar, memang layak dikhawatirkan.

Mengapa Google merayapi halaman tetapi tidak mengindeksnya?

1. Konten menambah terlalu sedikit

Ini penyebab yang paling sering. Halaman dengan beberapa baris teks, konten generik yang mengulang apa yang sudah dikatakan puluhan halaman terindeks, atau halaman yang dibuat dari templat dengan hanya nama yang diganti, adalah konten tipis yang khas. Panduan Google tentang membuat konten yang bermanfaat menanyakan apakah sebuah halaman memberikan “nilai yang substansial dibandingkan halaman lain dalam hasil penelusuran”. Halaman yang tidak lulus uji ini bisa terus dirayapi berulang kali tanpa pernah diindeks.

2. Halaman terlalu mirip dengan halaman lain

Halaman yang hampir duplikat (varian produk dengan deskripsi yang sama, halaman kota yang hanya mengganti nama kota, versi untuk dicetak) sering dikelompokkan dan dikecualikan. Ketika Google dengan jelas mengenali duplikatnya, biasanya Anda akan melihat status kanonis; jika kemiripannya hanya sebagian, halaman bisa berakhir di sini. Tag canonical yang konsisten dan konten yang benar-benar berbeda akan menyelesaikan masalah ini.

3. Konten baru ada setelah JavaScript dijalankan

Dasar-dasar SEO JavaScript dari Google menjelaskan tiga fase: perayapan, rendering, dan pengindeksan. Halaman yang menunggu rendering, menurut panduan itu, “bisa tetap dalam antrean ini selama beberapa detik, tetapi bisa juga lebih lama dari itu”. Jika HTML mentahnya hampir kosong dan teks baru muncul setelah rendering (atau rendering gagal karena skrip atau panggilan API diblokir), Google mungkin menilai halaman yang hampir kosong. Rendering di sisi server atau pra-rendering menghilangkan risiko ini; panduan kami tentang SEO JavaScript membahas pilihannya.

4. Situs menandakan bahwa halaman itu tidak penting

Halaman yang hanya bisa dijangkau dari sitemap, atau tersembunyi lima klik ke dalam dengan satu tautan dari arsip berhalaman, memberi tahu Google bahwa halaman itu kurang penting bagi Anda. Tautan internal dari halaman yang sudah diindeks dan sering dikunjungi termasuk sinyal terkuat yang bisa Anda kendalikan.

5. Kasus lainnya

Beberapa URL muncul di sini karena alasan di luar halaman itu: laporan tertinggal (URL mungkin sudah diindeks), target pengalihan dirayapi melalui URL lama, atau halaman soft error (hasil pencarian kosong, “produk tidak ditemukan”) mengembalikan kode 200. Kasus-kasus ini perlu diperiksa, bukan ditulis ulang.

Cara mendiagnosis “Crawled - currently not indexed” langkah demi langkah

1. Buka laporannya. Di Search Console, buka Pengindeksan, lalu Halaman, dan klik “Crawled - currently not indexed” di bawah “Mengapa halaman tidak diindeks”. Catat tren-nya: lonjakan mendadak sering mengikuti migrasi, perubahan tema, atau sekelompok halaman baru.
2. Urutkan URL berdasarkan jenis dengan tabel di atas, dan simpan hanya halaman yang ingin Anda tampilkan di hasil penelusuran.
3. Periksa setiap URL penting. Tempelkan di alat Inspeksi URL. Pastikan statusnya, tanggal perayapan terakhir, dan bahwa perayapan serta pengindeksan diizinkan. Anda juga bisa menguji halaman dalam hitungan detik dengan pemeriksa keterindeksan gratis kami.
4. Singkirkan positif palsu. Jika muncul “URL ada di Google”, laporannya tertinggal dan halaman itu tidak perlu apa-apa.
5. Uji URL langsung dan lihat HTML yang sudah dirender. Jika teks utama, tautan, atau judul hilang dari versi yang sudah dirender, masalahnya ada pada rendering.
6. Bandingkan dengan halaman yang sudah peringkat. Cari kueri target dan baca hasil teratas. Jika mereka menjawab lebih lengkap atau dalam format berbeda, halaman Anda punya celah kualitas atau maksud.
7. Hitung tautan internal yang mengarah ke halaman itu, misalnya dengan penganalisis tautan internal kami. Nol atau satu tautan dari halaman yang dalam adalah sinyal yang lemah.

Cara memperbaikinya: satu perbaikan untuk setiap penyebab

Dua kebiasaan membuat perbaikan bertahan. Pertama, jalankan audit konten secara rutin: memangkas atau menggabungkan halaman lemah menaikkan kualitas rata-rata dari yang dirayapi Google. Kedua, jaga sitemap XML tetap bersih, hanya berisi URL kanonis dan dapat diindeks yang ingin Anda beri peringkat, lalu kirim ulang ke Google setelah pembersihan besar.

Berapa lama halaman diindeks setelah perbaikan?

Tidak ada yang terjadi sampai Googlebot merayapi ulang halaman itu, yang bisa memakan waktu dari beberapa hari hingga beberapa minggu tergantung seberapa sering Google mengunjungi situs Anda. Setelah beberapa URL diperbaiki, Anda bisa mengklik “Validasi perbaikan” di laporan; Google menyatakan validasi “biasanya memakan waktu sekitar dua minggu, tetapi dalam beberapa kasus bisa jauh lebih lama”. Validasi bersifat opsional: laporan akan diperbarui sendiri saat halaman dirayapi ulang.

Untuk situs besar, memeriksa URL satu per satu itu lambat. API Inspeksi URL mengizinkan 2000 kueri per hari dan 600 per menit untuk setiap situs, menurut batas penggunaan API Search Console, cukup untuk memantau beberapa ratus halaman prioritas dari waktu ke waktu. Jika sebuah halaman tetap dalam status ini setelah dua atau tiga kali perayapan ulang, perbaikannya belum cukup: tinjau lagi kualitas dan maksudnya terlebih dahulu.

Mengapa ini penting untuk SEO dan visibilitas di asisten AI?

Halaman di luar indeks Google tidak mendatangkan klik organik, berapa pun kualitasnya. Di situs konten, sebagian besar artikel dalam status ini juga berarti usaha produksi yang terbuang dan memberi sinyal kepada Google bahwa situs menerbitkan halaman yang tidak ia butuhkan, yang bisa memperlambat pengindeksan halaman baru.

Asisten AI menambah alasan kedua. ChatGPT, Perplexity, dan Gemini menjawab banyak pertanyaan dengan mengambil halaman dari indeks penelusuran web, lalu mengutip sumber yang mereka pakai. Halaman yang tidak diindeks jauh lebih kecil kemungkinannya untuk diambil, sehingga jauh lebih kecil kemungkinannya untuk dikutip. Studi kami tentang platform yang paling sering dikutip AI menunjukkan sumber mana yang mereka utamakan saat menjawab.

Sorank adalah produk kami: perangkat lunak SEO dan GEO dengan autopilot. Dasbor GEO dan SEO-nya menampilkan klik, impresi, dan posisi dari Search Console, sehingga Anda bisa melihat kapan halaman yang sudah diperbaiki mulai mendapat impresi. Generator artikel-nya menulis artikel bersumber dengan tautan internal yang sudah terpasang, dua elemen yang paling sering dihukum oleh status ini.

Intinya: urutkan URL, abaikan yang tidak perlu peringkat, dan perbaiki penyebabnya pada halaman yang penting (konten, duplikat, rendering, tautan internal) sebelum meminta Google memeriksa ulang. Untuk menerbitkan halaman yang diindeks dan dikutip sejak awal, lihat paket Sorank, mulai dari 49€ per bulan, dengan uji coba gratis 3 hari.