Ditemukan, saat ini tidak diindeks: artinya dan cara memperbaikinya

Ditemukan, saat ini tidak diindeks adalah salah satu alasan paling umum dalam daftar "Mengapa halaman tidak diindeks" di Google Search Console, sekaligus salah satu yang paling sering disalahpahami. Dokumentasi laporan Indeksasi halaman dari Google memberi definisi singkat: "Halaman ditemukan oleh Google, tetapi belum dirayapi. Biasanya Google ingin merayapi URL tersebut, tetapi hal ini diperkirakan akan membebani situs; oleh karena itu Google menjadwalkan ulang perayapan." Panduan ini menjelaskan apa yang ada di balik kalimat tersebut, cara membedakan antrean wajar dari masalah sungguhan, dan perbaikan yang membuat URL keluar dari antrean. Untuk proses indeksasi secara lengkap, lihat panduan kami tentang cara membuat halaman Anda diindeks Google.

Apa arti "Ditemukan, saat ini tidak diindeks"?

Google mengindeks halaman melalui tiga tahap: penemuan (Google mengetahui bahwa URL itu ada), perayapan (Googlebot mengunduh halaman) dan pengindeksan (Google menganalisis konten dan memutuskan apakah akan menyimpannya). URL dengan status ini baru melewati tahap pertama. Google mengetahui alamatnya dan URL itu ada dalam antrean, tetapi belum pernah diunduh sehingga kontennya belum dinilai. Itulah sebabnya kolom "Terakhir dirayapi" kosong saat Anda memeriksa URL seperti ini.

Status ini sering tertukar dengan status tetangganya, "Dirayapi, saat ini tidak diindeks". Perbedaan keduanya menentukan di mana Anda harus mencari penyebabnya.

Singkatnya, "Ditemukan" adalah masalah perayapan, sedangkan "Dirayapi" adalah keputusan pengindeksan. Menulis ulang konten halaman yang tidak pernah diunduh Google tidak akan mengubah apa pun sampai Googlebot kembali untuk mengambilnya.

Apakah "Ditemukan, saat ini tidak diindeks" merupakan masalah?

Itu tergantung jumlah dan halaman yang terdampak. Tiga situasi berikut normal dan tidak memerlukan tindakan:

• Halaman baru yang diterbitkan beberapa hari atau minggu terakhir. Penemuan dan perayapan adalah dua langkah terpisah, dan Google menjadwalkannya.
• URL yang memang tidak ingin Anda indeks: kombinasi filter, hasil pencarian internal, arsip tag, parameter pelacakan. Kehadirannya dalam daftar hanyalah petunjuk untuk memblokirnya atau berhenti menautkannya, tidak lebih.
• Sebagian kecil dari situs besar. Tidak ada situs yang seluruh URL-nya terindeks.

Ini menjadi masalah ketika halaman penting Anda (produk, kategori, artikel, halaman layanan) bertahan di daftar selama berminggu-minggu, atau ketika jumlahnya bertambah lebih cepat daripada jumlah halaman yang terindeks. Panduan anggaran perayapan Google menyebut sinyal persis ini: situs dengan "sebagian besar dari total URL" yang masuk kategori Ditemukan, saat ini tidak diindeks sebaiknya memeriksa bagaimana Google membagi perayapannya ke URL tersebut.

Apa penyebab "Ditemukan, saat ini tidak diindeks"?

Google menentukan seberapa banyak yang dirayapi berdasarkan dua faktor yang dijelaskan dalam dokumentasi anggaran perayapan: batas kapasitas perayapan (seberapa banyak server Anda sanggup menanggung tanpa melambat) dan permintaan perayapan (seberapa besar keinginan Google terhadap URL Anda, berdasarkan ukuran, frekuensi pembaruan, kualitas halaman, dan relevansi dibanding situs lain). Setiap penyebab di bawah ini menurunkan salah satu dari dua faktor tersebut. Konsep anggaran perayapan paling berpengaruh pada situs besar, tetapi server yang lambat atau struktur situs yang lemah juga bisa memicu status ini di situs yang hanya berisi beberapa ratus halaman.

1. Server yang lambat atau tidak stabil

Ini adalah penyebab yang disebut Google pertama kali. Menurut panduan anggaran perayapan, kapasitas perayapan naik ketika waktu respons "tetap stabil atau membaik" dan turun ketika situs melambat atau mengembalikan error server. Hosting bersama, basis data yang kelebihan beban, tema yang berat, atau firewall yang membatasi Googlebot akan mengurangi jumlah URL yang bersedia diambil Google setiap hari.

2. Terlalu banyak URL bernilai rendah yang bersaing untuk dirayapi

Navigasi berfaset, parameter pengurutan, ID sesi, halaman kalender tanpa akhir, halaman tag yang dibuat otomatis, dan varian produk yang nyaris identik menghasilkan ribuan URL. Panduan Google memperingatkan bahwa URL duplikat dan URL yang tidak penting menghabiskan waktu perayapan, dan halaman soft 404 "akan terus dirayapi dan membuang anggaran Anda". Halaman bagus Anda ikut menunggu di antrean yang sama.

3. Tautan internal yang lemah

URL yang hanya ada di sitemap XML, atau yang ditautkan dari halaman yang berjarak lima klik dari beranda, memberi sinyal prioritas yang lemah. Dokumentasi Google tentang tautan yang dapat dirayapi menambahkan satu jebakan teknis: Google hanya bisa mengikuti tautan jika berupa elemen HTML <a> dengan atribut href. Menu atau tombol "Muat lebih banyak" yang hanya dibangun dengan event JavaScript dapat menyembunyikan halaman dari perayap.

4. Sinyal kualitas untuk seluruh situs

Permintaan perayapan sebagian bergantung pada cara Google menilai bagian situs lainnya. Jika sebagian besar halaman yang sudah dirayapi berisi konten tipis atau konten duplikat, Google punya sedikit alasan untuk terburu-buru mengunjungi halaman berikutnya. Karena itu status ini sering muncul setelah ratusan halaman serupa diterbitkan sekaligus.

5. Situs baru atau yang kurang dikenal

Domain muda dengan sedikit backlink dan banyak konten baru memulai dengan permintaan perayapan yang rendah. Mueller mengatakan dalam sesi 2022 yang sama bahwa situs yang lebih baru dengan banyak konten harus memperkirakan sebagian besar kontennya akan bertahan di status ini untuk beberapa waktu.

Bagaimana cara mendiagnosisnya di Search Console?

Mulailah dari contoh sebelum mengubah apa pun. Urutan ini memakan waktu sekitar satu jam pada sebagian besar situs.

1. Buka daftarnya. Di Indeksasi > Halaman, klik "Ditemukan, saat ini tidak diindeks" lalu ekspor URL contoh (Search Console menampilkan hingga 1.000).
2. Urutkan berdasarkan jenis. Kelompokkan URL berdasarkan folder atau pola: produk, artikel, URL berparameter, paginasi, tag. Jika sebagian besar adalah URL yang memang tidak ingin Anda indeks, solusinya adalah mengurangi jumlahnya, bukan memaksanya masuk.
3. Periksa beberapa halaman penting. Alat Inspeksi URL memastikan bahwa halaman tidak pernah dirayapi dan menunjukkan apakah Google menemukannya di sitemap atau lewat halaman yang merujuknya.
4. Periksa sisi server. Buka Pengaturan > Statistik perayapan. Laporan Statistik perayapan menampilkan status host selama 90 hari (pengambilan robots.txt, resolusi DNS, konektivitas server), proporsi error 5XX dan timeout, serta rata-rata waktu respons. Waktu respons yang naik sementara jumlah permintaan turun menunjukkan masalah kapasitas.
5. Periksa tautan internal. Hitung berapa tautan internal yang mengarah ke halaman terdampak dan dari mana asalnya. Penganalisis tautan internal menampilkan halaman yatim dan halaman yang terkubur jauh di dalam struktur.
6. Baca log server Anda, jika ada. Log menunjukkan URL mana yang benar-benar diminta Googlebot setiap hari dan di mana ia membuang waktu, sering kali pada URL berparameter yang tidak Anda ketahui keberadaannya.

Bagaimana cara memperbaiki "Ditemukan, saat ini tidak diindeks"?

Sesuaikan perbaikan dengan penyebab yang ditemukan saat diagnosis. Tabel berikut merangkum kasus utamanya.

Perbaiki kapasitas server terlebih dahulu

Jika laporan Statistik perayapan menunjukkan error server atau waktu respons yang naik, tidak ada yang akan berhasil sebelum masalah ini diperbaiki, karena Google sendiri menurunkan laju perayapan untuk melindungi situs. Tanyakan batasan kepada penyedia hosting Anda, tambahkan caching halaman dan content delivery network, serta hapus skrip berat dari template.

Kurangi URL yang tidak Anda butuhkan

Setiap URL tak berguna yang diambil Googlebot adalah URL berguna yang tidak diambilnya. Hapus tautan internal ke kombinasi filter dan parameter pelacakan, gunakan pemeriksa robots.txt untuk menguji aturan Disallow sebelum memblokir pola, dan perbaiki halaman soft 404. Panduan Google jelas soal duplikat: hapus untuk memusatkan perayapan "pada konten unik, bukan pada URL unik".

Perkuat tautan internal ke halaman yang penting

Tautkan halaman terdampak dari halaman yang sering dirayapi Google: beranda, kategori utama, artikel populer. Gunakan tautan <a href> standar dengan teks jangkar yang deskriptif. Arsitektur situs yang jelas menjaga setiap halaman penting berjarak tiga atau empat klik dari beranda, yang meningkatkan prioritas perayapannya.

Bersihkan sitemap dan minta pengindeksan secukupnya

Kirimkan sitemap XML yang bersih dan gunakan tombol "Minta pengindeksan" hanya untuk beberapa URL strategis: tombol ini dibatasi kuota harian dan tidak menambah kapasitas perayapan keseluruhan situs Anda. Setelah penyebabnya diperbaiki, klik "Validasi perbaikan" di laporan. Google menyebut validasi "biasanya membutuhkan waktu hingga sekitar dua minggu, tetapi dalam beberapa kasus bisa jauh lebih lama", dan Anda sebaiknya tidak mengkliknya lagi sampai validasi berhasil atau gagal.

Jika halaman tetap tidak terlihat setelah langkah-langkah ini, penyebabnya mungkin ada di tempat lain: daftar periksa kami tentang alasan situs tidak muncul di Google membahas penalti, tag noindex, dan error canonical.

Mengapa ini penting untuk visibilitas di AI (GEO)?

Halaman yang tidak pernah dirayapi Googlebot tidak bisa berperingkat di Google, dan tidak bisa dijadikan sumber oleh Ikhtisar AI atau Mode AI Google, yang mengambil data dari indeks Google. Tumpukan perayapan menunda visibilitas Anda di hasil klasik sekaligus di jawaban AI.

ChatGPT, Perplexity, dan Claude mengandalkan perayap dan indeks mitra mereka sendiri, sehingga sebuah halaman bisa diambil oleh mereka sementara Google mengabaikannya, atau sebaliknya. Log server Anda menunjukkan bot AI mana mengunjungi halaman mana; entri glosarium kami tentang log perayap AI menjelaskan cara membacanya. Perbaikan dalam panduan ini (server cepat, URL tak berguna yang lebih sedikit, tautan internal yang jelas) membantu semua perayap, baik Googlebot maupun bot AI.

Sorank, produk kami, bekerja di sisi konten dari masalah ini. Dasbor GEO dan SEO-nya terhubung ke Search Console untuk memantau klik, impresi, dan posisi setelah setiap perbaikan, dan generator artikelnya menerbitkan lebih sedikit artikel tetapi lebih mendalam, dengan tautan internal otomatis ke halaman yang sudah ada, sehingga URL baru langsung tertaut sejak hari pertama terbit.

Intinya: "Ditemukan, saat ini tidak diindeks" berarti Google mengetahui URL Anda tetapi belum mengalokasikan waktu perayapan untuknya. Abaikan status ini untuk sejumlah kecil halaman baru, dan bertindaklah ketika status ini mencakup halaman penting: percepat server, kurangi URL tidak berguna, dan tautkan halaman yang penting. Untuk mengotomatiskan bagian konten dan tautan internal, lihat paket Sorank, mulai dari 49€ per bulan dengan tagihan tahunan, dengan uji coba gratis 3 hari.