Preferensi

Privasi penting bagi kami, sehingga Anda dapat menonaktifkan jenis penyimpanan tertentu yang tidak diperlukan untuk fungsi dasar situs web. Memblokir kategori tertentu dapat memengaruhi pengalaman Anda di situs web. Informasi lebih lanjut (Kebijakan Cookie)

Kesalahan Crawl: Cara Menemukan, Memprioritaskan, dan Memperbaiki Setiap Jenisnya

Temukan dan perbaiki kesalahan crawl: DNS, server, robots.txt, 404, soft 404, dan pengalihan. Reaksi Googlebot pada tiap error dan metode 6 langkah memperbaikinya.

Diterbitkan pada
18/11/2026
Diperbarui pada
18/11/2026
Waktu baca
19 menit
Kesalahan Crawl: Cara Menemukan, Memprioritaskan, dan Memperbaiki Setiap Jenisnya

Alat

Di halaman ini

Singkatnya

kesalahan crawl (crawl error) adalah permintaan mesin pencari atau crawler AI ke situs Anda yang gagal: server kehabisan waktu, DNS tidak menjawab, robots.txt tidak bisa diambil, pengalihan berputar tanpa akhir, atau halaman mengembalikan kode 4xx atau 5xx. Kesalahan tingkat situs (DNS, server, robots.txt) bisa menghentikan Google meng-crawl seluruh situs Anda, jadi perbaiki itu lebih dulu; kesalahan tingkat URL (404, soft 404, kesalahan pengalihan) hanya penting jika mengenai halaman yang ingin Anda indeks. Anda menemukannya di laporan Statistik Crawling dan Pengindeksan halaman di Search Console, memastikannya dengan crawler dan log server, lalu memperbaiki penyebabnya dan memvalidasi.

Ingin tahu lebih banyak? Tanyakan kepada

Kuis singkat

Siapa yang sebaiknya memperbaiki sisi teknis situs Anda?

Pertanyaan 1 dari 425%
Apa yang terjadi saat ini?

Apa itu kesalahan crawl, dan apa yang bukan

Crawler bekerja seperti pengunjung yang sangat sabar. Ia meminta sebuah URL ke server Anda, menunggu jawaban, membaca kode status dan kontennya, lalu beralih ke tautan yang ditemukannya. Kesalahan crawl adalah setiap langkah dalam rantai itu yang gagal. Pengunjung tidak pernah mendapat halaman yang bisa dipakai.

Definisi ini penting karena banyak laporan mencampur kesalahan crawl dengan keputusan pengindeksan. "Di-crawl, saat ini tidak diindeks" bukan kesalahan crawl: Google mengambil halaman dengan baik lalu memilih untuk tidak menyimpannya. "Dikecualikan oleh tag noindex" juga bukan: Anda sendiri yang menyuruh Google membuang halaman itu. Kesalahan crawl berarti proses pengambilannya sendiri yang bermasalah.

Dua kelompok: kesalahan situs dan kesalahan URL

Google membagi masalah menjadi dua tingkat, dan Anda juga sebaiknya begitu.

  • Kesalahan situs (Google menyebutnya masalah status host): kegagalan resolusi DNS, kegagalan konektivitas server, dan kegagalan pengambilan robots.txt. Semuanya memengaruhi setiap URL di host. Satu hari buruk di sini bisa membekukan crawl seluruh situs.
  • Kesalahan URL: satu halaman mengembalikan 404, 410, 401, 403, 5xx, soft 404, atau pengalihan yang rusak. Hanya memengaruhi URL tersebut, dan banyak yang tidak berbahaya.

Kesalahan situs vs kesalahan URL

Kesalahan situs (perbaiki hari ini)
  • DNS tidak bisa di-resolve
  • Server kehabisan waktu atau memutus koneksi
  • robots.txt mengembalikan 5xx atau 429
  • Terlihat di Statistik Crawling, Status host
  • Bisa menghentikan crawl semua halaman
Kesalahan URL (pilah)
  • 404, 410, soft 404
  • 401, 403, 4xx lainnya
  • Pengalihan berputar atau rantai terlalu panjang
  • Terlihat di laporan Pengindeksan halaman
  • Hanya penting di halaman yang ingin diindeks

Mengapa pembedaan ini mengubah prioritas Anda

Toko dengan 4000 URL produk lama yang mengembalikan 404 bisa saja sehat jika produk itu memang sudah dihapus permanen. Toko yang sama dengan file robots.txt yang mengembalikan 503 selama enam jam mengalami keadaan darurat nyata, walaupun semua halaman produk berfungsi. Mulailah dari host, lalu URL yang menghasilkan uang, baru sisanya.

Bagaimana Googlebot bereaksi terhadap setiap kegagalan

Untuk memperbaiki kesalahan crawl dengan baik, Anda perlu tahu apa yang sebenarnya dilakukan Google saat menemuinya. Dokumentasi Google tentang bagaimana kode status HTTP serta error jaringan dan DNS memengaruhi Google Penelusuran (Google Search Central) memberikan aturannya. Berikut artinya dalam praktik.

Kode status, satu kelompok demi satu

ResponsYang dilakukan GoogleApakah masalah?
2xxMeneruskan konten ke pengindeksan. Pengindeksan tidak dijamin.Tidak, kecuali halamannya kosong (soft 404).
301, 308Sinyal kuat bahwa target adalah URL baru.Tidak, jika satu lompatan ke 200.
302, 303, 307Sinyal lemah: URL asli cenderung tetap menjadi kanonis.Ya, jika perpindahannya permanen.
Rantai 3xxSecara default mengikuti hingga 10 lompatan, lalu menyerah.Ya: setiap lompatan membuang satu permintaan, dan putaran tidak pernah selesai.
404, 410, 4xx lain (kecuali 429)Menganggap konten tidak ada, menghapus URL terindeks seiring waktu, lebih jarang meng-crawl-nya.Hanya jika halaman seharusnya ada.
401, 403Sama seperti 4xx lain. Tidak memperlambat crawl.Ya, jika memblokir Googlebot dari halaman publik.
429Dianggap sinyal server kelebihan beban, seperti 5xx.Ya: crawl melambat.
5xxMemperlambat crawl sebanding dengan jumlah error. URL yang terus gagal dihapus dari indeks.Ya, selalu.

Dua detail sering menjebak tim. Pertama, 401 dan 403 tidak menurunkan laju crawl. Jika server Anda kewalahan, mengembalikan 403 ke Googlebot tidak membantu; Google meminta Anda mengembalikan 503 atau 429 untuk sementara. Kedua, 404 bukan penalti. Itu jawaban yang benar untuk halaman yang sudah tidak ada.

Kegagalan robots.txt adalah yang paling berbahaya

Dokumentasi laporan Statistik Crawling Google (Bantuan Search Console) menjelaskan aturannya. robots.txt yang menjawab 200 (meski kosong) atau 403, 404, atau 410 (tidak ada file) tidak masalah. robots.txt yang menjawab 429 atau 5xx adalah kegagalan, dan Google lalu bermain aman.

Yang dilakukan Google saat robots.txt terus gagal

12 jam pertamaGoogle berhenti meng-crawl situs sepenuhnya.
Hingga 30 hariGoogle memakai robots.txt terakhir yang berhasil diambil.
Setelah 30 hariPerilakunya bergantung pada apakah halaman beranda bisa diakses.

Sumber: Bantuan Google Search Console, laporan Statistik Crawling

Jadi aturan CDN atau firewall yang menyajikan 503 pada /robots.txt bisa membekukan seluruh situs selama setengah hari, walaupun semua URL lain baik-baik saja. Periksa file ini pertama kali di setiap penyelidikan kesalahan crawl. Panduan kami tentang status "Diblokir oleh robots.txt" membahas masalah sebaliknya, saat file berfungsi tetapi memblokir terlalu banyak.

Batas crawl Google yang perlu diingat

10lompatan pengalihan maksimum yang diikuti crawler Google
12 jamcrawl berhenti saat robots.txt mengembalikan 5xx atau 429
30 hariGoogle tetap memakai robots.txt terakhir yang baik
5%tingkat kegagalan DNS harian yang dijadikan contoh masalah host

Sumber: Google Search Central, kode status HTTP dan error jaringan; Bantuan Search Console, laporan Statistik Crawling

Ilustrasi crawler yang mengikuti tautan di sebuah situs, dengan beberapa halaman rusak sedang diperbaiki
Kesalahan crawl adalah titik di mana jalur crawler melalui situs Anda terputus.

Setiap jenis kesalahan crawl, dijelaskan beserta perbaikannya

Berikut daftar lengkap yang akan Anda temui di Search Console dan di crawler, dengan penyebab dan perbaikan masing-masing. Nama-namanya mengikuti dokumentasi laporan Pengindeksan halaman Google (Bantuan Search Console).

Kesalahan DNS

Google tidak bisa mengubah nama domain Anda menjadi alamat IP, atau server DNS tidak menjawab. Penyebab umum: domain kedaluwarsa, gangguan penyedia DNS, record yang salah setelah migrasi, atau konfigurasi DNSSEC yang keliru. Periksa dengan kueri dari luar jaringan Anda:

dig +short example.com A
dig +short www.example.com CNAME
dig example.com +dnssec

Perbaikan: koreksi record, turunkan TTL sebelum setiap migrasi, dan gunakan penyedia DNS dengan redundansi. Jika example.com dan www.example.com sama-sama ada, keduanya harus bisa di-resolve, walaupun salah satunya hanya mengalihkan.

Kesalahan konektivitas server dan 5xx

Server tidak menjawab tepat waktu, menutup koneksi, atau menjawab dengan 500, 502, 503, atau 504. Penyebab umum: database kelebihan beban, proses PHP atau Node yang mogok saat beban tinggi, timeout reverse proxy, pembaruan plugin, atau firewall yang membatasi bot. Lihat pola waktunya: error pada jam yang sama setiap malam sering menunjuk ke backup atau cron job.

Perbaikan: baca log error server pada waktu yang dilaporkan Google, naikkan timeout atau jumlah worker, cache halaman berat, dan pastikan perlindungan bot Anda meloloskan Googlebot yang terverifikasi. Untuk pemeliharaan terjadwal, kembalikan 503 dengan header Retry-After alih-alih halaman 200 bertuliskan "segera kembali":

HTTP/1.1 503 Service Unavailable
Retry-After: 3600

404 dan 410 (Tidak ditemukan)

Halamannya tidak ada. Itu wajar jika dihapus dengan sengaja dan tidak ada yang menautkannya. Menjadi masalah jika URL masih punya backlink, trafik, atau tautan internal, atau jika halaman seharusnya ada dan sebuah deploy merusaknya.

Perbaikan: jika konten pindah, tambahkan satu 301 ke padanan terdekat. Jika hilang permanen, biarkan 404 atau gunakan 410, lalu hapus tautan internal dan entri sitemap yang mengarah ke sana. Jangan pernah mengalihkan semua 404 ke beranda: Google cenderung menganggapnya soft 404.

Soft 404

Server berkata 200 tetapi halaman terlihat kosong atau bertuliskan "tidak ditemukan": kategori kosong, halaman pencarian tanpa hasil, produk habis tanpa konten. Google menghabiskan satu permintaan dan tidak mendapat apa pun. Kami membahasnya secara mendalam dalam panduan tentang error soft 404.

401, 403, dan 4xx lainnya

Googlebot tidak pernah mengirim kredensial, jadi 401 atau 403 di halaman publik berarti server atau lapisan keamanan Anda memblokirnya. Biang yang umum: kata sandi staging yang tertinggal di produksi, aturan WAF, blokir negara, atau perlindungan hotlink yang diterapkan ke HTML. Perbaiki aturannya, bukan gejalanya, dan uji dengan alat Inspeksi URL di Search Console.

Kesalahan pengalihan

Google melaporkan kesalahan pengalihan saat menemui putaran, rantai yang terlalu panjang, URL yang melebihi panjang maksimum, atau URL buruk atau kosong di dalam rantai. Kasus klasik setelah migrasi: http ke https, lalu ke www, lalu ke garis miring akhir, lalu ke path baru. Empat lompatan padahal cukup satu. Panduan lengkap kami tentang pengalihan SEO menjelaskan cara meringkasnya.

Tips

Tempel URL yang mencurigakan ke pemeriksa pengalihan Sorank yang gratis: alat ini mengikuti seluruh rantai, menunjukkan setiap lompatan dan kode statusnya, serta memberi tahu di mana putaran atau lompatan berlebih berada.

Timeout, respons terpotong, dan halaman terlalu besar

Sebagian error tidak pernah menampilkan kode status. Halaman mulai dimuat lalu berhenti, atau terlalu berat sehingga crawler hanya membaca sebagian. Crawler Google membaca jumlah byte terbatas per file, jadi halaman yang membengkak karena skrip inline atau gambar base64 bisa kehilangan konten di bagian bawah. Periksa template berat dengan pemeriksa ukuran halaman.

Semua cara menemukan kesalahan crawl, dibandingkan

Tidak ada satu alat pun yang menampilkan semua kesalahan crawl. Setiap metode melihat masalah dari sudut berbeda, dan audit yang serius menggabungkan setidaknya dua.

Metode 1: Search Console, laporan Statistik Crawling

Prinsip: Google menampilkan permintaan crawl-nya sendiri selama 90 hari terakhir, dikelompokkan menurut respons, jenis file, tujuan, dan jenis Googlebot, ditambah status host untuk DNS, server, dan robots.txt. Kapan digunakan: selalu, dan pertama kali, untuk kesalahan situs. Kelebihan: ini data langsung dari Google sendiri. Batasan: hanya untuk properti tingkat root, contohnya berupa sampel, dan Google menyebut situs di bawah seribu halaman jarang membutuhkannya. Contoh: lonjakan respons "waktu tunggu halaman habis" setiap Minggu pukul 03.00 yang bertepatan dengan backup database.

Halaman Bantuan Google Search Console untuk laporan Statistik Crawling
Dokumentasi Google tentang laporan Statistik Crawling, tempat status host untuk DNS, server, dan robots.txt dijelaskan.

Metode 2: Search Console, laporan Pengindeksan halaman dan Inspeksi URL

Prinsip: mencantumkan URL yang diketahui Google dan alasan tidak diindeks, seperti Error server (5xx), Error pengalihan, Tidak ditemukan (404), atau Soft 404. Kapan digunakan: untuk memilah kesalahan URL dan memvalidasi perbaikan. Kelebihan: terkait dengan halaman yang benar-benar dicoba Google. Batasan: laporan terlambat beberapa hari, daftar contoh dibatasi, dan mencampur kesalahan crawl dengan pilihan pengindeksan. Contoh: 300 URL di bawah "Error pengalihan" yang semuanya berawalan /blog/ lama yang sama.

Metode 3: Crawler desktop atau cloud

Prinsip: alat seperti Screaming Frog meng-crawl situs Anda seperti bot, mengikuti tautan dari beranda, dan mencatat setiap kode status, rantai pengalihan, dan tautan rusak. Kapan digunakan: sebelum dan sesudah migrasi, desain ulang, atau deploy besar, dan setiap bulan di situs besar. Kelebihan: langsung, lengkap untuk halaman yang ditautkan, menunjukkan di mana setiap tautan rusak berada. Batasan: tidak tahu apa yang benar-benar diminta Google, melewatkan halaman yatim, dan server Anda bisa memperlakukannya berbeda dari Googlebot. Panduan pengaturan Screaming Frog kami memandu audit lengkap.

Halaman produk Screaming Frog SEO Spider
Screaming Frog SEO Spider meng-crawl situs Anda seperti bot dan mencantumkan setiap kode status, rantai pengalihan, dan tautan rusak.

Metode 4: Analisis log server

Prinsip: log akses Anda mencatat setiap permintaan, termasuk dari Googlebot, Bingbot, GPTBot, ClaudeBot, dan PerplexityBot, dengan kode status dan waktu respons yang tepat. Kapan digunakan: di situs besar, setelah penurunan trafik yang tidak jelas, dan untuk melihat apa yang dikunjungi crawler AI. Kelebihan: permintaan nyata, kode nyata, tanpa sampel, semua bot. Batasan: butuh akses ke log dan sedikit skrip; Anda harus memverifikasi bahwa "Googlebot" benar-benar Google. Panduan kami tentang analisis file log untuk SEO berjalan langkah demi langkah. Sekilas pandang pertama:

# Permintaan Googlebot yang tidak mengembalikan 200, 301, atau 304, yang paling sering lebih dulu
grep -i "googlebot" access.log | awk '$9 !~ /^(200|301|304)$/ {print $9, $7}' | sort | uniq -c | sort -rn | head -50

Metode 5: Pemeriksaan URL tunggal

Prinsip: uji satu URL per kali dengan curl atau pemeriksa online gratis. Kapan digunakan: untuk memastikan perbaikan, atau memeriksa halaman penting setelah deploy. Kelebihan: instan dan presisi. Batasan: tidak bisa diskalakan. Gunakan user agent Googlebot untuk menangkap aturan yang memperlakukan bot secara berbeda:

curl -sI -A "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)" https://example.com/page/
curl -sIL https://example.com/old-page/ | grep -iE "^(HTTP|location)"
MetodeMelihat kesalahan situsMelihat kesalahan URLData Googlebot nyataMelihat crawler AIPaling cocok untuk
Laporan Statistik CrawlingYaSampelYaTidakKesehatan host
Laporan Pengindeksan halamanSebagianYaYaTidakPemilahan dan validasi
Crawler (Screaming Frog...)TidakYa, halaman yang ditautkanTidakTidakMenemukan tautan rusak di sumbernya
Log serverSebagianYaYaYaSitus besar, akar masalah
Pemeriksaan URL tunggalTidakSatu per satuTidakTidakMemastikan perbaikan

Error 5xx: baca kode status untuk menemukan lapisan yang gagal

Status 5xx berarti server tidak dapat menangani permintaan yang sebenarnya valid. Google memperlambat crawling sebagai respons, dan memperlambatnya lebih jauh ketika makin banyak URL Anda mengembalikan error. Google menyimpan URL yang sudah terindeks untuk sementara, tetapi menghapus URL yang terus-menerus mengembalikan error server. Lonjakan error yang singkat masih bisa dipulihkan, karena Google perlahan menaikkan laju crawling lagi begitu server Anda merespons dengan kode 2xx. Yang merusak indeks Anda adalah rangkaian error yang panjang.

Kode menunjukkan lapisan mana yang rusak

Setiap kode 5xx mengarah ke bagian berbeda dari tumpukan teknologi Anda. Tabel berikut memberi tahu tempat pertama untuk diperiksa pada masing-masing kode.

KodeBiasanya berartiPeriksa lebih dulu
500Aplikasi gagal saat memproses permintaanLog error aplikasi tepat pada waktu permintaan
502Proxy atau CDN menerima jawaban tidak valid dari aplikasi, sering kali karena aplikasi crash atau restartRestart dan uptime proses aplikasi
503Layanan kelebihan beban, dibatasi laju, atau sedang dalam pemeliharaanGrafik beban, riwayat deploy, dan jendela pemeliharaan
504Proxy berhenti menunggu aplikasiKueri database yang lambat dan pengaturan timeout proxy
429Pembatas laju menyatakan permintaan terlalu banyakAturan batas laju, dan apakah aturan itu berlaku untuk Googlebot yang terverifikasi

Cocokkan stempel waktu Google dengan log Anda

Crawl Stats menampilkan hari dan jam ketika Google menemui error (panduan Crawl Stats kami menjelaskan setiap grafik). Log server Anda menunjukkan apa yang terjadi pada momen persis itu. Saring permintaan Googlebot dan hitung respons 5xx per jam:

grep -i 'googlebot' access.log | awk '$9 ~ /^5/ {print substr($4,2,14), $9}' | sort | uniq -c

Setiap baris keluaran adalah satu jam, satu kode status, dan satu jumlah. Kumpulan error di jam yang sama setiap malam biasanya mengarah ke backup, cron job, atau impor terjadwal. Error yang tersebar sepanjang hari biasanya mengarah ke beban, jadi solusinya adalah kapasitas atau caching, bukan satu bug. Untuk metode yang lebih dalam, lihat panduan analisis log file kami.

Ukur dampak 5xx sebelum panik

Google mengurangi crawling sebanding dengan jumlah URL yang mengembalikan error. Templat rusak yang memengaruhi beberapa URL hanya memakan sedikit waktu crawling. Gangguan database yang merusak setiap halaman memakan banyak waktu, dan itulah yang harus diperbaiki lebih dulu.

429 memberi dampak yang sama dengan 5xx, karena Google membacanya sebagai server yang kelebihan beban. Jika pembatas laju atau proteksi bot Anda mengembalikan 429 ke Googlebot, Anda membayarnya dengan waktu crawling. Dokumentasi Google tidak menyebut header Retry-After. Tetap kirimkan header itu ke pengunjung manusia dan klien API, tetapi jangan berharap Googlebot menunggu selama waktu yang Anda tetapkan.

Error 4xx: cari tahu asalnya sebelum memperbaikinya

Status 4xx berarti server menolak permintaan karena sesuatu di sisi klien: URL tidak ada, akses dilarang, atau alamatnya salah format. Google memperlakukan semua 4xx kecuali 429 dengan cara yang sama. Google berhenti memakai konten di balik URL tersebut dan mengeluarkan URL dari indeks jika sebelumnya sudah terindeks. Sebelum menyentuh 4xx, cari tahu dari mana permintaannya berasal, karena perbaikannya sering ada di satu tempat: tautan, templat, atau aturan redirect.

Temukan sumber setiap 4xx di log Anda

Log akses mencatat referrer setiap permintaan, yang memberi tahu halaman mana yang mengirim pengunjung atau bot ke URL itu. Hitung respons 4xx menurut path dan menurut referrer:

awk '$9 ~ /^4/ {print $9, $7}' access.log | sort | uniq -c | sort -rn | head -20
awk '$9 ~ /^4/ {print $11, $7}' access.log | sort | uniq -c | sort -rn | head -20

Baca kolom referrer dengan cara berikut:

  • Referrer dari domain Anda sendiri berarti salah satu halaman Anda menautkan ke URL yang mati. Perbaiki tautan atau templat yang menghasilkannya. Ini perbaikan paling berharga, karena Anda yang mengendalikannya. Panduan kami tentang memperbaiki tautan rusak membahas metode lengkapnya.
  • Referrer dari situs lain berarti ada backlink yang mengarah ke URL yang sudah tidak berfungsi. Jika tautan itu layak dipertahankan, tambahkan satu 301 ke halaman aktif terdekat. Jika tidak, biarkan 404 tetap ada.
  • Referrer kosong, atau path yang tidak pernah Anda publikasikan, misalnya halaman login di situs statis, biasanya berarti bot atau pemindai mencoba alamat tersebut. Biarkan mengembalikan 404 dan jangan buang waktu untuknya.

Tangkap lonjakan 4xx tepat setelah setiap rilis

Rilis yang mengganti nama rute, mengubah slug, atau membangun ulang templat sering memunculkan gelombang 404 di hari yang sama. Ekspor jumlah respons 4xx per hari untuk seminggu sebelum deploy dan seminggu sesudahnya. Lonjakan yang terkonsentrasi di satu folder langsung menunjuk ke perubahan tersebut. Tambahkan redirect dari URL lama ke URL baru di rilis yang sama, bukan di tiket berikutnya. Untuk pemindahan penuh, lihat daftar periksa migrasi SEO kami.

Tips

Jangan mengganti halaman yang hilang dengan respons 200 yang menampilkan pesan singkat atau daftar kosong. Google dapat menganggapnya sebagai soft 404, yang memakan pengambilan penuh dan tidak memberi imbalan apa pun.

Langkah demi langkah: perbaiki kesalahan crawl dengan urutan yang benar

Inilah metode yang kami gunakan. Dimulai dari error yang bisa menghentikan seluruh situs hingga yang hanya membuang sedikit crawl.

Metode 6 langkah untuk kesalahan crawl

  1. Periksa status hostBuka Statistik Crawling dan lihat DNS, konektivitas server, dan robots.txt selama 90 hari terakhir.
  2. Ekspor dan kelompokkan kesalahan URLEkspor setiap alasan di Pengindeksan halaman dan kelompokkan URL menurut folder atau template.
  3. Urutkan berdasarkan nilaiSimpan URL yang punya trafik, backlink, tautan internal, atau entri sitemap.
  4. Perbaiki penyebab di tingkat templateSatu aturan, satu peta pengalihan, atau satu pengaturan server memperbaiki ratusan URL.
  5. Bersihkan sinyalPerbarui tautan internal dan sitemap agar mengarah ke URL akhir yang mengembalikan 200.
  6. Validasi dan pantauKlik Validasi perbaikan, lalu pantau Statistik Crawling dan log Anda setiap minggu.

Langkah 1: periksa host terlebih dahulu

Di Search Console, buka Setelan, lalu Statistik crawling, lalu Status host. Hijau berarti tidak ada masalah berarti dalam 90 hari. "Masalah terbaru" berarti ada masalah serius dalam seminggu terakhir: tinggalkan yang lain. Klik setiap kategori untuk melihat tingkat kegagalan per hari, lalu cocokkan hari buruk dengan riwayat hosting, CDN, dan deploy Anda.

Langkah 2: ekspor dan kelompokkan menurut pola

Buka Pengindeksan, lalu Halaman, dan ekspor setiap alasan error. Jangan perbaiki URL satu per satu. Masukkan ke spreadsheet dan ambil folder pertamanya:

=REGEXEXTRACT(A2, "^https?://[^/]+(/[^/]*/?)")

Tabel pivot pada kolom itu biasanya menunjukkan bahwa sebagian besar error berasal dari dua atau tiga template: kategori blog yang sudah dihentikan, parameter filter, feed produk lama.

Langkah 3: urutkan berdasarkan nilai bisnis

Untuk setiap pola, ajukan empat pertanyaan. Apakah mendapat klik organik? Apakah punya backlink? Apakah ditautkan secara internal? Apakah ada di sitemap? 404 tanpa satu pun dari keempatnya bisa menunggu selamanya. 404 dengan backlink butuh 301 hari ini. Pemeriksa tautan rusak gratis menunjukkan halaman Anda mana yang masih menautkan ke URL mati.

Langkah 4: perbaiki akar masalahnya

Perbaiki aturan, bukan URL. Peta pengalihan di konfigurasi server lebih baik daripada 400 pengalihan yang ditambahkan manual di plugin. Contohnya di nginx:

map $request_uri $new_uri {
    /old-blog/seo-tips/    /blog-geo-seo/seo-best-practices/;
    /old-blog/sitemaps/    /blog-geo-seo/how-to-create-a-sitemap/;
}
server {
    if ($new_uri) { return 301 $new_uri; }
}

Untuk 5xx, perbaiki kapasitas atau bug-nya. Untuk 401 dan 403, perbaiki aturan keamanannya. Untuk soft 404, tambahkan konten nyata atau kembalikan 404 yang sebenarnya.

Langkah 5: bersihkan tautan internal dan sitemap

Setiap tautan internal sebaiknya mengarah langsung ke URL yang mengembalikan 200. Setiap entri sitemap sebaiknya URL kanonis, dapat diindeks, dan mengembalikan 200. Sitemap penuh pengalihan dan 404 mengajari Google untuk kurang memercayainya. Panduan kami tentang cara membuat sitemap menjelaskan apa yang seharusnya ada di dalamnya.

Langkah 6: validasi dan pantau

Di laporan Pengindeksan halaman, buka alasan yang sudah diperbaiki dan klik Validasi perbaikan. Google memeriksa sampel dulu, lalu sisanya; biasanya memakan waktu hingga sekitar dua minggu, dan berhenti jika satu URL saja masih gagal. Jangan klik lagi selama prosesnya berjalan. Lalu tetapkan rutinitas mingguan: Statistik Crawling untuk host, log untuk lonjakan, crawl setelah setiap deploy.

Rantai pengalihan sebelum dan sesudah perbaikan

Sebelum
  • http://site.com/page
  • 301 ke https://site.com/page
  • 301 ke https://www.site.com/page
  • 301 ke https://www.site.com/page/
  • Tautan internal masih mengarah ke URL pertama
Sesudah
  • Satu 301 langsung ke https://www.site.com/page/
  • Tautan internal diperbarui ke URL akhir
  • Sitemap hanya mencantumkan URL akhir
  • Satu permintaan, bukan empat

Kesalahan umum, cara mendeteksi dan memperbaikinya

Kesalahan 1: mengalihkan setiap 404 ke beranda

Apa itu: plugin atau aturan yang mengirim setiap URL yang hilang ke /. Cara mendeteksi: banyak URL di "Soft 404" atau "Halaman dengan pengalihan" yang semuanya mendarat di beranda; crawler menampilkan ratusan 301 dengan target yang sama. Cara memperbaiki: alihkan hanya ke padanan yang dekat, dan biarkan sisanya mengembalikan 404 atau 410.

Kesalahan 2: memblokir Googlebot dengan alat keamanan

Apa itu: WAF, bot manager, atau rate limiter yang menyajikan 403, 429, atau halaman tantangan ke Google. Cara mendeteksi: 403 atau 429 di Statistik Crawling, sementara halaman terbuka normal di browser Anda; log menunjukkan blokir per IP. Cara memperbaiki: izinkan Googlebot terverifikasi melalui reverse DNS atau rentang IP yang dipublikasikan Google, alih-alih memercayai string user agent.

Kesalahan 3: robots.txt yang rapuh

Apa itu: robots.txt yang dibuat oleh aplikasi, sehingga gagal setiap kali aplikasi gagal, atau disajikan melalui aturan CDN yang meng-cache 5xx. Cara mendeteksi: kategori pengambilan robots.txt di Status host tidak hijau. Cara memperbaiki: sajikan sebagai file statis, di luar aplikasi, dan uji dengan pemeriksa robots.txt.

Kesalahan 4: halaman pemeliharaan yang mengembalikan 200

Apa itu: halaman "Kami akan segera kembali" yang disajikan dengan status 200 di setiap URL. Cara mendeteksi: setelah pemeliharaan, muncul gelombang soft 404 atau judul duplikat. Cara memperbaiki: kembalikan 503 dengan Retry-After selama pemeliharaan, dan buat singkat.

Kesalahan 5: memakai 403 untuk memperlambat Google

Apa itu: menjawab 403 ke Googlebot saat server kelebihan beban. Cara mendeteksi: lonjakan 403 yang bertepatan dengan lonjakan beban. Cara memperbaiki: Google menyatakan kode 4xx selain 429 tidak berpengaruh pada laju crawl. Kembalikan 503 atau 429 untuk waktu singkat, dan perbaiki kapasitasnya.

Kesalahan 6: memperbaiki error satu per satu

Apa itu: menelusuri daftar Search Console dan mengedit setiap URL. Cara mendeteksi: alasan yang sama muncul lagi setiap bulan. Cara memperbaiki: kelompokkan menurut pola, perbaiki template atau aturannya, lalu validasi sekali.

Kesalahan 7: panik karena 404 yang tidak berbahaya

Apa itu: menghabiskan berhari-hari untuk 404 dari URL spam atau halaman yang lama dihapus tanpa tautan. Cara mendeteksi: URL-nya tidak punya klik, backlink, maupun tautan internal. Cara memperbaiki: biarkan saja. Google menyatakan 404 untuk halaman yang dihapus belum tentu masalah.

Peringatan

Jangan pernah memblokir URL di robots.txt untuk "menyembunyikan" kesalahan crawl. Google tidak lagi bisa melihat 404 atau pengalihannya, URL bisa tetap terindeks, dan Anda kehilangan sinyal yang ingin Anda kirim.

Kesalahan crawl dan crawl budget

Di situs dengan beberapa ratus halaman, Google punya waktu untuk semuanya, dan kesalahan crawl terutama penting bagi halaman yang dirusaknya. Di situs besar (toko dengan filter, marketplace, situs berita), setiap permintaan yang gagal atau terbuang mengambil waktu dari halaman Anda yang sebenarnya. Itulah gagasan di balik crawl budget.

Bagaimana error menggerus kapasitas crawl

5xx dan 429 membuat Google melambat di seluruh host, jadi beberapa template rusak bisa menunda crawl halaman produk baru Anda. Rantai pengalihan memakan satu permintaan per lompatan. Soft 404 memakan satu pengambilan penuh dan tidak memberi apa pun. Perbaiki ketiganya dan budget yang sama mencakup lebih banyak halaman berguna.

Hubungannya dengan "Ditemukan, saat ini tidak diindeks"

Ketika Google menemukan URL tetapi menunda crawl-nya, penyebabnya sering server yang dianggapnya rapuh. Jika Anda melihat jumlah "Ditemukan, saat ini tidak diindeks" yang terus naik bersamaan dengan error server di Statistik Crawling, perbaiki server terlebih dahulu. Kedua laporan menceritakan kisah yang sama.

Kesalahan crawl untuk crawler AI

Googlebot bukan lagi satu-satunya pengunjung yang penting. GPTBot, OAI-SearchBot, ClaudeBot, dan PerplexityBot mengambil halaman untuk melatih model atau menjawab pertanyaan secara real time. Mereka mengakses server yang sama dan mengalami error yang sama, dengan satu perbedaan: tidak ada Search Console untuk mereka.

Apa yang berubah dengan bot AI

Sebagian besar crawler AI tidak menjalankan JavaScript, jadi halaman yang hanya membangun kontennya di browser bisa terlihat kosong bagi mereka, semacam soft 404 yang tidak akan pernah Anda lihat di laporan Google. Banyak yang diblokir secara default oleh layanan perlindungan bot, sering dengan 403. Dan karena mereka mengambil halaman sesuai permintaan saat pengguna bertanya, timeout pada saat itu berarti jawabannya mengutip pihak lain. Panduan kami tentang SEO JavaScript membahas rendering untuk mesin pencari maupun crawler AI.

Cara memantaunya

Log server Anda adalah satu-satunya sumber yang andal. Filter menurut user agent dan lihat kode statusnya:

grep -iE "GPTBot|OAI-SearchBot|ChatGPT-User|ClaudeBot|PerplexityBot" access.log | awk '{print $9}' | sort | uniq -c | sort -rn

Jika bot AI mendapat 403 yang tidak Anda inginkan, perbaiki aturannya. Lalu periksa apakah mereka benar-benar mengutip Anda: pelacakan sebutan di AI dari Sorank memantau seberapa sering ChatGPT, Gemini, Claude, dan Perplexity menyebut merek Anda, sehingga Anda bisa melihat apakah perbaikan crawl mengubah sesuatu.

Daftar periksa kesehatan crawl Anda

Jalankan daftar ini setelah setiap migrasi, desain ulang, atau deploy besar, dan sebulan sekali di situs besar.

Daftar periksa kesehatan crawl

  • Status host hijau untuk DNS, konektivitas server, dan robots.txt
  • robots.txt disajikan sebagai file statis dan mengembalikan 200
  • Tidak ada lonjakan 5xx atau 429 di Statistik Crawling atau log
  • Googlebot terverifikasi dan bot AI yang diinginkan tidak diblokir firewall
  • Setiap pengalihan satu lompatan, 301 atau 308, ke halaman 200
  • Tautan internal mengarah ke URL akhir yang mengembalikan 200
  • Sitemap hanya mencantumkan URL kanonis, dapat diindeks, dan 200
  • 404 dengan backlink atau trafik dialihkan ke padanan terdekat
  • Halaman kosong diperbaiki atau mengembalikan 404 yang sebenarnya
  • Pemeliharaan mengembalikan 503 dengan Retry-After
  • Validasi perbaikan dimulai untuk setiap alasan yang sudah diperbaiki

Yang perlu dilakukan hari ini

Buka Statistik Crawling dan periksa tiga baris status host. Lalu jalankan pemeriksa kemampuan indeks gratis pada lima halaman paling berharga Anda. Jika keduanya bersih, ekspor error Pengindeksan halaman dan kelompokkan menurut folder: sekarang Anda punya daftar perbaikan yang pendek dan berurutan, bukan laporan yang menakutkan.

Setelah crawl bersih, batas berikutnya adalah kontennya sendiri. Optimasi konten dari Sorank menulis ulang dan memperbarui halaman Anda yang ada secara autopilot, sehingga halaman yang kini bisa dijangkau Google layak diindeks dan dikutip. Untuk halaman yang di-crawl Google tetapi ditinggalkan, baca panduan kami tentang "Di-crawl, saat ini tidak diindeks".

Pertanyaan yang sering diajukan

Apa itu kesalahan crawl dalam SEO?

Kesalahan crawl adalah permintaan mesin pencari atau crawler AI yang gagal: DNS tidak bisa di-resolve, server kehabisan waktu atau mengembalikan 5xx, robots.txt tidak bisa diambil, pengalihan berputar, atau halaman mengembalikan kode 4xx. Kesalahan tingkat situs bisa menghentikan crawl seluruh situs, sedangkan kesalahan URL hanya memengaruhi halaman terkait.

Apakah error 404 buruk untuk SEO?

Tidak dengan sendirinya. Google menyatakan 404 untuk halaman yang dihapus tanpa pengganti belum tentu masalah. Menjadi masalah jika URL masih punya backlink, trafik, atau tautan internal; dalam hal itu, satu pengalihan 301 ke padanan terdekat adalah perbaikan yang tepat.

Berapa lama Google melihat bahwa kesalahan crawl sudah diperbaiki?

Setelah Anda mengklik Validasi perbaikan di laporan Pengindeksan halaman Search Console, validasi biasanya memakan waktu hingga sekitar dua minggu. Google memeriksa sampel URL lebih dulu, lalu sisanya, dan berhenti jika satu URL yang terdampak masih gagal.

Dapatkan rencana konten 30 hari Anda secara gratis

Kami menganalisis pesaing, website, dan visibilitas AI Anda untuk membuat rencana konten yang disesuaikan secara gratis.

Tool SEO gratis kami

Lihat semua tool gratis kami

Dapatkan rencana konten 30 hari Anda secara gratis

Kami menganalisis pesaing, website, dan visibilitas AI Anda untuk membuat rencana konten yang disesuaikan secara gratis.

Pria berambut gelap dan berjenggot mengenakan kemeja cokelat muda berbicara di depan mikrofon pada set rekaman podcast.Potret pria berambut pendek gelap mengenakan kemeja putih dan jaket gelap, menatap langsung ke kamera dengan ekspresi netral.Pria berambut pendek gelap, berjenggot, dan berkacamata bening mengenakan kaus hitam dengan logo lingkaran putih, berdiri di depan dinding batu.Celio fabianoWanita muda tersenyum berambut cokelat panjang mengenakan atasan merah dan kalung, di luar ruangan dengan latar pepohonan.Foto profil Xavier Breull, pelanggan Sorank
Google
Ikon bintang kuning solid berujung lima pada latar transparan.Ikon bintang kuning solid berujung lima pada latar transparan.Ikon bintang kuning solid berujung lima pada latar transparan.Ikon bintang kuning solid berujung lima pada latar transparan.Ikon bintang kuning solid berujung lima pada latar transparan.
5/5
+5,000
pengguna

Testimoni dari para pendiri yang ambisius

Dari 0 menjadi 10000 pengunjung dalam 5 bulan

Celio Fabianomonrobotlavevitre.frGoogleE-commerce

Dari 0 menjadi 5000 kunjungan dalam 8 bulan

Thibault BMsorank.comGoogleSoftware

0 menjadi 1104 klik dalam 4 bulan

Dominiqueflight-sensations-idf.comGoogleHiburan dan penerbangan

0 menjadi 163 klik dalam 6 bulan

Coworking Pariscoworking-paris.frGoogleOffice broker

x92 klik dalam 7 bulan

Guide Zanzibarguidezanzibar.comGooglePerjalanan