Pelajari cara membaca setiap grafik laporan Crawl Stats di
Google Search Console, apa yang terlewat dibanding log server, dan cara memperbaiki isinya.

Di halaman ini
Singkatnya
Laporan Crawl Stats di Google Search Console menunjukkan cara Googlebot meminta URL Anda: berapa banyak permintaan yang dikirim, berapa byte yang diunduh, seberapa cepat server Anda merespons, dan kode status apa yang diterima. Baca dulu status host, lalu kode respons, lalu pembagian berdasarkan tujuan dan jenis file. Laporan ini adalah ringkasan, bukan log, jadi gunakan untuk menemukan masalah, lalu konfirmasi di log server Anda.
Ingin tahu lebih banyak? Tanyakan kepada
Kuis singkat
Siapa yang sebaiknya memperbaiki sisi teknis situs Anda?
Saran kami untuk Anda
Periksa sendiri dengan alat gratis Google
Search Console mendaftar halaman yang tidak bisa dibaca Google, dan PageSpeed Insights menguji kecepatan. Banyak masalah kecil bisa diperbaiki dari pengaturan pembuat situs Anda.
Saran kami untuk Anda
Developer web
Masalahnya ada di kode atau server: developer yang paham SEO adalah orang yang tepat. Berikan daftar error dari Search Console kepadanya.
Saran kami untuk Anda
Alat audit teknis
Situs Anda punya banyak halaman: crawler membaca semuanya seperti Google dan memberi daftar lengkap error yang perlu diperbaiki, halaman demi halaman.
Saran kami untuk Anda
Audit otomatis, lalu konten
Situs Anda berjalan baik tapi pengunjungnya sedikit: masalah teknis jarang menjadi penyebabnya. Sorank mengaudit situs, lalu menulis halaman yang mendatangkan trafik.
Crawl Stats adalah tampilan dari sisi Google atas aktivitas Googlebot di situs Anda. Laporan ini memberi tahu apa yang dilakukan Googlebot, bukan mengapa halaman Anda peringkat atau tidak. Google menggambarkan laporan ini ditujukan untuk pengguna tingkat lanjut, dan situs dengan kurang dari seribu halaman mungkin tidak memerlukannya sama sekali. Jika Anda mengelola situs brosur kecil, Anda bisa melewatinya sampai ada yang berubah.

Search Console adalah satu produk dengan banyak laporan. Halaman publiknya membahas perayapan dan pengindeksan secara umum: sitemap, Inspeksi URL, cakupan indeks. Crawl Stats berada di bawah Setelan, bukan di menu utama, itulah sebabnya banyak orang tidak pernah membukanya.
Laporan ini hanya tersedia untuk properti tingkat root: properti Domain, atau properti awalan URL yang dibangun dari root situs. Properti untuk subfolder, misalnya example.com/blog/, tidak mendapatkannya. Data hanya mencakup domain yang Anda pilih. Permintaan ke subdomain saudara tidak muncul di laporan subdomain lain, tetapi tampilan domain induk menyertakan semua subdomain turunannya. Baik http maupun https dihitung dalam tampilan yang sama.
Catatan
Jika situs Anda memakai subdomain bahasa seperti en.example.com dan de.example.com, buka masing-masing secara terpisah. Setiap subdomain punya datanya sendiri, dan subdomain bahasa Jerman yang rusak tidak tampil di tampilan bahasa Inggris.
Buka laporan saat salah satu kondisi ini terjadi: Anda menerbitkan banyak halaman, Anda mengubah struktur URL atau hosting, Googlebot tampak berkunjung lebih jarang dari sebelumnya, atau halaman ditemukan tetapi tidak pernah terindeks. Situs yang menambahkan beberapa artikel per bulan hanya akan belajar sedikit darinya selain kesalahan, dan kesalahan itu lebih baik ditemukan lewat pemindaian situs biasa.
Buka properti Anda, masuk ke Setelan, temukan Crawl stats, lalu klik Buka laporan. Di bagian atas ada tiga grafik: total permintaan perayapan, total ukuran unduhan, dan rata-rata waktu respons. Di bawahnya ada status host dan empat pembagian: respons perayapan, jenis file, tujuan perayapan, dan jenis Googlebot. Setiap pembagian adalah persentase berdasarkan jumlah permintaan.

Berikut apa yang dihitung setiap bagian dan cara membacanya.
| Bagian laporan | Yang dihitung | Cara membaca |
|---|---|---|
| Total permintaan perayapan | Semua permintaan untuk URL Anda, berhasil atau tidak, termasuk percobaan DNS, koneksi, dan loop pengalihan yang gagal. Percobaan yang diblokir robots.txt juga dihitung. | Penurunan atau lonjakan mendadak: periksa perubahan robots.txt dan struktur URL Anda pada tanggal yang sama. |
| Total ukuran unduhan | Byte yang diunduh selama perayapan. Sumber daya yang di-cache hanya dihitung pada permintaan pertama. | Byte naik sementara permintaan tetap sama berarti halaman Anda bertambah berat. |
| Rata-rata waktu respons | Waktu rata-rata untuk mengambil setiap sumber daya, dengan setiap sumber daya tertaut dihitung terpisah. | Baca tren, bukan satu nilai. Pantau setelah setiap penerapan. |
| Status host | Pengambilan robots.txt, resolusi DNS, dan konektivitas server. Hijau berarti tidak ada masalah berarti dalam 90 hari terakhir, kuning berarti masalah lebih dari seminggu lalu, merah berarti masalah dalam seminggu terakhir. | Setiap item kuning atau merah adalah masalah server atau jaringan sebelum menjadi masalah SEO. |
| Respons perayapan | Porsi respons per jenis, berdasarkan jumlah permintaan. | Pantau porsi respons buruk dari waktu ke waktu. Jumlah mentah kurang penting. |
| Jenis file | Porsi respons per jenis: HTML, gambar, JavaScript, CSS, PDF, JSON, video. Berdasarkan jumlah respons, bukan byte. | Menunjukkan ke mana Googlebot menghabiskan permintaannya. Porsi JavaScript dan CSS yang besar berarti halaman Anda bergantung pada banyak sumber daya. |
| Tujuan perayapan | Penemuan (URL yang belum pernah diambil Google) atau penyegaran (perayapan ulang URL yang sudah dikenal). | Lihat bagian tentang penemuan dan penyegaran di bawah. |
| Jenis Googlebot | Smartphone, Desktop, Gambar, Video, Pemuatan sumber daya halaman, AdsBot, StoreBot, lainnya. | Pada situs yang diindeks mobile-first, Smartphone seharusnya menjadi kelompok terbesar. Pergeseran mendadak perlu diperiksa. |
Setiap pembagian menghitung permintaan. URL yang diambil Googlebot 50 kali dihitung 50 kali. Jadi "40% respons adalah 301" hanya memberi tahu berapa banyak permintaan yang mengenai pengalihan, bukan berapa URL yang dialihkan. Untuk mengetahui URL mana yang terlibat, Anda butuh log. Contoh URL yang ditampilkan Google adalah sampel, dan Google menyatakan bahwa contoh itu tidak lengkap.
Halaman bantuan Google menyatakan bahwa laporan saat ini mencatat sebagian besar permintaan perayapan, tetapi beberapa permintaan mungkin tidak dihitung. Halaman itu juga menyebut bahwa permintaan gagal yang tidak pernah mencapai server Anda tidak akan muncul di log. Itu sebabnya laporan menampilkan kegagalan DNS dan koneksi yang tidak bisa dilihat log Anda, dan mengapa Anda sebaiknya membaca kedua sumber. Google tidak menyebut berapa lama grafik disimpan, jadi simpan salinan Anda sendiri setiap bulan, dengan tangkapan layar atau catatan singkat angka, jika Anda ingin riwayat.

Pembagian respons adalah bagian laporan yang paling sering mengarah ke perbaikan. Bacalah dengan urutan ini, dan berhenti pada langkah pertama yang menunjukkan masalah nyata.
Triase respons perayapan dalam lima langkah
Google mengelompokkan respons menjadi tiga grup. Pengelompokan ini adalah saringan pertama, bukan vonis atas setiap URL.
401 dihitung sebagai buruk dalam laporan, tetapi itu benar jika halaman berada di balik login yang seharusnya tetap tertutup. Putuskan URL demi URL. Laporan memberi tahu grup mana yang perlu dilihat, dan Andalah yang memutuskan seharusnya seperti apa setiap respons.
302 dihitung sebagai respons baik, jadi porsi pengalihan bisa tampak sehat padahal masih membuang perayapan. Dalam satu analisis situs besar, yang diterbitkan April 2021 di Search Engine Journal oleh Tomek Rudzki dari Onely, 16% permintaan menuju halaman yang dialihkan, dan penulisnya menyarankan memeriksa setiap lompatan pengalihan.
Begini rantai merugikan. Misalnya /blog/seo-tips dialihkan ke /blog/seo-tips-2025, yang dialihkan ke /blog/seo-tips-guide. Googlebot membutuhkan tiga permintaan untuk mencapai konten, dan setiap tautan internal yang masih menunjuk ke URL pertama mengulang biaya itu. Arahkan URL pertama langsung ke alamat akhir, dan perbarui tautan internal agar tidak lagi memakai jalur lama. Pemeriksa pengalihan gratis menelusuri rantai URL mana pun lompatan demi lompatan, sehingga Anda bisa melihat jalurnya sebelum memperbaiki. Jika Anda belum yakin apakah pengalihan harus permanen, baca panduan kami tentang pengalihan 301 vs 302: 301 menandakan pemindahan permanen, 302 menandakan sementara.
Tips
Urutkan URL pengalihan Anda berdasarkan seberapa sering Googlebot memintanya di log Anda. Perbaiki lebih dulu lima rantai yang paling sering diminta. Biasanya rantai inilah yang menyumbang sebagian besar porsi pengalihan.
Panduan Google untuk situs besar menyatakan bahwa ketika situs merespons dengan kesalahan server (5XX) atau sinyal pembatasan laju seperti HTTP 429, Google menurunkan batas laju perayapannya. Jadi lonjakan 5XX lebih mahal daripada URL rusak. Itu bisa memperlambat perayapan halaman sehat Anda juga. Anggaran perayapan situs sebagian bergantung pada seberapa baik server merespons, dan respons 5XX mengecilkannya.
Saat Anda melihat lonjakan 5XX, perhatikan kapan itu terjadi. Error pada jam yang sama setiap hari menunjuk ke tugas backup, impor terjadwal, atau puncak trafik. Error tepat setelah rilis menunjuk ke rilis itu. Error yang tersebar sepanjang hari menunjuk ke kapasitas. Setiap pola punya perbaikan berbeda, dan tidak ada yang diselesaikan dengan mengedit satu halaman.
Pembagian tujuan perayapan memisahkan permintaan menjadi penemuan, saat Google melihat URL untuk pertama kalinya, dan penyegaran, saat Google merayapi ulang URL yang sudah dikenalnya. Rasio di antara keduanya menunjukkan apa yang dihabiskan Google.
Satu situs besar, satu hari perayapan
Sumber: Tomek Rudzki (Onely), Search Engine Journal, April 2021. Satu situs dengan sekitar 1 juta halaman, dengan tumpukan URL "Discovered, currently not indexed".
Analisis yang sama membuat pemeriksaan kasar yang berguna. Dengan laju itu, ia memperkirakan tumpukan tersebut butuh sekitar setahun untuk dirayapi. Angka itu hasil hitungan satu penulis dari satu situs, dan tangkapan layarnya dari 2021, jadi jangan disalin. Metodenya tetap berfungsi pada data Anda sendiri: bagi jumlah URL yang menunggu ditemukan dengan jumlah perayapan penemuan per hari di laporan Anda. Jika hasilnya diukur dalam bulan, Anda punya masalah perayapan yang perlu diperbaiki sebelum menerbitkan lebih banyak.
Pembagian jenis file menghitung respons, bukan byte, sehingga menunjukkan berapa banyak permintaan ke setiap jenis sumber daya, bukan seberapa berat sumber daya itu. Pengalihan masuk ke "Other file type", dan permintaan gagal muncul sebagai "Unknown (Failed)". Porsi Unknown (Failed) yang terus naik adalah sinyal kegagalan, bukan jenis file, dan sebaiknya diperlakukan bersama respons buruk.
Ada tiga cara melihat apa yang dilakukan Googlebot di situs Anda: laporan Crawl Stats, log server Anda, dan alat Inspeksi URL di Search Console. Masing-masing menjawab pertanyaan berbeda dan punya titik buta yang ditutup oleh dua lainnya. Untuk masalah nyata, gunakan ketiganya.
Prinsip: ringkasan permintaan Googlebot untuk seluruh properti, dihitung oleh Google. Kapan dipakai: untuk tren, status host, dan gambaran awal sebuah masalah. Kelebihan: gratis, mencakup kegagalan yang tidak pernah sampai ke server Anda, dan menambahkan tujuan serta jenis Googlebot, yang tidak langsung diberikan log. Keterbatasan: ini ringkasan, beberapa permintaan mungkin tidak dihitung, dan contoh URL-nya adalah sampel. Contoh: porsi 5XX naik tiga hari berturut-turut di satu host. Laporan memberi tahu hari dan host, log memberi tahu URL dan jamnya.
Prinsip: catatan mentah yang ditulis server web Anda untuk setiap permintaan yang diterimanya. Kapan dipakai: untuk daftar URL yang tepat, kode status per jam, dan bukti di balik tren laporan. Kelebihan: lengkap untuk setiap permintaan yang sampai ke server, dengan URL dan kode status yang tepat. Keterbatasan: log tidak mencakup permintaan yang gagal sebelum mencapai server, user agent bisa dipalsukan, dan kebanyakan server memutar atau menghapus log setelah jangka waktu tertentu. Berikut perintah yang menghitung kode status permintaan yang dikenali sebagai Googlebot dalam log format combined:
grep "Googlebot" access.log | awk '{print $9}' | sort | uniq -c | sort -rn
Perintah itu mencocokkan string user agent, lalu menghitung kode status, yang merupakan kolom kesembilan dalam format combined log. Jika server Anda menulis format lain, ubah nomor kolomnya. Hasilnya adalah tabel jumlah per kode status, dengan yang paling sering di urutan pertama.
Peringatan
Siapa pun bisa mengirim permintaan yang mengaku sebagai Googlebot. Sebelum bertindak atas lonjakan yang mencurigakan, pastikan alamat IP-nya milik Google. Google mendokumentasikan pemeriksaan reverse DNS untuk ini, dan itu layak dilakukan sebelum Anda memblokir atau mengalihkan apa pun berdasarkan user agent.
Prinsip: pemeriksaan satu URL, menunjukkan kapan terakhir kali Google mengambilnya, apa yang diterimanya, dan apakah URL itu terindeks. Kapan dipakai: untuk mengonfirmasi satu perbaikan, misalnya apakah Google mengambil halaman yang sudah Anda perbaiki. Kelebihan: cepat, tepat, dan mudah dibaca untuk satu URL. Keterbatasan: satu URL setiap kali, sehingga tidak bisa menunjukkan pola di seluruh situs. Dalam analisis yang disebut di atas, alat ini menunjukkan bahwa halaman kategori utama tidak dirayapi selama tiga bulan, dan penulisnya memakainya sebagai pengganti log untuk halaman itu.
Laporan Crawl Stats lawan log server
| Metode | Pertanyaan yang dijawab | Cakupan | Titik buta |
|---|---|---|---|
| Laporan Crawl Stats | Apakah Googlebot sehat, dan bagaimana perilakunya secara keseluruhan? | Seluruh properti, diringkas | Contoh URL yang disampel, dan sebagian permintaan mungkin tidak dihitung |
| Log server | URL mana yang mendapat respons apa, dan kapan? | Setiap permintaan yang sampai ke server | Percobaan DNS dan koneksi yang gagal, serta user agent yang bisa dipalsukan |
| Inspeksi URL | Kapan terakhir kali Google mengambil halaman ini, dan apa yang diterimanya? | Satu URL | Tidak mengatakan apa pun tentang sisa situs |
Satu bulan data memberi sedikit informasi. Laporan menjadi berguna saat Anda membandingkannya dengan kondisi normal Anda, jadi simpan catatan singkat dan tinjau pada hari yang sama setiap bulan. Ini rutinitas yang berhasil untuk sebagian besar situs.
Tinjauan bulanan dalam enam langkah
Sinyal yang layak ditindaklanjuti bulan ini
Misalnya Anda memindahkan blog dari /old-blog/ ke /blog/ dengan pengalihan 301. Tepat setelah pindah, harapkan porsi pengalihan naik, karena Googlebot masih meminta jalur lama. Dalam beberapa minggu berikutnya, porsinya seharusnya turun saat Google mempelajari URL baru. Harapkan juga porsi penemuan naik, karena URL baru masih baru bagi Google. Jika porsi pengalihan tetap tinggi setelah beberapa minggu, cari rantai, tautan internal lama, atau pengalihan yang terlupa ditambahkan. Panduan kami tentang memperbaiki tautan rusak membahas sisi tautan dari pembersihan yang sama.
Sebagian besar kesalahan berasal dari membaca satu grafik sebagai vonis. Masing-masing dari lima kesalahan di bawah punya tanda jelas di laporan dan perbaikan yang bisa Anda periksa di log.
Apa itu: menganggap semakin banyak permintaan perayapan berarti SEO makin baik. Cara mengenalinya: permintaan naik tajam setelah rilis yang menambahkan opsi filter atau urutan, dan URL baru membawa parameter. Cara memperbaikinya: periksa porsi penemuan dan pola URL di log Anda. Perbaiki generator URL: berhenti menautkan URL berparameter, atau gunakan canonical dan blokir yang tidak punya nilai pencarian. Jumlah permintaan sampah yang lebih tinggi adalah biaya, bukan keuntungan.
Apa itu: melihat rata-rata dan melewatkan lonjakan yang disembunyikannya. Cara mengenalinya: rata-rata tampak datar, tetapi log Anda menunjukkan respons lambat pada jam yang sama setiap malam. Cara memperbaikinya: kelompokkan log per jam dan per URL, lalu bandingkan jam lambat dengan backup, impor, dan penerapan Anda. Perbaiki tugas yang lambat atau templat yang lambat, lalu periksa rata-rata lagi. Rata-rata adalah garis tren, dan garis tren tidak bisa memberi tahu di mana perlambatan dimulai.
Apa itu: menganggap situs sehat karena terbuka di browser Anda. Cara mengenalinya: status host menunjukkan kuning atau merah untuk robots.txt, DNS, atau konektivitas, sementara halaman Anda berfungsi bagi Anda. Googlebot mencapai situs Anda lewat jalur jaringan yang berbeda, dan firewall, aturan CDN, atau rekaman DNS bisa memblokirnya tanpa memengaruhi browser Anda. Cara memperbaikinya: pastikan file robots.txt Anda dimuat dengan respons 200 menggunakan pemeriksa robots.txt, lalu tinjau aturan firewall dan CDN untuk tanggal ketika status berubah menjadi merah.
Apa itu: perubahan robots.txt yang memangkas permintaan perayapan, diikuti laporan yang tampak lebih tenang. Cara mengenalinya: total permintaan turun tajam pada hari perubahan robots.txt. Cara memperbaikinya: penurunan bisa benar jika Anda memblokir jalur sampah, tetapi pastikan bagian penting situs Anda tetap dirayapi. Periksa log untuk bagian yang penting. Jika halaman yang Anda butuhkan terblokir, panduan kami tentang status diblokir oleh robots.txt menjelaskan cara menemukan aturannya dan apa yang harus diubah.
Apa itu: menganggap halaman yang sering dirayapi sebagai halaman yang terindeks. Cara mengenalinya: Googlebot meminta URL secara rutin, tetapi URL itu tidak muncul di hasil Google. Jumlah perayapan yang tinggi tidak membuktikan bahwa Google menyimpan halaman itu. Cara memperbaikinya: beralih dari laporan Crawl Stats ke laporan pengindeksan halaman dan periksa status URL. Panduan kami tentang dirayapi, saat ini tidak terindeks menjelaskan penyebabnya, dan panduan tentang pengindeksan Google membahas pemeriksaan secara berurutan.
| Kesalahan | Cara mengenalinya | Cara memperbaikinya |
|---|---|---|
| Total permintaan dibaca sebagai skor | Permintaan naik setelah parameter URL muncul | Hentikan pembuatan URL sampah, lalu hitung ulang |
| Hanya rata-rata waktu respons | Jam lambat tersembunyi di balik rata-rata yang datar | Kelompokkan log per jam, cocokkan jam lambat dengan tugas |
| Status host diabaikan | Kuning atau merah saat halaman terbuka di browser | Periksa robots.txt, DNS, firewall, dan aturan CDN |
| Penurunan perayapan dibaca sebagai kemajuan | Permintaan turun pada hari perubahan robots.txt | Konfirmasi bagian penting masih dirayapi |
| Perayapan tertukar dengan pengindeksan | Perayapan rutin, URL tidak ada di hasil | Periksa status pengindeksan URL |
Dasbor GEO / SEO Sorank menempatkan klik, impresi, CTR, dan posisi Search Console Anda di samping kunjungan yang dikirim asisten AI, dibaca dari Google Analytics. Dasbor ini tidak menampilkan permintaan Googlebot, jadi simpan laporan Crawl Stats untuk pekerjaan itu. Kedua alat menjawab pertanyaan berbeda: dasbor memberi tahu apa yang dikirim Google kepada Anda, Crawl Stats memberi tahu bagaimana Google mengunjungi server Anda.
Tips
Sebelum menghabiskan waktu di log untuk satu halaman, periksa apakah Google bisa mengindeksnya sama sekali dengan pemeriksa indeksabilitas Google gratis. Itu menjawab pertanyaan pertama dalam hitungan detik.
| Yang Anda lihat | Mulai dari | Lalu buka |
|---|---|---|
| Status host merah atau kuning | Pemeriksa robots.txt, lalu DNS dan status hosting Anda | Log server untuk tanggal yang sama |
| Porsi 5XX naik | Log Anda dikelompokkan per jam dan URL | Kapasitas server, atau templat yang gagal |
| Porsi pengalihan tinggi | Pemeriksa pengalihan pada URL teratas | Rantai pengalihan dan tautan internal lama |
| Banyak URL ditemukan, sedikit terindeks | Pemeriksa indeksabilitas pada sampel | Panduan analisis file log kami |
Laporan Crawl Stats adalah layar pertama yang baik. Ia memberi tahu jenis masalah yang harus dicurigai dan pada tanggal berapa. Perbaikannya hampir selalu ada di daftar URL, dan daftar itu ada di log Anda. Mulai dari laporan, lalu pergi ke URL-nya.
Buka properti Anda, masuk ke Setelan, pilih Crawl stats, lalu klik Buka laporan. Laporan hanya ada untuk properti Domain dan properti awalan URL tingkat root, jadi properti subfolder tidak akan menampilkannya.
Tidak dengan sendirinya. Totalnya menghitung setiap permintaan, termasuk yang gagal dan percobaan yang diblokir robots.txt, jadi ia menunjukkan seberapa sering Googlebot berkunjung, bukan seberapa sehat kunjungan itu. Baca bersama kode respons dan rata-rata waktu respons.
Tidak sendirian. Google menyatakan beberapa permintaan mungkin tidak dihitung dan contoh URL-nya tidak lengkap. Gunakan laporan untuk tren dan kategori kegagalan, dan log untuk URL yang tepat.
