Analisis Log Server untuk SEO: Baca Log Server dan Perbaiki Pemborosan Crawl

Kuis singkat

Apakah SEO cocok untuk Anda, dan bagaimana memulainya?

Pertanyaan 1 dari 425%

Apakah orang mencari apa yang Anda jual di Google?

Ya, saya rasa begituTidak, ini hal baru atau sangat khususSaya tidak tahu

Apa yang dicatat log server, dan mengapa lebih unggul dari data Anda yang lain

Setiap kali sesuatu meminta file dari server Anda, server menulis satu baris ke log akses. Sebagian besar server menggunakan format yang mirip dengan format Apache "combined". Permintaan Googlebot terlihat seperti ini:

66.249.66.1 - - [13/Nov/2026:08:14:22 +0100] "GET /products/red-running-shoes HTTP/1.1" 200 18342 "-" "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Googlebot/2.1; +http://www.google.com/bot.html)"

Bacalah dari kiri ke kanan: alamat IP, stempel waktu, metode HTTP dan URL, kode status (di sini 200), jumlah byte yang dikirim, referrer, dan user agent. Semua permintaan tercatat di sana, termasuk yang tidak pernah muncul sebagai tampilan halaman di alat analitik Anda: gambar, file CSS, pengalihan, dan error 404.

Setiap sumber data lain Anda hanya melihat sebagian dari gambaran ini. Laporan Crawl Stats di Search Console bersifat agregat dan hanya mencakup crawler Google. Alat analitik hanya merekam pengunjung yang browsernya menjalankan JavaScript Anda. Crawler situs seperti Screaming Frog menunjukkan apa yang bisa dijangkau dengan mengikuti tautan Anda, dan itu tidak sama dengan apa yang dipilih Google untuk diminta. Hanya log server yang mencatat apa yang benar-benar terjadi.

Mengapa analisis log penting: crawl budget dengan bahasa sederhana

Crawl budget adalah kumpulan URL yang bisa dan ingin di-crawl oleh Google di situs Anda. Google menjelaskannya dengan dua faktor. Yang pertama adalah batas kapasitas crawl: berapa banyak koneksi yang bisa dibuka crawler Google ke server Anda tanpa membebaninya. Batas ini naik ketika situs Anda tetap sehat dan turun ketika respons melambat atau mengembalikan error 5xx atau 429. Yang kedua adalah permintaan crawl, yang bergantung pada ukuran situs Anda, seberapa sering kontennya berubah, kualitasnya, dan seberapa populer halamannya.

Google menyajikan topik ini sebagai panduan lanjutan untuk situs besar. Ambang batas kasarnya adalah situs dengan 1 juta atau lebih halaman unik yang kontennya berubah sekitar seminggu sekali, dan situs dengan 10000 atau lebih halaman unik yang kontennya berubah setiap hari. Situs yang banyak URL-nya berada di status "Ditemukan, belum diindeks" juga masuk cakupan. Situs yang lebih kecil biasanya cukup mengandalkan sitemap yang mutakhir dan pemeriksaan rutin pada laporan Page Indexing. Itu tidak membuat log tidak berguna bagi mereka. Ketika ada masalah pada crawl, log adalah cara tercepat untuk melihat dengan tepat di mana masalahnya.

Jika situs Anda berada dalam rentang itu, pertanyaannya bukan lagi apakah harus membaca log, tetapi seberapa sering. Audit sekali jalan menunjukkan pemborosan hari ini. Ekspor bulanan menunjukkan apakah perbaikan Anda mengubah apa yang dihabiskan Googlebot waktunya. Untuk latar belakang istilahnya, entri glosarium crawl budget membahas dasar-dasarnya, dan panduan Discovered, currently not indexed menjelaskan status yang biasanya memicu tinjauan semacam ini.

Metode, langkah demi langkah

Alur kerja di bawah ini berfungsi dengan server dan alat apa pun. Bagian berikutnya menjelaskan setiap langkah secara rinci dan memberikan perintah yang bisa Anda jalankan pada file log mentah hari ini.

Ambil log dari lapisan yang tepat

Minta developer atau penyedia hosting Anda untuk log akses mentah dari web server (Apache, Nginx, atau IIS). Periksa tiga hal sebelum mulai: format log, zona waktu, dan masa retensi. Bergantung pada pengaturan Anda, log lama bisa dihapus setelah beberapa hari atau minggu, jadi minta ekspornya sekarang, jangan nanti.

Lapisan ini lebih penting daripada yang dibayangkan banyak orang. Jika CDN menjawab permintaan dari cache-nya, server asal Anda tidak pernah melihatnya. Googlebot bisa meng-crawl URL yang tidak pernah muncul di log asal Anda, sehingga ekspor dari server asal saja akan meremehkan aktivitas crawl pada konten yang di-cache. Ekspor juga log CDN, dan bandingkan kedua sumber untuk beberapa URL sebelum Anda mempercayai salah satu totalnya.

Filter dan hitung Googlebot dengan beberapa perintah

Pada log format combined, kode status ada di kolom ke-9 dan path URL di kolom ke-7. Dua kolom itu menjawab sebagian besar pertanyaan awal. Perintah ini menghitung permintaan Googlebot berdasarkan kode status:

grep "Googlebot" access.log | awk '{print $9}' | sort | uniq -c | sort -rn

Yang ini menampilkan 20 path yang paling sering diminta Googlebot, dengan query string dihapus agar varian filter ter-grup bersama:

grep "Googlebot" access.log | awk '{print $7}' | cut -d '?' -f1 | sort | uniq -c | sort -rn | head -20

Perintah pertama membaca teks user agent, yang bisa dipalsukan siapa saja. Perlakukan hasilnya sebagai daftar kandidat sampai Anda menyelesaikan bagian berikutnya. Selain itu, jika log Anda memakai format kustom, nomor kolomnya berubah, jadi periksa satu baris dengan mata sebelum Anda mempercayai kolom-kolomnya.

Verifikasi Googlebot seperti yang dijelaskan Google

Metode Google sendiri untuk memastikan pengunjung adalah Googlebot menggunakan DNS. Jalankan reverse DNS lookup pada alamat IP dari log Anda, periksa apakah hostname-nya berakhiran googlebot.com, google.com, atau googleusercontent.com, lalu jalankan forward lookup pada hostname tersebut dan periksa apakah hasilnya mengembalikan IP asli. Dokumentasi Google memakai contoh ini, di mana 66.249.66.1 di-resolve secara terbalik menjadi crawl-66-249-66-1.googlebot.com:

host 66.249.66.1

Pemeriksaan maju adalah perintah kedua, dan harus mengembalikan IP yang sama:

host crawl-66-249-66-1.googlebot.com

Jika Anda memproses jutaan baris, lookup DNS menjadi lambat. Google juga menerbitkan file JSON berisi rentang IP crawler-nya, termasuk common-crawlers.json untuk Googlebot. Mencocokkan dengan rentang tersebut lebih cepat, dan panduan verifikasi resmi menjelaskan kedua metode di panduan Google tentang memverifikasi Googlebot.

Kelompokkan, ukur, dan baca hasilnya

Jumlah mentah per URL sulit ditindaklanjuti. Kelompokkan URL berdasarkan template terlebih dahulu, karena sebuah perbaikan biasanya berlaku untuk template, bukan satu halaman. Lalu ukur empat hal untuk setiap grup. Ukur berapa hit Googlebot yang didapatnya dibandingkan dengan kepentingannya bagi bisnis Anda. Ukur komposisi kode status. Ukur seberapa cepat halaman baru mendapat hit pertamanya setelah publikasi. Ukur apakah hit terkonsentrasi pada halaman yang ingin Anda peringkatkan.

Baca hasilnya sebagai pola, bukan sebagai satu angka. Jika sebagian besar hit Googlebot jatuh pada URL filter dan hanya sedikit pada halaman produk, crawl budget Anda bocor, dan masalahnya kemungkinan besar ada pada tautan internal atau penanganan parameter, bukan pada halaman produk itu sendiri. Bagian berikutnya mencantumkan sinyal yang perlu dicari.

Tujuh sinyal tersembunyi di dalam log

Setelah baris Googlebot terverifikasi dan dikelompokkan, tujuh sinyal menjelaskan sebagian besar masalah crawl. Tabel memberikan pola yang harus dicari dan perbaikan yang biasanya dilakukan. Setiap perbaikan adalah perubahan pada situs, jadi konfirmasikan di ekspor berikutnya.

Sinyal	Yang ditunjukkan log	Yang harus dilakukan
Pemborosan crawl	Hit Googlebot pada filter, urutan sortir, pencarian internal, dan URL sesi	Konsolidasikan dengan canonical, hapus tautan internal ke URL tersebut, dan blokir varian yang tidak berguna di robots.txt jika tidak bisa dikonsolidasikan
Pengalihan	Hit pada respons 301 atau 302, dan rantai dua hop atau lebih	Tautkan langsung ke URL akhir. Panduan 301 vs 302 membantu Anda memilih jenis pengalihan yang tepat
Error	Hit 404 atau 410 yang berulang, dan lonjakan respons 5xx	Pulihkan atau alihkan halaman yang masih penting, dan perbaiki error server, karena respons 5xx mengurangi seberapa banyak Google meng-crawl
Crawl yang hilang	URL penting yang sama sekali tidak mendapat hit Googlebot dalam rentang waktu tersebut	Periksa tautan internal, entri sitemap, dan aturan robots.txt yang mungkin menjauhkan crawler dari URL tersebut
Duplikat	Konten yang sama mendapat hit di beberapa URL, dengan trailing slash, huruf kapital, atau parameter	Pilih satu URL kanonik dan tautkan ke sana di mana pun
Waktu hingga crawl pertama	Jeda antara publikasi dan hit Googlebot pertama pada halaman baru	Tautkan halaman baru dari halaman yang sudah sering di-crawl, dan jaga sitemap Anda tetap bersih
Waktu respons	Respons lambat pada template yang paling sering diakses Googlebot	Percepat template tersebut terlebih dahulu, karena Google mengatakan respons yang lambat membuatnya meng-crawl lebih sedikit

Baris "crawl yang hilang" adalah yang sering dilewatkan orang, dan sering kali itulah yang paling mahal. Halaman yang tidak pernah Anda lihat di log bisa jadi tidak peringkat untuk apa pun, meskipun kontennya sangat bagus. Jika sebuah URL ada di sitemap Anda tetapi tidak pernah muncul di log, halaman itu kemungkinan hanya bisa dijangkau melalui jalur yang tidak diikuti crawler. Panduan Crawled, currently not indexed membahas sisi lain dari situasi ini, ketika Googlebot memang mengunjungi tetapi tetap tidak mengindeks.

Tiga cara menjalankan analisis, dibandingkan

Anda bisa menjalankan analisis log dengan skrip, aplikasi desktop, atau platform. Masing-masing cocok untuk volume dan tim yang berbeda. Pilihan yang tepat bergantung lebih pada seberapa sering Anda membutuhkan jawaban dan siapa yang akan membacanya, dibanding ukuran situs Anda.

Command line: grep, awk, dan Python

Prinsip: Anda mengurai file mentah dengan skrip dan menulis hasilnya ke file atau spreadsheet. Kapan dipakai: pemeriksaan sekali jalan, situs kecil, atau developer yang ingin kontrol penuh. Kelebihan: gratis, Anda melihat setiap baris, dan Anda bisa mengotomatisasinya dengan job terjadwal. Keterbatasan: butuh waktu untuk menulis dan memelihara, kecepatannya hanya sebatas mesin Anda, tidak ada grafik, dan Anda harus memverifikasi bot sendiri.

Contoh: perintah di bagian metode, dijalankan sekali sebulan pada ekspor yang sama, memberi Anda komposisi kode status dan path teratas untuk Googlebot. Skrip Python singkat bisa melakukan hal yang sama dan menambahkan pemeriksaan DNS, yang lebih lambat tetapi lebih akurat.

Alat desktop: Screaming Frog Log File Analyser

Prinsip: Anda mengimpor log mentah ke dalam proyek desktop, dan alat itu mengelompokkan bot, memeriksa identitasnya, dan membuat grafik. Kapan dipakai: konsultan atau analis internal yang bekerja pada situs dengan puluhan ribu URL. Kelebihan: membaca log Apache, IIS, dan Nginx dalam format W3C Extended, memverifikasi bot mesin pencari, dan menandai halaman yang besar atau lambat. Keterbatasan: versi gratisnya dibatasi, dan jumlah data yang bisa dimuat bergantung pada hard drive Anda.

Baca halaman Log File Analyser dari Screaming Frog sebelum membeli. Untuk panduan lengkap crawler yang berpasangan dengan alat ini, lihat panduan Screaming Frog SEO Spider kami. Log analyser melakukan satu tugas yang tidak bisa dilakukan crawler: menunjukkan apa yang diminta bot di dunia nyata, bukan apa yang disarankan tautan Anda.

Platform: pemantauan log berkelanjutan

Prinsip: platform menerima log Anda secara terjadwal, sering kali dari CDN atau server, dan menggabungkannya dengan crawl situs Anda serta data indeks. Kapan dipakai: situs ecommerce besar atau tim enterprise yang memantau crawl setiap minggu di beberapa pasar. Kelebihan: skalanya mencakup log yang sangat besar, menyimpan riwayat, dan memungkinkan beberapa tim berbagi dashboard. Keterbatasan: biayanya lebih tinggi, butuh waktu untuk onboarding, dan lock-in-nya nyata, jadi periksa bagaimana Anda bisa mengekspor data sebelum berkomitmen. Vendor di kategori ini termasuk Oncrawl dan Botify, dan layak menanyakan kepada masing-masing bagaimana mereka memverifikasi bot.

Kriteria	Command line	Alat desktop	Platform
Biaya	Gratis	Gratis hingga 1000 event log, £99 per tahun untuk lisensi penuh	Langganan, harga bergantung pada volume
Penyiapan	Anda menulis dan memelihara skrip	Instal, impor, mulai	Konektor dan onboarding
Volume	Dibatasi oleh mesin Anda	Dibatasi oleh hard drive dan lisensi	Dibangun untuk log yang sangat besar
Verifikasi bot	Manual, dengan pemeriksaan DNS atau rentang IP	Sudah tersedia	Tanyakan ke vendor
Paling cocok untuk	Pemeriksaan sekali jalan dan situs kecil	Konsultan dan situs menengah	Tim enterprise dan ecommerce dengan pemantauan mingguan

Laporan Crawl Stats Google: berguna, tapi tidak cukup

Sebelum Anda mengekspor satu log pun, buka laporan Crawl Stats di Search Console. Laporan ini menampilkan total permintaan crawl, total ukuran unduhan, rata-rata waktu respons, respons yang dikelompokkan menurut jenis, jenis file, tujuan crawl, dan jenis Googlebot yang melakukan setiap permintaan. Untuk pemeriksaan tren, ini adalah tampilan tercepat yang Anda miliki, dan tutorial Google Search Console kami menjelaskan di mana menemukannya.

Keterbatasannya menjelaskan mengapa log tetap penting. Laporan ini hanya tersedia untuk properti domain dan properti awalan URL level akar. Laporan ini hanya mencakup crawler Google, sehingga GPTBot, ClaudeBot, dan bot lain tidak ada di dalamnya. Laporan ini mengelompokkan data alih-alih mendaftar setiap URL, sehingga bisa memberi tahu Anda bahwa permintaan crawl turun, tetapi tidak memberi tahu template mana yang kehilangan permintaan tersebut. Gunakan laporan ini untuk melihat bahwa ada sesuatu yang berubah, lalu gunakan log untuk mengetahui apa itu.

Halaman bantuan Crawl Stats dari Google menjelaskan setiap pengelompokan. Ketika grafik dan ekspor log Anda tidak cocok, jangan percaya keduanya sampai Anda memeriksa rentang waktu dan langkah verifikasinya. Sebagian besar ketidakcocokan itu berasal dari rentang waktu yang berbeda, CDN yang menjawab dari cache, atau jumlah bot yang menyertakan permintaan yang belum terverifikasi.

Memperbaiki pemborosan crawl setelah Anda melihatnya

Perbaikan mengikuti dari sinyal-sinyal tersebut. Sebagian besar terdiri dari tiga langkah: berhenti mengirim crawler ke halaman yang tidak penting, arahkan mereka langsung ke URL akhir ketika sebuah halaman sudah pindah, dan buat halaman penting lebih cepat dimuat.

Navigasi faset. Filter dan urutan sortir membuat banyak URL dengan konten yang hampir sama. Konsolidasikan dengan canonical jika memungkinkan, dan hapus tautan internal ke varian yang tidak punya nilai pencarian. Jika sebuah varian tidak bisa dikonsolidasikan dan harus tetap di luar crawl, blokir di robots.txt. Panduan Google di sini spesifik: jangan gunakan noindex untuk ini, karena Google tetap harus meminta halaman sebelum bisa melihat tag tersebut. Berikut contoh aturan yang bisa diuji:

User-agent: Googlebot
Disallow: /*?sort=
Disallow: /*?color=

Jaga perubahan robots.txt tetap proporsional. Google mengatakan bahwa memblokir URL tidak membebaskan crawl budget untuk halaman Anda yang lain, kecuali situs sudah mencapai batas kapasitasnya. Pemblokiran ditujukan untuk URL yang tidak bernilai, bukan cara untuk mendorong budget ke halaman terbaik Anda. Entri glosarium robots.txt kami menjelaskan cara file ini dibaca.

Rantai pengalihan. Ketika sebuah halaman pindah dua kali, crawler melewati kedua pengalihan setiap kali. Perbarui tautan internal agar mengarah ke URL akhir, lalu biarkan pengalihan lama tetap ada untuk tautan eksternal. Pilihan antara pengalihan permanen dan sementara juga penting karena alasan yang sama, dan panduan 301 vs 302 membahasnya secara mendetail.

Halaman yang sudah hilang. Kembalikan 404 atau 410 untuk halaman yang dihapus secara permanen. Google mengatakan soft 404 terus di-crawl dan membuang crawl budget, jadi pesan "halaman tidak ditemukan" yang disajikan dengan status 200 lebih buruk daripada 404 yang sebenarnya.

Waktu respons dan caching. Google mengatakan respons yang lambat atau gagal membuatnya meng-crawl lebih sedikit. Dukung respons 304 (Not Modified) agar halaman yang tidak berubah bisa disajikan dari cache. Lalu lihat template yang menerima hit Googlebot terbanyak dan buat respons template tersebut lebih cepat terlebih dahulu.

Kesalahan yang paling mahal, dan cara menghindarinya

Sebagian besar analisis log yang gagal membuat salah satu dari sejumlah kecil kesalahan. Masing-masing kesalahan di bawah ini memiliki gejala yang bisa Anda lihat dalam data dan perbaikan yang bisa diterapkan dalam minggu yang sama.

Mempercayai string user agent

Apa itu: menghitung setiap permintaan yang menyebut "Googlebot" sebagai crawl Google. Cara mengenalinya: hit Googlebot dari alamat IP yang tidak me-resolve secara terbalik ke hostname Google, atau lonjakan mendadak dari satu alamat. Cara memperbaikinya: jalankan verifikasi dari bagian metode sebelum Anda menghitung apa pun, dan simpan hit yang tidak terverifikasi dalam kelompok terpisah agar Anda tetap bisa melihat aktivitas scraper.

Hanya membaca respons 200

Apa itu: hanya berfokus pada halaman yang mengembalikan 200 dan mengabaikan sisanya. Cara mengenalinya: laporan Anda tidak punya bagian 3xx, 4xx, atau 5xx, atau komposisi kode status tidak pernah dibahas. Cara memperbaikinya: selalu mulai dengan distribusi kode status. Kenaikan hit 404 bisa mengungkap tautan internal yang rusak, dan kenaikan hit 5xx bisa mengungkap masalah server yang memperlambat seluruh crawl.

Memblokir halaman yang ingin Anda deindeks

Apa itu: menambahkan aturan robots.txt ke halaman yang juga memiliki tag noindex. Cara mengenalinya: halaman tetap ada di indeks, dan log tidak menunjukkan hit Googlebot sama sekali, karena crawler diblokir dari meminta halaman tersebut. Cara memperbaikinya: hapus pemblokiran agar Google bisa membaca tag noindex, tunggu sampai halaman keluar dari indeks, lalu pasang kembali pemblokiran jika Anda masih membutuhkannya. Panduan Blocked by robots.txt menjelaskan status Search Console yang muncul dalam kasus ini.

Membandingkan jendela dengan panjang yang berbeda

Apa itu: membandingkan ekspor 3 hari sebelum perbaikan dengan ekspor 30 hari sesudahnya. Cara mengenalinya: totalnya bergerak banyak, tetapi proporsi per template tidak. Cara memperbaikinya: bandingkan jumlah hari yang sama, pada waktu yang sama dalam setahun jika memungkinkan, dan bandingkan proporsi, bukan total mentah, ketika volumenya berubah.

Mengukur hit, bukan nilai

Apa itu: merayakan kenaikan hit Googlebot tanpa memeriksa apakah hit itu sampai ke halaman yang diindeks. Cara mengenalinya: hit terkonsentrasi pada URL yang tidak terindeks atau tidak pernah mendatangkan trafik. Cara memperbaikinya: gabungkan grup log Anda dengan status indeks dari alat URL Inspection di Search Console, dan anggap perbaikan sebagai kemenangan hanya ketika crawl bergerak menuju halaman yang penting.

Di mana bot AI cocok dalam log yang sama

Log yang sama menunjukkan apa yang dilakukan crawler AI di situs Anda, dan metodenya sama: kelompokkan, verifikasi di tempat vendor memberi cara untuk melakukannya, dan baca kode status. Panduan log crawler AI kami membahas bot mana yang harus dicari dan bagaimana mereka berbeda dari Googlebot. Artikel ini membahas metode Googlebot secara mendalam, dan bagian AI di bawah menunjukkan cara menggabungkan keduanya dalam satu laporan.

Jenis bot	Contoh	Yang perlu diperiksa di log	Tempat membaca lebih lanjut
Crawler pencarian	Googlebot	Hit per template, komposisi kode status, waktu ke crawl pertama pada halaman baru	Bagian di atas dalam artikel ini
Crawler pelatihan	GPTBot, ClaudeBot, CCBot	Apakah mereka meminta konten Anda sama sekali, dan apakah mereka menghormati robots.txt Anda	Robots.txt untuk crawler AI
Crawler pengambilan	ChatGPT-User, PerplexityBot	Lonjakan kunjungan singkat yang terkait dengan pertanyaan pengguna, dan halaman yang dijangkau lonjakan tersebut	Log crawler AI

Pembagian antara pelatihan dan pengambilan berasal dari cara crawler AI didokumentasikan. Crawler pelatihan mengumpulkan konten untuk model, dan crawler pengambilan mengambil halaman ketika pengguna mengajukan pertanyaan. Laporan Anda sebaiknya memisahkan keduanya, karena keputusan kebijakan untuk satu tidak otomatis berlaku untuk yang lain.

Jika Anda ingin melihat trafik Google dan trafik AI berdampingan saat menerapkan perbaikan ini, dashboard GEO / SEO Sorank menampilkan keduanya dalam satu tampilan. Gunakan untuk memeriksa apakah perubahan yang Anda buat dari log benar-benar menggerakkan trafik, bukan hanya mengubah jumlah crawl.