Screaming Frog SEO Spider: Cara Menyiapkan dan Menjalankan Audit Lengkap

Screaming Frog SEO Spider berjalan di Windows, macOS, dan Linux dan bekerja dari komputer Anda, sehingga kecepatannya bergantung pada memori mesin Anda. Panduan pengguna dari vendor mendokumentasikan setiap pengaturan. Panduan ini membahas yang penting untuk audit pertama yang berguna.

Apa fungsi Screaming Frog SEO Spider?

Alat ini mulai dari sebuah URL, mengikuti setiap tautan yang ditemukannya, dan mencatat apa yang dilihat bot di setiap halaman. Proses ini disebut perayapan. Untuk setiap URL Anda mendapatkan:

• kode status HTTP (200, 301, 404, 500...) dan waktu respons;
• tag judul, meta description, H1 dan H2, beserta panjangnya;
• tag canonical, direktif meta robots dan X-Robots-Tag, hreflang;
• tautan internal dan eksternal, anchor, kedalaman perayapan;
• gambar, ukurannya, dan teks alt;
• data terstruktur, jumlah kata, dan ukuran halaman.

Nilainya datang dari tampilan dalam skala besar: 10'000 halaman terurut menurut masalah dalam beberapa menit, sedangkan pemeriksaan manual akan memakan waktu berminggu-minggu.

Versi gratis atau lisensi berbayar: mana yang Anda butuhkan?

Versi gratis cukup untuk situs kecil atau pemeriksaan cepat pada satu bagian. Begitu situs melewati 500 URL, atau Anda perlu merender JavaScript atau memantau dari waktu ke waktu, lisensi akan terbayar dengan sendirinya.

Pengaturan apa yang perlu diubah sebelum perayapan pertama?

1. Pilih mode perayapan

Mode Spider merayapi dari sebuah URL awal. Mode List hanya merayapi URL yang Anda tempel atau unggah, berguna untuk memeriksa sitemap, daftar URL lama sebelum migrasi, atau sekumpulan target backlink.

2. Gunakan penyimpanan database

Di pengaturan, beralihlah dari penyimpanan memori ke penyimpanan database pada SSD. Perayapan besar menjadi mungkin dan disimpan secara otomatis.

3. Aktifkan rendering JavaScript jika situs membutuhkannya

Jika konten atau tautan disisipkan oleh JavaScript (React, Vue, beberapa tema Shopify atau Webflow), atur rendering ke JavaScript. Alat ini kemudian menggunakan browser Chromium headless, seperti perender milik Google. Bandingkan HTML mentah dan HTML yang dirender untuk menemukan konten yang baru ada setelah rendering.

4. Hubungkan API

Hubungkan Google Search Console, GA4, dan PageSpeed Insights. Klik, impresi, dan Core Web Vitals kemudian muncul di samping setiap URL, dan URL yang ditemukan di sumber-sumber itu tetapi tidak dalam perayapan akan menunjukkan halaman yatim.

5. Siapkan ekstraksi kustom

Dengan XPath, selektor CSS, atau regex, ekstrak elemen apa pun: tanggal publikasi, penulis, harga, status stok, tipe skema. Praktis untuk mengaudit templat dalam skala besar.

6. Hormati server

Turunkan kecepatan (thread atau URL per detik) pada hosting yang rapuh, dan atur user agent ke Googlebot hanya jika situs tidak memblokir bot yang tidak dikenal.

Bagaimana menjalankan audit esensial langkah demi langkah?

Google menjelaskan bagaimana ia memperlakukan kode status HTTP dan URL canonical: baca keduanya sebelum memutuskan apa yang dialihkan atau digabungkan.

Bagaimana mengekspor dan membagikan hasilnya?

Setiap tab dapat diekspor ke CSV, Excel, atau Google Sheets. Gunakan Bulk Export untuk data gabungan (semua inlink ke halaman 4xx, semua gambar tanpa teks alt) dan menu Reports untuk rantai pengalihan atau kesalahan canonical. Untuk klien atau developer, ekspor hanya daftar masalah yang sudah difilter beserta URL halaman dan sumber masalahnya: daftar 40 tautan rusak beserta halaman sumbernya akan diperbaiki, berkas dengan 10'000 baris tidak. Dengan lisensi, jadwalkan perayapan mingguan dan gunakan perbandingan perayapan untuk melihat apa yang berubah setelah setiap rilis.

Bagaimana perayapan membantu SEO dan visibilitas di AI?

Crawler melihat situs Anda seperti Googlebot, Bingbot, dan crawler AI (GPTBot, ClaudeBot, PerplexityBot). Halaman yang tidak dapat mereka jangkau, yang mengembalikan kesalahan, atau yang berada tujuh klik dalamnya membuang crawl budget dan kecil kemungkinannya diindeks oleh Google atau diambil oleh ChatGPT dan Perplexity. Perayapan yang bersih (kode status 200, satu canonical, kedalaman dangkal, tautan internal yang sesungguhnya) adalah dasar dari setiap audit SEO teknis, sebelum konten dan tautan.

Untuk satu halaman dalam satu waktu, Anda tidak selalu membutuhkan crawler: audit SEO on-page gratis dan ekstensi Chrome Sorank gratis menunjukkan perbaikan untuk halaman yang sedang Anda lihat dalam beberapa detik.

Screaming Frog SEO Spider menemukan masalah teknis seluruh situs dalam hitungan menit; pekerjaan yang mendatangkan trafik dimulai ketika Anda memperbaikinya berdasarkan urutan dampak. Setelah dasarnya bersih, Sorank menerbitkan artikel yang dioptimalkan dan terhubung secara internal secara autopilot agar situs terus tumbuh di Google dan di AI.