Audit Crawlability Situs untuk AI: Apakah Bot AI Benar-Benar Dapat Mengakses Situs Anda?

Audit crawlability situs untuk AI menjawab pertanyaan sederhana: dapatkah AI yang menjawab pelanggan Anda membaca situs Anda? Setiap perusahaan menerbitkan nama yang dipakai crawler-nya di robots.txt, dan setiap pengaturan bekerja sendiri-sendiri. OpenAI, misalnya, menjelaskan bahwa sebuah situs dapat mengizinkan OAI-SearchBot agar muncul di hasil pencarian ChatGPT sambil melarang GPTBot agar kontennya tidak masuk ke pelatihan model (OpenAI, ikhtisar crawler OpenAI). Dengan demikian, satu baris di robots.txt dapat membuat Anda tidak terlihat dalam jawaban AI tanpa Anda sadari.

Crawler AI mana yang diperiksa oleh audit ini?

Audit menguji 14 user agent. Lima di antaranya, yang ditandai di bawah, melayani pencarian dan jawaban langsung: memblokirnya menghapus Anda dari jawaban yang dibaca orang saat ini.

Anthropic kini mendokumentasikan tiga bot: ClaudeBot untuk pelatihan, Claude-User untuk halaman yang diambil ketika seseorang mengajukan pertanyaan kepada Claude, dan Claude-SearchBot untuk kualitas pencarian (Claude Help Center, crawler Anthropic). Jika Anda ingin dikutip oleh Claude, izinkan dua yang terakhir di robots.txt Anda juga.

Bagaimana cara menjalankan audit?

1. Masukkan domain Anda, seperti domainanda.com. Audit membaca https://yourdomain.com/robots.txt dan beranda.
2. Baca empat angka di bagian atas: bot pencarian yang diizinkan, crawler yang diblokir, crawler yang diperiksa, dan sitemap yang dideklarasikan.
3. Telusuri tabel crawler: setiap baris menunjukkan perusahaan, peran, status, dan aturan yang menentukannya.
4. Perbaiki masalah yang tercantum di bawah "Cara memperbaiki", lalu jalankan audit lagi.

Audit ini gratis, dengan 3 pengecekan per hari dan tanpa akun.

Bagaimana skor crawlability AI dihitung?

Setiap crawler dihitung sebagai satu pemeriksaan: diizinkan mendapat poin penuh, sebagian setengah, diblokir nol. Lima crawler pencarian bobotnya dua kali lipat dibanding crawler pelatihan, dan noindex di beranda, baik di tag meta robots maupun header X-Robots-Tag, dihitung dua kali sebagai kegagalan. Skornya adalah porsi poin yang diperoleh.

Skor ini menghargai keterbukaan. Jika Anda membiarkan lima crawler pencarian terbuka dan memblokir sembilan lainnya, skor Anda akan berada di sekitar 57: itu pilihan yang disengaja, bukan kesalahan. Dalam kasus itu, lihat dulu angka "Bot pencarian OK", yang seharusnya menunjukkan 5/5.

Apa arti diizinkan, sebagian, dan diblokir?

Audit menerapkan aturan robots.txt seperti yang dilakukan crawler: audit mengambil grup yang ditulis untuk crawler berdasarkan namanya, atau grup "User-agent: *" jika tidak ada.

• Diizinkan: tidak ada grup yang berlaku, atau grup tidak memiliki aturan Disallow.
• Sebagian: beberapa jalur dilarang, seperti /admin/ atau /cart/. Ini biasanya tidak masalah; pastikan halaman konten Anda tidak ada dalam daftar.
• Diblokir: "Disallow: /" tanpa "Allow: /", sehingga crawler tidak boleh membaca halaman mana pun.

Aturan ini mengikuti Robots Exclusion Protocol yang distandarkan oleh IETF dalam RFC 9309, yang juga mengingatkan pemilik situs bahwa aturan ini "bukan bentuk otorisasi akses" (RFC 9309, Robots Exclusion Protocol). Robots.txt adalah permintaan yang dipatuhi crawler yang baik, bukan kunci.

Haruskah Anda memblokir crawler AI atau membiarkannya masuk?

Pisahkan kedua penggunaannya. Crawler pencarian mendatangkan sitasi dan kunjungan; crawler pelatihan menyuplai model masa depan. Kebanyakan perusahaan yang ingin direkomendasikan membuka kelompok pertama dan memutuskan kasus per kasus untuk yang kedua.

Dua klarifikasi resmi membantu pengambilan keputusan. Google menyatakan bahwa Google-Extended tidak memengaruhi dimasukkannya situs dalam Google Search dan bukan sinyal peringkat (Google, crawler umum). Perplexity menyatakan bahwa PerplexityBot memunculkan situs dalam hasil pencariannya dan tidak dipakai untuk melatih model fondasi AI (Perplexity, dokumentasi crawler). Applebot-Extended milik Apple hanya mengatur pelatihan: Apple mencatat bahwa konten Anda tetap dapat ditemukan melalui Spotlight, Siri, dan Safari (Apple Support, tentang Applebot).

Bagaimana memperbaiki crawler AI yang diblokir?

Edit berkas robots.txt di root domain Anda. Untuk membuka pencarian ChatGPT sambil tetap menjauhkan GPTBot, tambahkan dua grup:

• User-agent: OAI-SearchBot diikuti Allow: /
• User-agent: GPTBot diikuti Disallow: /

Lalu periksa tiga hal yang sering membatalkan perubahan.

1. Aturan CDN atau firewall yang memblokir user agent AI sebelum robots.txt dibaca. Beberapa CDN menawarkan sakelar sekali klik yang memblokir bot AI.
2. Noindex di tag meta atau header X-Robots-Tag, yang dilaporkan terpisah oleh audit.
3. Jeda waktu: OpenAI dan Perplexity sama-sama menyatakan bahwa perubahan dapat memerlukan sekitar 24 jam untuk tercermin.

Pengecek robots.txt memvalidasi sintaksis, dan generator robots.txt menulis berkas yang rapi. Entri glosarium tentang crawler AI menjelaskan setiap bot dengan lebih rinci.

Mengapa audit memeriksa sitemap dan noindex?

Karena akses saja tidak cukup: crawler juga perlu menemukan halaman Anda dan diizinkan menggunakannya. Baris "Sitemap:" di robots.txt mengarahkan setiap crawler ke daftar URL Anda, dan noindex di beranda memberi tahu sistem pencarian untuk mengecualikan situs. Google mengonfirmasi bahwa, agar muncul sebagai tautan pendukung di AI Overviews atau AI Mode, halaman harus terindeks dan memenuhi syarat untuk snippet (Google, AI features and your website). Untuk tampilan per halaman, gunakan pengecek indexability dan pengecek sitemap.

Apa batasan audit ini?

• Membaca aturan, bukan trafik: audit tidak dapat melihat apakah sebuah crawler benar-benar mengunjungi Anda. Log server Anda menunjukkannya.
• robots.txt yang hilang dianggap terbuka: ketika berkas tidak dapat dibaca, setiap crawler ditampilkan sebagai diizinkan. Jika berkas merespons dengan galat server, crawler mungkin justru menganggap seluruh situs diblokir, seperti yang ditetapkan RFC 9309, jadi periksa kode statusnya.
• Firewall tidak terlihat olehnya: bot yang diblokir di tingkat CDN tetap ditampilkan sebagai diizinkan.
• Crawler baru sering bermunculan: daftar ini mencakup perusahaan AI utama, bukan setiap bot di web.

Dari pintu yang terbuka menuju sitasi yang nyata

robots.txt yang terbuka memungkinkan sitasi; ia tidak menciptakannya. Setelah crawler dapat membaca Anda, periksa apakah ChatGPT benar-benar mengutip Anda dengan pengecek visibilitas ChatGPT. Pelacakan sebutan AI Sorank kemudian memantau sitasi Anda di ChatGPT, Perplexity, Gemini, dan Claude setiap minggu, dan generator artikel blog menerbitkan halaman yang suka dikutip oleh AI tersebut. Lihat paket Sorank untuk menjalankannya secara autopilot.