Ringkasan
Pengecek robots.txt gratis membaca robots.txt aktif dari domain mana pun dan menampilkan grup aturannya, sitemap-nya, masalah yang ditemukan, serta status 14 crawler AI (diizinkan, sebagian, atau diblokir), dari GPTBot dan OAI-SearchBot hingga ClaudeBot, PerplexityBot, dan Google-Extended. Gunakan setelah setiap perubahan pada berkas, dan kapan pun halaman Anda berhenti muncul di Google atau dalam jawaban AI.
Ingin tahu lebih banyak? Tanyakan kepada
Pengecek robots.txt menangkap baris yang diam-diam memblokir seluruh situs. Robots.txt adalah standar publik (RFC 9309) yang dibaca setiap crawler besar sebelum mengunjungi situs, dan crawler AI telah melipatgandakan jumlah bot yang harus ditanganinya. Antara Mei 2024 dan Mei 2025, pangsa GPTBot dalam trafik crawler AI tumbuh dari 5% menjadi 30% dan Meta-ExternalAgent mencapai 19% (Cloudflare, siapa yang meng-crawl situs Anda pada 2025). Berkas Anda harus menyampaikan sesuatu yang masuk akal kepada mereka semua.
Apa yang ditampilkan oleh pengecek robots.txt?
Masukkan domain dan alat ini mengambil https://yourdomain/robots.txt, mengikuti pengalihan, mengurai berkas, dan mengembalikan lima blok.
| Blok | Yang ditampilkan | Yang perlu dicari |
|---|---|---|
| Grup aturan | Berapa banyak grup User-agent dalam berkas | Nol berarti sintaksis tidak dapat dibaca |
| Sitemap | Setiap baris Sitemap yang ditemukan | Minimal satu URL lengkap ke sitemap Anda |
| Bot AI yang diblokir | Berapa banyak dari 14 crawler AI yang diblokir sepenuhnya | Hanya yang Anda pilih untuk diblokir |
| Masalah | Masalah yang terdeteksi, beserta rekomendasi | Nol, atau hanya pilihan yang disengaja |
| Berkas mentah | Robots.txt sebagaimana disajikan | Bahwa itu adalah berkas yang Anda kira telah Anda terbitkan |
Jika domain tidak memiliki robots.txt, atau mengembalikan halaman HTML alih-alih teks biasa, alat ini menyatakannya dan merekomendasikan untuk menambahkannya. Versi gratis menjalankan 3 pengecekan per hari.
Bagaimana pengecek menentukan apakah bot AI diblokir?
Untuk masing-masing dari 14 crawler AI, alat ini mencari grup yang menyebut nama bot tersebut. Jika tidak ada, ia memakai grup User-agent: *. Lalu ia menerapkan tiga status.
| Status | Aturan yang ditemukan dalam grup | Artinya |
|---|---|---|
| Diizinkan | Tidak ada grup yang berlaku, atau grup tidak memiliki aturan Disallow | Bot dapat meng-crawl seluruh situs |
| Sebagian | Aturan Disallow hanya pada beberapa jalur | Bot dapat meng-crawl situs kecuali jalur-jalur tersebut |
| Diblokir | Disallow: / tanpa Allow: / | Bot diminta untuk tidak masuk ke seluruh situs |
14 crawler yang diperiksa adalah GPTBot, OAI-SearchBot, dan ChatGPT-User (OpenAI), ClaudeBot, Claude-Web, dan anthropic-ai (Anthropic), PerplexityBot dan Perplexity-User, Google-Extended, Applebot-Extended, CCBot (Common Crawl), Amazonbot, Bytespider (ByteDance), dan Meta-ExternalAgent. Tabel juga menampilkan penyedia dan tujuan setiap bot, sehingga Anda dapat langsung melihat apakah Anda memblokir pelatihan, pencarian, atau penelusuran langsung.
Crawler AI mana yang sebaiknya diizinkan?
Izinkan crawler yang menempatkan halaman Anda dalam jawaban pencarian AI. Memblokir crawler pelatihan adalah pilihan bisnis; memblokir crawler pencarian biasanya adalah kesalahan.
- OAI-SearchBot: situs yang memilih keluar tidak ditampilkan dalam jawaban pencarian ChatGPT. GPTBot hanya menyangkut pelatihan model, dan kedua pengaturan itu independen (ikhtisar crawler OpenAI).
- PerplexityBot: memunculkan dan menautkan situs web di hasil Perplexity dan tidak dipakai untuk melatih model fondasi (crawler Perplexity).
- Google-Extended: token untuk pelatihan dan grounding Gemini yang tidak memengaruhi penyertaan di Google Search atau peringkat (crawler umum Google).
- Anthropic: ClaudeBot mengumpulkan data pelatihan, sedangkan Claude-SearchBot dan Claude-User melayani pencarian dan permintaan pengguna; memblokir keduanya dapat mengurangi visibilitas Anda di Claude (kebijakan crawler Anthropic).
Kebanyakan situs tidak pernah memutuskan. Pada 6 Juni 2025, hanya sekitar 14% dari 10000 domain teratas yang memiliki robots.txt yang memiliki aturan yang menargetkan bot AI, dan GPTBot adalah yang paling banyak diblokir (312 domain) sekaligus yang paling banyak diizinkan secara eksplisit (61 domain), menurut studi Cloudflare yang sama. Bot yang tidak disebutkan dalam berkas diizinkan secara default.
Apa arti masalah yang paling umum?
| Masalah yang dilaporkan | Mengapa penting | Perbaikan |
|---|---|---|
| User-agent: * diblokir dari seluruh situs | Setiap crawler tanpa grup sendiri, termasuk Googlebot, diminta untuk tidak masuk | Hapus Disallow: / dari grup *, kecuali situs tersebut adalah salinan staging |
| Tidak ada direktif Sitemap | Crawler yang tidak pernah Anda kirimi sitemap, seperti Bing atau crawler AI, mungkin tidak menemukannya | Tambahkan Sitemap: https://yourdomain/sitemap.xml |
| Bot AI bernama diblokir | Penyedia tersebut tidak akan meng-crawl halaman Anda | Pertahankan hanya jika memblokir bot itu adalah pilihan yang disengaja |
| Tidak ada grup User-agent yang terurai | Berkas tidak memiliki aturan yang valid, sehingga tidak membatasi apa pun | Periksa sintaksis: Field: value, satu aturan per baris |
| Robots.txt tidak ditemukan | Bukan galat dengan sendirinya: Google kemudian meng-crawl semuanya | Tambahkan berkas tetap, untuk mendeklarasikan sitemap dan pilihan AI Anda |
Berkas yang hilang atau rusak ditangani secara berbeda oleh Google tergantung status HTTP. Respons 4xx (kecuali 429) berarti tidak ada pembatasan. Respons 5xx diperlakukan sebagai galat server: Google menjeda crawling selama 12 jam, lalu memakai salinan terakhirnya yang baik hingga 30 hari (Google, bagaimana Google menafsirkan spesifikasi robots.txt). Robots.txt yang terus gagal dengan galat server karenanya dapat membekukan crawling situs yang sehat.
Bagaimana memperbaiki masalah robots.txt langkah demi langkah?
- Baca berkas mentah di laporan untuk memastikan apa yang sebenarnya online. Cache CDN dan deployment staging sering menyajikan versi lama.
- Tulis ulang berkas dengan generator robots.txt, yang membangun grup yang rapi, aturan Allow dan Disallow, serta baris Sitemap.
- Unggah ke root setiap host. Subdomain seperti blog.example.com memerlukan berkasnya sendiri.
- Jalankan pengecek lagi dan pastikan statusnya berubah.
- Beri tahu Google jika perbaikannya mendesak. Laporan robots.txt di Search Console menampilkan berkas yang ditemukan Google untuk 20 host teratas Anda dan memungkinkan Anda meminta crawl ulang (Search Console Help, laporan robots.txt). Jika tidak, Google menyegarkan salinan cache-nya dalam waktu sekitar 24 jam.
Lalu periksa halaman itu sendiri. Halaman yang terbuka di robots.txt masih dapat dikeluarkan dari indeks oleh tag noindex atau canonical yang menunjuk ke tempat lain: pengecek indexability menguji semuanya pada satu URL. Untuk tampilan seluruh situs tentang apa yang dapat dibaca crawler AI, jalankan audit crawlability AI.
Apa batasan pengecek robots.txt?
- Status diringkas per bot, bukan per URL. "Sebagian" memberi tahu bahwa beberapa jalur ditutup; baca aturannya untuk melihat jalur mana.
- Satu grup per bot. Jika Anda membagi aturan untuk bot yang sama ke beberapa grup, Google menggabungkannya. Baca berkas mentah dalam kasus itu.
- Hanya domain root. Alat ini membaca berkas dari domain yang Anda masukkan, tanpa www, dan mengikuti pengalihan. Periksa setiap subdomain secara terpisah.
- Daftar 14 bot. User-agent yang lebih baru seperti Claude-SearchBot dan Claude-User belum ada di tabel: cari di berkas mentah.
- Robots.txt adalah permintaan. Crawler terpercaya mengikutinya, yang kasar tidak, dan pengambilan yang dipicu pengguna, seperti ChatGPT-User atau Perplexity-User, mungkin tidak menerapkannya, seperti yang didokumentasikan OpenAI dan Perplexity.
Untuk kosakata di balik pemeriksaan ini, lihat entri glosarium kami tentang robots.txt dan crawler AI.
Bagaimana memastikan asisten AI dapat menemukan dan mengutip Anda?
Robots.txt yang terbuka adalah syarat, bukan hasil. Setelah crawler dapat membaca situs Anda, ukur apakah asisten AI benar-benar memakainya.
- Lacak merek Anda dalam jawaban AI dengan pelacakan sebutan AI Sorank, yang memeriksa setiap minggu apakah ChatGPT, Claude, Gemini, dan Perplexity menyebut Anda dan sumber apa yang mereka kutip.
- Pantau kunjungan AI di samping klik Google Anda di dasbor GEO / SEO.
- Beri crawler halaman segar untuk dibaca dengan perencana konten blog, yang mengisi kalender Anda dan menerbitkan sesuai jadwal.
Satu baris yang salah di robots.txt dapat menyembunyikan situs dari Google dan dari setiap asisten AI sekaligus. Periksa milik Anda di atas setelah setiap perubahan, lalu lihat paket Sorank untuk memantau crawlability dan visibilitas AI Anda secara autopilot.
