Ringkasan
Generator robots.txt gratis ini menuliskan file yang memberi tahu crawler bagian mana dari situs Anda yang boleh dikunjungi. Pilih mode (izinkan semuanya, blokir semuanya, atau kustom), daftarkan user-agent dan path Anda, tambahkan URL sitemap, lalu salin atau unduh file tersebut dan unggah ke root domain Anda. Ingat bahwa robots.txt mengendalikan crawling, bukan pengindeksan: untuk menjauhkan halaman dari Google, gunakan noindex.
Ingin tahu lebih banyak? Tanyakan kepada
Generator robots.txt menyelamatkan Anda dari kesalahan sintaks kecil yang bisa memblokir seluruh situs secara tidak sengaja. File ini mengikuti Robots Exclusion Protocol, yang dibuat oleh Martijn Koster pada 1994 dan dipublikasikan sebagai standar internet oleh IETF pada September 2022 (RFC 9309, Robots Exclusion Protocol). Setiap crawler yang serius membacanya lebih dulu, mulai dari Googlebot hingga bot ChatGPT, Claude, dan Perplexity.
Apa yang dilakukan generator robots.txt?
Alat ini membangun robots.txt yang valid saat Anda mengetik, dengan pratinjau langsung di sebelah kanan, tombol Copy, dan tombol Download yang menyimpan file bernama robots.txt. Tidak ada yang dikirim ke server: file dirakit di browser Anda.
| Pengaturan | Yang ditulis | Kapan digunakan |
|---|---|---|
| Izinkan semuanya | User-agent: * dan Allow: / | Sebagian besar situs publik yang tidak menyembunyikan apa pun dari crawler |
| Blokir semuanya | User-agent: * dan Disallow: / | Situs staging atau pratinjau yang tidak boleh di-crawl |
| Kustom | Satu baris User-agent per bot, lalu path Disallow dan Allow Anda | Memblokir area admin, pencarian internal, atau bot tertentu |
| URL sitemap | Sitemap: https://example.com/sitemap.xml | Selalu, agar setiap crawler menemukan sitemap Anda |
| Crawl-delay | Crawl-delay: dari 1 sampai 120 detik | Hanya untuk bot yang mendukungnya dan server yang kewalahan |
Dalam mode kustom, semua user-agent yang Anda daftarkan berbagi aturan yang sama, begitulah standar mendefinisikan sebuah grup. Untuk memberi bot berbeda aturan berbeda, hasilkan satu grup dalam satu waktu dan tempel berurutan dalam file yang sama.
Bagaimana cara membuat file robots.txt langkah demi langkah?
- Pilih mode. Mulailah dengan "Izinkan semuanya" kecuali Anda punya alasan untuk memblokir sesuatu.
- Daftarkan user-agent Anda dalam mode kustom, satu per baris:
*untuk semua crawler, atau nama seperti Googlebot, Bingbot, atau GPTBot. - Tambahkan path yang diblokir (Disallow) dan pengecualian yang tetap dibuka (Allow), satu per baris, masing-masing diawali garis miring.
- Tempel URL sitemap Anda secara lengkap, dengan https dan domain.
- Salin atau unduh file dan unggah ke root host Anda, agar dapat diakses di
https://example.com/robots.txt. - Uji di lingkungan produksi dengan pemeriksa robots.txt gratis, yang membaca file langsung dan menampilkan status setiap crawler AI.
Lokasinya ketat. Google hanya membaca robots.txt di root sebuah host, sebuah situs hanya boleh memiliki satu, dan file tersebut hanya berlaku untuk protokol, host, dan port tempat file itu diletakkan: subdomain membutuhkan miliknya sendiri (Google, create and submit a robots.txt file).
Aturan robots.txt mana yang diikuti Google?
Google mendukung empat kolom: user-agent, allow, disallow, dan sitemap. Kolom lain seperti crawl-delay tidak didukung (Google, how Google interprets the robots.txt specification). Halaman yang sama menetapkan aturan di bawah ini.
| Aturan | Cara Google menerapkannya |
|---|---|
| Aturan paling spesifik menang | Ketika Allow dan Disallow sama-sama cocok dengan sebuah URL, aturan dengan path terpanjang yang berlaku |
| Seri antar aturan | Ketika dua aturan yang cocok sama spesifiknya, Google menggunakan yang paling tidak membatasi |
| Wildcard | * cocok dengan urutan karakter apa pun, $ menandai akhir URL |
| Huruf besar-kecil | Nama kolom tidak peka huruf besar-kecil, tetapi path peka: /Admin/ bukan /admin/ |
| Ukuran file | Konten setelah 500 KiB pertama diabaikan |
| Cache | File umumnya di-cache hingga 24 jam, jadi perubahan tidak instan |
| File tidak ada (4xx) | Diperlakukan seolah tidak ada pembatasan: semuanya boleh di-crawl |
| Error server (5xx) | Google menjeda crawling selama 12 jam, lalu menggunakan salinan terakhir yang baik hingga 30 hari |
Berikut file khas untuk toko online. File ini memblokir keranjang, checkout, dan pencarian internal, membiarkan satu folder publik tetap terbuka, dan mendeklarasikan sitemap.
User-agent: * Disallow: /cart/ Disallow: /checkout/ Disallow: /search Allow: /checkout/help/ Sitemap: https://example.com/sitemap.xml
Apakah Disallow menghapus halaman dari Google?
Tidak. Robots.txt bukan mekanisme untuk menjauhkan halaman web dari Google. URL yang diblokir masih bisa diindeks jika situs lain menautkannya, dan akan muncul tanpa deskripsi (Google, introduction to robots.txt). Untuk menyembunyikan halaman, biarkan Google meng-crawl-nya dan tambahkan meta tag atau header HTTP noindex. Memblokir halaman di robots.txt pada saat yang sama akan membuat Google tidak pernah melihat noindex tersebut.
Periksa hasilnya halaman demi halaman dengan pemeriksa indeksabilitas, yang membaca robots.txt, meta robots, X-Robots-Tag, dan canonical sekaligus. Untuk kosakatanya, lihat entri glosarium kami tentang robots.txt dan crawling dan pengindeksan.
Apakah sebaiknya memblokir crawler AI di robots.txt?
Blokir bot yang melatih model jika Anda mau, tetapi biarkan bot yang menjalankan pencarian AI tetap terbuka. Penyedia utama kini memisahkan keduanya, sehingga Anda tidak perlu lagi memilih antara melindungi konten dan dikutip.
| Penyedia | Bot pelatihan | Bot pencarian atau jawaban | Biaya memblokir bot pencarian |
|---|---|---|---|
| OpenAI | GPTBot | OAI-SearchBot | Halaman Anda tidak ditampilkan dalam jawaban pencarian ChatGPT |
| Anthropic | ClaudeBot | Claude-SearchBot | Visibilitas lebih rendah di hasil pencarian Claude |
| Perplexity | Tidak ada yang terdaftar | PerplexityBot | Halaman Anda mungkin tidak ditampilkan atau ditautkan di hasil Perplexity |
| Google-Extended (token, bukan bot terpisah) | Googlebot | Google-Extended tidak memengaruhi Google Search atau peringkat |
Sumber: OpenAI crawlers overview, Anthropic crawler policy, Perplexity crawlers, dan Google common crawlers. Untuk menolak pelatihan sambil tetap dapat dikutip oleh ChatGPT, file yang hanya berisi dua baris ini sudah cukup, karena setiap bot lain tetap diizinkan secara default:
User-agent: GPTBot Disallow: /
Tren ini nyata: dalam satu tahun (2023 sampai 2024), 28% atau lebih dari sumber yang paling aktif dipelihara dalam dataset pelatihan C4 menjadi sepenuhnya dibatasi bagi crawler AI (Longpre et al., Consent in Crisis, 2024). Sebelum mengikutinya, periksa apa yang hilang dari Anda dalam jawaban AI: pelacakan sebutan AI Sorank menunjukkan setiap minggu apakah ChatGPT, Claude, Gemini, dan Perplexity menyebut merek Anda.
Kesalahan robots.txt mana yang paling merugikan SEO?
- Membiarkan Disallow: / setelah peluncuran. File staging sering sampai ke produksi. Satu baris memblokir setiap crawler dari seluruh situs.
- Memblokir CSS dan JavaScript. Jika sumber daya yang hilang membuat halaman lebih sulit dipahami, Google menyarankan agar tidak memblokirnya.
- Melupakan garis miring di akhir.
Disallow: /adminjuga memblokir/administrationdan/admin-guide. Tulis/admin/untuk memblokir hanya foldernya. - Mengandalkan Crawl-delay untuk Google. Google mengabaikannya. Anthropic menyatakan mendukung ekstensi ini, jadi simpan hanya untuk bot yang membacanya.
- Menggunakan robots.txt sebagai alat keamanan. File ini bersifat publik dan siapa pun dapat membacanya. Lindungi area pribadi dengan login, bukan baris Disallow yang menunjuk langsung ke area tersebut.
- Melupakan pengecualian WordPress. File WordPress bawaan memblokir
/wp-admin/tetapi mengizinkan/wp-admin/admin-ajax.php, yang digunakan oleh fitur front-end (WordPress developer reference).
Bagaimana memeriksa robots.txt Anda setelah dipublikasikan?
Gunakan tiga pemeriksaan, dari yang tercepat hingga yang paling lengkap.
- Buka URL
https://yourdomain.com/robots.txtdi browser. Anda seharusnya melihat teks biasa, bukan halaman HTML atau 404. - Jalankan pemeriksa robots.txt untuk mencantumkan grup aturan, sitemap, masalah, dan status 14 user-agent AI.
- Buka laporan robots.txt di Search Console. Laporan ini menampilkan file yang ditemukan Google untuk 20 host teratas situs Anda, crawl terakhir, peringatan, dan memungkinkan Anda meminta crawl ulang setelah perbaikan mendesak (Search Console Help, robots.txt report).
Lalu lengkapi pengaturannya: hasilkan sitemap yang bersih dengan generator sitemap XML dan file llms.txt dengan generator llms.txt, yang memberi asisten AI ringkasan halaman-halaman utama Anda.
Apa saja keterbatasan robots.txt yang dihasilkan?
Generator menulis sintaks yang benar, tetapi tidak dapat mengetahui situs Anda. Ia tidak memeriksa apakah path yang diblokir berisi halaman yang ingin Anda peringkati, dan ia menulis satu grup dalam satu waktu. Bot jahat mengabaikan file ini sepenuhnya: robots.txt adalah permintaan, bukan tembok, jadi blokir trafik abusif di tingkat server atau firewall. Terakhir, protokol ini hanya mencakup crawling. Halaman yang diambil atas permintaan pengguna, seperti ChatGPT-User atau Perplexity-User, mungkin tidak mengikuti aturan robots.txt, sebagaimana dinyatakan kedua penyedia dalam dokumentasi mereka.
Bagaimana membuat situs Anda mudah di-crawl dan dikutip?
Robots.txt yang bersih adalah langkah pertama. Langkah berikutnya adalah menerbitkan halaman yang layak di-crawl dan memastikan crawler benar-benar kembali.
- Pantau crawl dan trafik Anda di dasbor GEO / SEO, yang menyatukan Search Console, Analytics, dan kunjungan dari ChatGPT dan Perplexity.
- Lihat situs mana yang dikutip asisten AI di pasar Anda dengan papan peringkat GEO, dan di mana posisi Anda di antara mereka.
- Terbitkan secara teratur dengan generator artikel blog, agar crawler selalu menemukan sesuatu yang baru.
Robots.txt dua menit melindungi crawl budget dan visibilitas AI Anda sekaligus. Hasilkan milik Anda di atas, uji dengan pemeriksa, lalu lihat paket Sorank untuk menjaga situs Anda tetap dapat di-crawl dan dikutip dengan autopilot.
