Robots.txt untuk Crawler AI: Apa yang Diizinkan, Apa yang Diblokir

Robots.txt untuk crawler AI kini menjadi keputusan bisnis, bukan sekadar file teknis. File yang dulu hanya berbicara kepada Googlebot kini menentukan apakah ChatGPT, Claude, Perplexity, dan Gemini dapat membaca, mengutip, dan menautkan halaman Anda. Formatnya sendiri tidak berubah: tetap Robots Exclusion Protocol yang distandarkan sebagai RFC 9309, dengan user agent serta baris Allow dan Disallow. Yang berubah adalah jumlah agennya, dan kenyataan bahwa satu vendor dapat menjalankan beberapa bot dengan tujuan berbeda.

Crawler AI apa saja yang ada dan apa fungsinya?

Sebagian besar vendor AI kini memisahkan pelatihan, pengindeksan pencarian, dan pengambilan atas permintaan pengguna ke dalam user agent yang berbeda. Tabel berikut merangkum yang utama seperti yang didokumentasikan oleh masing-masing vendor.

Sumber: dokumentasi crawler OpenAI dan daftar crawler umum Google. Nama kadang berubah, jadi periksa halaman setiap vendor sebelum mengubah file. Entri glosarium kami tentang crawler AI dan crawler OpenAI menjaga definisinya tetap singkat.

Haruskah Anda memblokir crawler AI?

Bagi sebagian besar bisnis yang menginginkan pelanggan, tidak: blokir pelatihan jika perlu, biarkan crawler pencarian tetap terbuka. Pertimbangannya bergantung pada apa yang Anda jual:

• Merek, SaaS, e-commerce, bisnis lokal: jawaban AI adalah saluran akuisisi. Memblokir crawler pencarian menghapus Anda dari saluran itu. Mengizinkan crawler pelatihan juga membantu model mendatang mengenal merek Anda.
• Penerbit yang hidup dari tayangan halaman atau langganan: memblokir crawler pelatihan melindungi nilai konten; membiarkan crawler pencarian tetap terbuka masih mendatangkan kutipan dan tautan.
• Situs dengan konten privat atau berlisensi: blokir secara luas dan tegakkan di tingkat server, karena robots.txt adalah permintaan, bukan kontrol akses.

Seperti apa robots.txt yang direkomendasikan?

Grup eksplisit per user agent, dengan bot pencarian diizinkan dan pilihan yang jelas untuk bot pelatihan. Contoh untuk bisnis yang menginginkan visibilitas AI tetapi memilih tidak menyumbang data pelatihan:

User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: Claude-SearchBot
User-agent: Claude-User
User-agent: PerplexityBot
User-agent: Perplexity-User
Allow: /

User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: CCBot
Disallow: /

User-agent: *
Disallow: /admin/
Sitemap: https://www.example.com/sitemap.xml

Hapus grup kedua jika Anda tidak keberatan konten Anda dipakai dalam pelatihan. Pembuat robots.txt gratis kami membuat filenya, dan pemeriksa robots.txt menunjukkan agen mana yang sebenarnya diizinkan oleh file yang sedang aktif.

Kesalahan apa yang memblokir visibilitas AI secara tidak sengaja?

Yang paling umum adalah aturan menyeluruh yang disalin dari forum. Kesalahan yang sering terjadi:

• "User-agent: * / Disallow: /" yang tertinggal dari staging, yang memblokir setiap bot termasuk Googlebot.
• Memblokir OAI-SearchBot padahal bermaksud memblokir GPTBot, yang menghapus Anda dari pencarian ChatGPT, bukan hanya dari pelatihan.
• Aturan perlindungan bot di CDN atau firewall yang mengembalikan 403 kepada user agent AI terlepas dari robots.txt. Periksa log server Anda.
• Memblokir CSS dan JavaScript yang dibutuhkan untuk merender halaman, sehingga crawler melihat cangkang kosong.
• Konten penting yang hanya dimuat di sisi klien; banyak crawler AI tidak menjalankan JavaScript, jadi sajikan teks utama dalam HTML.

Apakah robots.txt cukup agar dikutip?

Tidak, ia hanya membuka pintu. Setelah crawler dapat membaca halaman Anda, kutipan bergantung pada apakah halaman itu menjawab pertanyaan dengan jelas, terstruktur untuk diekstrak, dan dikonfirmasi oleh sumber lain. Data terstruktur untuk pencarian AI yang bersih, bagian yang mengutamakan jawaban, dan file llms.txt opsional membantu langkah berikutnya.

Kesimpulan

Perlakukan crawler AI sebagai keputusan terpisah: buka bot pencarian dan pengambilan atas permintaan pengguna, pilih dengan sengaja untuk bot pelatihan, dan pastikan server Anda menerapkan kebijakan yang sama. Lalu ukur apakah pintu yang terbuka itu berubah menjadi kutipan. Sorank melacak merek Anda di ChatGPT, Claude, dan Gemini setiap minggu dan menerbitkan konten yang terstruktur agar dikutip: mulai dengan uji coba gratis 3 hari.