Robots.txt: Kendalikan Cara Googlebot Merayapi Situs Anda

Robots.txt adalah file sederhana namun ampuh yang mengontrol cara mesin pencari merayapi situs web Anda. File ini berada di `https://example.com/robots.txt` dan berisi aturan yang menentukan halaman dan direktori mana yang boleh dirayapi oleh Google, Bing, dan bot lainnya. Robots.txt membantu Anda mengelola crawl budget (jumlah halaman yang dirayapi Google setiap hari), mencegah perayapan terbuang pada halaman yang tidak penting, dan menjaga konten privat tetap di luar hasil pencarian.

Sebagian besar situs web memiliki file robots.txt, tetapi banyak yang salah konfigurasi. robots.txt yang salah konfigurasi dapat secara tidak sengaja memblokir halaman penting, sehingga menyia-nyiakan potensi peringkat. robots.txt yang dikonfigurasi dengan baik meningkatkan efisiensi perayapan dan melindungi privasi situs Anda. Panduan ini membahas sintaks robots.txt, praktik terbaik, dan contoh nyata.

Apa Itu Robots.txt dan Bagaimana Mesin Pencari Menggunakannya

Robots.txt adalah file teks standar yang menyampaikan instruksi perayapan kepada bot mesin pencari. Saat sebuah bot pertama kali mengunjungi situs Anda, bot tersebut meminta `/robots.txt` sebelum merayapi hal lain. Robot membaca aturan tersebut dan mengikutinya (dengan asumsi bot tersebut berperilaku baik).

Dokumentasi robots.txt Google adalah rujukan resmi untuk standar ini. Format robots.txt dibuat pada tahun 1994 dan telah diadopsi secara luas. Semua mesin pencari besar (Google, Bing, Baidu) menghormati robots.txt.

Penting: Robots.txt adalah pedoman, bukan firewall. Bot yang berperilaku baik (Google, Bing) menghormati aturan robots.txt. Bot berbahaya dan scraper mengabaikan robots.txt. Gunakan robots.txt untuk mengelola perayapan mesin pencari, bukan untuk memblokir peretas atau scraper. Untuk keamanan, gunakan alat di tingkat server.

Sintaks Robots.txt dan Aturan Dasar

Robots.txt menggunakan sintaks teks yang sederhana. Setiap aturan memiliki dua bagian: User-agent (bot mana yang dikenai aturan) dan jalur Disallow (halaman mana yang diblokir).

Contoh dasar:

User-agent: *
Disallow: /admin/
Disallow: /staging/
Sitemap: https://example.com/sitemap.xml

Aturan ini memberi tahu semua bot (`*` berarti semua) agar tidak merayapi direktori `/admin/` dan `/staging/`. Baris Sitemap memberi tahu bot di mana sitemap Anda berada.

User-agent: \* berarti semua bot. Anda juga dapat menentukan bot tertentu:

`User-agent: Googlebot` hanya berlaku untuk bot Google. `User-agent: Bingbot` hanya berlaku untuk bot Bing. Anda dapat memiliki beberapa bagian User-agent dengan aturan yang berbeda.

Disallow: /path/ memberi tahu bot agar tidak merayapi jalur tersebut. Disallow: / memblokir seluruh situs. Disallow: (kosong) mengizinkan semuanya. Anda dapat mencantumkan beberapa aturan Disallow per User-agent.

Allow: /path/ mengizinkan perayapan jalur tertentu meskipun direktori induknya di-disallow. Contoh: Disallow: /temp/ tetapi Allow: /temp/important/ hanya mengizinkan perayapan subdirektori /important/.

Pola Robots.txt yang Umum

Pola 1: Blokir halaman admin

User-agent: *
Disallow: /admin/
Disallow: /user/
Disallow: /account/

Aturan ini memblokir perayapan halaman administratif, pengguna, dan akun. Halaman-halaman ini biasanya tidak ditujukan untuk mesin pencari.

Pola 2: Blokir lingkungan staging

User-agent: *
Disallow: /staging/
Disallow: /test/

Mencegah bot merayapi versi uji coba atau staging dari situs Anda.

Pola 3: Blokir jenis file tertentu

User-agent: *
Disallow: /*.pdf
Disallow: /*.zip

Mencegah bot merayapi file PDF dan ZIP. Ini berguna jika Anda memiliki banyak PDF yang tidak perlu diindeks.

Pola 4: Perlambat bot yang membebani server Anda

User-agent: AhrefsBot
Disallow: /

User-agent: SemrushBot
Crawl-delay: 10

Memblokir sepenuhnya bot Ahrefs (jika Anda tidak ingin situs Anda dirayapi oleh alat SEO). Memperlambat bot Semrush dengan menambahkan jeda 10 detik di antara permintaan. Crawl-delay berguna untuk bot agresif yang membebani server Anda.

Pola 5: Izinkan semua (default)

User-agent: *
Disallow:

Ini adalah pengaturan default. Disallow yang kosong berarti mengizinkan semua. Anda juga dapat tidak memiliki robots.txt sama sekali jika ingin semua konten dapat dirayapi.

Robots.txt vs Meta Robots Noindex

Robots.txt memblokir perayapan. Meta robots noindex memblokir pengindeksan. Keduanya memiliki tujuan yang berbeda.

Gunakan robots.txt ketika: Anda ingin menghemat crawl budget. Anda memiliki konten duplikat yang tidak perlu dirayapi. Anda memiliki halaman admin yang tidak boleh disentuh bot. Anda ingin memperlambat bot yang agresif.

Gunakan meta robots noindex ketika: Anda ingin halaman dirayapi tetapi tidak diindeks (untuk melihat error dan masalahnya). Anda ingin mencegah pengindeksan tetapi tetap mengizinkan tautan internal dan perayapan. Anda ingin pada akhirnya menghapus halaman dari pencarian tetapi tetap membiarkannya aktif.

Contoh: Halaman berpaginasi seperti `/products?page=2` dapat diblokir di robots.txt untuk menghemat crawl budget (karena Google biasanya mengonsolidasikan paginasi). Namun Anda mungkin ingin halaman tersebut dirayapi untuk mengidentifikasi hubungan canonical. Dalam kasus itu, gunakan canonical sebagai ganti robots.txt.

Mengelola Crawl Budget dengan Robots.txt

Crawl budget adalah jumlah URL yang dirayapi Google setiap hari di situs Anda. Situs besar dengan jutaan halaman tidak bisa seluruh halamannya dirayapi setiap hari. Google mengalokasikan crawl budget berdasarkan otoritas dan frekuensi perubahan situs Anda. Crawl budget itu terbatas. Menyia-nyiakannya pada halaman yang tidak penting berarti halaman penting dirayapi lebih jarang.

Optimalkan crawl budget dengan memblokir halaman yang tidak perlu dirayapi: konten duplikat, hasil pencarian berpaginasi, halaman akun pengguna, halaman pengujian. Setiap halaman yang Anda blokir memberi Google lebih banyak anggaran untuk merayapi konten penting Anda.

Pemboros crawl budget yang umum: paginasi tak terbatas (filter produk menciptakan URL tanpa batas), konten duplikat dengan parameter berbeda, ID sesi yang ditambahkan ke setiap URL, halaman kalender/acara yang menghasilkan URL tanpa henti. Gunakan robots.txt untuk memblokir pola-pola ini.

Google Search Console menampilkan statistik perayapan situs Anda. Pantau permintaan perayapan setiap hari. Jika Google merayapi halaman yang sama berulang kali tanpa menemukan konten baru, tinjau robots.txt dan strategi pemblokiran Anda.

Sitemap di Robots.txt

Sertakan URL sitemap Anda di robots.txt. Tambahkan `Sitemap: https://example.com/sitemap.xml` di akhir file robots.txt Anda. Ini memberi tahu Google di mana menemukan sitemap XML Anda. Anda dapat mencantumkan beberapa sitemap jika memiliki beberapa file.

Contoh:

User-agent: *
Disallow: /admin/
Sitemap: https://example.com/sitemap.xml
Sitemap: https://example.com/sitemap-news.xml

Mencantumkan sitemap di robots.txt bersifat opsional (Anda dapat mengirimkan sitemap melalui Google Search Console), tetapi ini merupakan praktik terbaik.

Menguji dan Memvalidasi Robots.txt

Google Search Console memiliki penguji robots.txt. Buka Settings > Crawling > Test robots.txt. Masukkan sebuah URL dan lihat apakah robots.txt memblokirnya. Ini sangat berharga untuk memvalidasi aturan Anda sebelum diterapkan.

Selalu uji sebelum menerapkan perubahan robots.txt. Satu kesalahan saja (seperti `Disallow: /` yang memblokir seluruh situs Anda) dapat menjatuhkan peringkat Anda. Gunakan penguji untuk memverifikasi bahwa:

Halaman penting tidak diblokir. Halaman admin diblokir. Pola konten duplikat diblokir. Tidak ada jalur kritis yang tidak sengaja di-disallow.

Setelah menerapkan robots.txt, pantau laporan Crawl di Google Search Console untuk melihat perubahan. Jika laju perayapan turun secara tak terduga, Anda mungkin tanpa sengaja memblokir konten penting.

Kesalahan Robots.txt yang Umum

Kesalahan 1: Memblokir CSS dan JavaScript. Jika Anda memblokir `/css/` atau `/js/` di robots.txt, Google tidak dapat merayapi CSS dan JavaScript Anda. Tanpa CSS, Google tidak dapat merender halaman Anda dengan benar. Jangan blokir CSS atau JavaScript.

Kesalahan 2: Memblokir konten penting. Selalu uji sebelum menerapkan. Salah ketik seperti `Disallow: /p` sebagai ganti `Disallow: /staging/` dapat memblokir `/products/` tanpa disengaja.

Kesalahan 3: Menggunakan robots.txt untuk keamanan. Jangan mengandalkan robots.txt untuk melindungi data sensitif. Halaman yang sensitif secara keamanan harus memerlukan autentikasi, bukan hanya robots.txt. Robots.txt bersifat publik dan mudah dielakkan.

Kesalahan 4: robots.txt yang tidak konsisten antar domain. Jika Anda memiliki beberapa domain, pertahankan kebijakan robots.txt yang konsisten. Aturan yang berbeda secara tidak sengaja dapat menimbulkan masalah efisiensi perayapan.

Kesalahan 5: Memblokir sitemap itu sendiri. Jangan pernah memblokir `/sitemap.xml` di robots.txt. Google perlu merayapi sitemap untuk menemukan halaman.

Fitur Robots.txt Tingkat Lanjut

Crawl-delay dan Request-rate: Direktif ini memperlambat bot. `Crawl-delay: 10` menambahkan 10 detik di antara permintaan. `Request-rate: 1/10` mengizinkan 1 permintaan per 10 detik. Gunakan ini untuk bot yang membebani server Anda. Google menyarankan menggunakan pengaturan Search Console sebagai ganti direktif ini.

Direktif Allow: Mengizinkan perayapan jalur tertentu meskipun jalur induknya di-disallow. Berguna untuk membuat pengecualian. Contoh: `Disallow: /temp/` tetapi `Allow: /temp/keep/` hanya mengizinkan subdirektori keep.

Spesifikasi robots.txt Google mendokumentasikan semua direktif yang didukung. Sebagian besar fitur jarang diperlukan. Tetap gunakan User-agent, Disallow, dan Sitemap dasar untuk kebanyakan situs.

Direktif Robots.txt Tingkat Lanjut

Aturan khusus User-agent memungkinkan aturan perayapan yang berbeda untuk bot yang berbeda. Anda dapat menentukan aturan untuk Googlebot, Bingbot, dan user-agent lainnya secara terpisah. Ini berguna jika Anda ingin Google merayapi seluruh situs Anda tetapi membatasi Bing agar tidak mengakses bagian tertentu. Tentukan user-agent di awal setiap blok aturan:

`User-agent: Googlebot` menerapkan aturan hanya untuk crawler Google. `User-agent: *` menerapkan aturan untuk semua bot. Aturan berlaku untuk user-agent tertentu hingga direktif user-agent berikutnya. Anda dapat membuat beberapa blok aturan untuk bot yang berbeda.

Direktif Crawl-delay dan request-rate memberi tahu bot seberapa sering merayapi. `Crawl-delay: 5` memberi tahu bot untuk menunggu 5 detik di antara permintaan. Ini mengurangi beban server. `Request-rate: 1/10` memberi tahu bot untuk membuat paling banyak 1 permintaan per 10 detik. Dokumentasi robots.txt Google merinci semua direktif yang didukung.

Direktif lokasi sitemap memberi tahu bot di mana menemukan sitemap Anda. `Sitemap: https://example.com/sitemap.xml` mengarahkan bot ke sitemap XML Anda. Anda dapat menentukan beberapa sitemap. Ini direkomendasikan karena membantu bot menemukan semua halaman Anda secara efisien.

Direktif Clean-param menghapus parameter URL sebelum perayapan. `Clean-param: utm_source&utm_medium https://example.com` memberi tahu Google untuk mengabaikan parameter UTM di example.com. Ini mencegah Google memperlakukan tautan yang dilacak sebagai konten duplikat. Direktif ini kini lebih jarang digunakan karena Google menangani sebagian besar parameter pelacakan secara otomatis.

Uji file robots.txt Anda di penguji robots.txt Google Search Console. Alat ini menunjukkan URL mana yang akan diblokir oleh robots.txt Anda untuk Googlebot. Ini mencegah pemblokiran halaman penting secara tidak sengaja.

Kesimpulan

Robots.txt adalah file sederhana namun krusial untuk mengelola perayapan mesin pencari dan melindungi privasi situs Anda. robots.txt yang dikonfigurasi dengan baik memblokir halaman yang tidak penting, menghemat crawl budget, dan mencegah konten duplikat dirayapi berulang kali. robots.txt yang salah konfigurasi dapat secara tidak sengaja memblokir konten penting dan menjatuhkan peringkat Anda.

Selalu uji perubahan robots.txt sebelum menerapkannya. Gunakan penguji Google Search Console untuk memvalidasi aturan. Pantau statistik perayapan Anda setiap bulan. Blokir konten yang tidak penting dan kelola crawl budget secara efektif. Gunakan alat audit GEO SEO kami untuk mengaudit konfigurasi robots.txt Anda dan mengidentifikasi potensi masalah crawlability dan pengindeksan di seluruh situs Anda.