Jawaban AI
Cara cek robots.txt sendiri, termasuk crawler AI
Jawaban singkat
Tambahkan /robots.txt di belakang alamat situs dan buka di browser. Cari "Disallow: /" di bawah "User-agent: *", yang meminta semua crawler melewati seluruh situs, dan di bawah nama crawler penelusuran seperti OAI-SearchBot atau PerplexityBot. Anda bisa melakukannya hari ini tanpa login ke mana pun.
Buka filenya
robots.txt berada di tingkat teratas situs, misalnya https://www.example.com/robots.txt dan menurut Google aturannya hanya berlaku untuk host, protokol, dan port tempat file itu berada. Subdomain seperti shop.example.com punya file sendiri, jadi buka juga file itu jika halaman pemesanan atau toko Anda berjalan di sana.
Jika file menghasilkan "not found" (404), Google menganggapnya seolah tidak ada robots.txt dan tidak ada batasan crawling.
Baca lima pola umum
"User-agent" menyatakan untuk crawler mana sekelompok aturan berlaku. "Disallow" menyatakan ke mana crawler tidak boleh pergi. Penjelasan di bawah mengikuti spesifikasi Google dan dokumentasi masing-masing perusahaan crawler. Crawler lain mungkin membaca file ini secara berbeda.
- "User-agent: *" lalu "Disallow: /": meminta semua crawler melewati seluruh situs. Kecuali Googlebot punya grup sendiri, ini juga berlaku untuk Google Penelusuran. Di situs yang sudah live, cari tahu kenapa aturan itu ada
- "User-agent: OAI-SearchBot" lalu "Disallow: /": memblokir crawler itu berdasarkan nama. OpenAI menyatakan situs seperti ini tidak akan ditampilkan di jawaban penelusuran ChatGPT, meski masih bisa muncul sebagai link navigasi
- "User-agent: *" lalu "Disallow: /wp-admin/": hanya memblokir area admin WordPress. Halaman publik Anda tidak diblokir
- "Disallow:" tanpa apa pun setelahnya: Google mengabaikan aturan tanpa path, jadi tidak ada yang diblokir
- "User-agent: *" dan grup bernama sekaligus: crawler Google hanya mengikuti grup paling spesifik yang cocok dan mengabaikan sisanya
Crawler penelusuran dan crawler pelatihan itu berbeda
Untuk mengecek apakah Anda bisa tampil di jawaban penelusuran AI, cari crawler penelusurannya. Nama-nama ini berasal dari dokumentasi masing-masing perusahaan.
- Googlebot: Google Penelusuran. Fitur AI Google di Penelusuran dikendalikan lewat aturan robots.txt yang sama untuk Googlebot
- OAI-SearchBot: penelusuran ChatGPT
- Claude-SearchBot: meningkatkan hasil penelusuran untuk pengguna Claude
- PerplexityBot: hasil penelusuran Perplexity
GPTBot dan ClaudeBot mengumpulkan konten yang mungkin dipakai untuk pelatihan. Anda bisa memutuskannya terpisah dari penelusuran. ChatGPT-User dan Perplexity-User bertindak atas permintaan seseorang. OpenAI menyatakan aturan robots.txt mungkin tidak berlaku untuknya, dan Perplexity menyatakan fetcher-nya umumnya mengabaikan aturan itu.
Cek di Search Console
Jika Anda memakai Search Console, laporan robots.txt di Setelan menampilkan file robots.txt yang ditemukan Google untuk hingga 20 host, kapan terakhir diambil, dan error apa pun. Setelah diperbaiki, Anda bisa meminta crawl ulang file itu dari laporan tersebut. Laporan ini tersedia untuk properti Domain dan properti awalan URL tanpa path.
Yang tidak bisa diketahui dari robots.txt
Mengetahui bahwa Anda tidak memblokir sebuah crawler masih menyisakan hal-hal berikut.
- Ini bukan jaminan. Google menyatakan crawler tepercaya mengikuti aturan, tetapi crawler lain mungkin tidak
- CDN, firewall, atau setelan server bisa memblokir crawler tanpa tercantum di robots.txt. Perplexity mencatat firewall mungkin perlu mengizinkan crawler-nya
- Untuk menjauhkan halaman dari penelusuran, Google menyarankan noindex. Halaman yang diblokir di robots.txt tidak bisa dibaca, jadi noindex-nya juga tidak terlihat
- Tidak memblokir crawler tidak berarti Anda akan muncul di jawaban AI
Perubahan juga butuh waktu. Google umumnya menyimpan cache robots.txt hingga 24 jam. OpenAI menyatakan sistem penelusurannya bisa butuh sekitar 24 jam untuk menyesuaikan.
Jika menemukan blokir
Jangan langsung menghapusnya. Tanyakan ke pengelola situs kenapa aturan itu ada. Bisa jadi sisa dari masa pengembangan, atau keputusan perusahaan. "Disallow: /" di bawah "User-agent: *" juga bisa menghentikan Google Penelusuran, jadi tanyakan soal itu hari ini. Itu saran kami.
Get1pct adalah layanan yang menjalankan pengecekan seperti ini dan mengirim hingga tiga perbaikan pada hari yang punya ide cocok. Layanan ini tidak bisa melihat setelan CDN atau server, dan tidak bisa menjanjikan tempat di jawaban AI. Cek panduan di halaman ini untuk ketersediaan dan syarat terbaru. Anda juga bisa meninggalkan email untuk menerima satu pemberitahuan ketersediaan.
Sumber
- Google: Cara Google menafsirkan spesifikasi robots.txt
- Google: Pengantar robots.txt
- Bantuan Search Console: Laporan robots.txt
- Google: Memblokir pengindeksan Penelusuran dengan noindex
- Google: Fitur AI dan situs Anda
- OpenAI: Ringkasan crawler OpenAI
- Perplexity: Crawler Perplexity
- Anthropic: Apakah Anthropic meng-crawl data dari web?