Jawaban AI
Perlukah blokir GPTBot? Crawler pelatihan vs crawler penelusuran AI
Jawaban singkat
Memblokir GPTBot adalah keputusan kebijakan yang bisa diambil usaha Anda. GPTBot mengumpulkan konten yang mungkin dipakai untuk melatih model OpenAI, sedangkan OAI-SearchBot menentukan apakah situs Anda tampil di penelusuran ChatGPT, dan OpenAI menyatakan setiap setelan berdiri sendiri. Kesalahan umum adalah memblokir semuanya padahal hanya ingin keluar dari pelatihan.
Setiap perusahaan menamai crawler sesuai tujuannya
Berikut tujuan yang tercantum di dokumentasi masing-masing perusahaan, dicek pada 17 November 2026.
- OpenAI: GPTBot untuk pelatihan, OAI-SearchBot untuk penelusuran ChatGPT, ChatGPT-User untuk tindakan yang diminta pengguna
- Anthropic: ClaudeBot untuk pelatihan, Claude-SearchBot untuk kualitas penelusuran, Claude-User saat seseorang bertanya kepada Claude
- Perplexity: PerplexityBot untuk hasil penelusuran, yang menurut Perplexity tidak dipakai untuk melatih model dasar; Perplexity-User untuk permintaan pengguna
- Google: Googlebot untuk Penelusuran. Google-Extended mengatur apakah konten dipakai untuk pelatihan Gemini ke depan dan untuk grounding, dan menurut Google tidak memengaruhi penyertaan atau peringkat di Penelusuran
robots.txt untuk setiap tujuan
robots.txt adalah file di root situs Anda yang memberi instruksi kepada crawler.
- Izinkan keduanya: tidak perlu menambahkan apa pun. Jika keduanya diizinkan, OpenAI bisa memakai satu kali crawl untuk kedua tujuan.
- Keluar dari pelatihan tetapi tetap di penelusuran ChatGPT: di bawah User-agent: GPTBot tambahkan Disallow: / dan biarkan OAI-SearchBot.
- Keluar dari keduanya: blokir GPTBot dan OAI-SearchBot. Halaman Anda tidak akan lagi dipakai untuk jawaban penelusuran ChatGPT.
OpenAI menyarankan mengizinkan OAI-SearchBot jika Anda ingin tampil di penelusuran ChatGPT. Mengizinkannya tidak berarti Anda pasti tampil.
Tiga pertanyaan untuk memutuskan
Bagian ini pandangan kami; jawaban yang tepat berbeda untuk tiap usaha.
- Apakah halaman publik berisi materi orisinal, seperti foto atau panduan, yang tidak ingin Anda izinkan untuk pelatihan?
- Apakah kontrak klien atau kebijakan internal sudah mengatur cara konten itu boleh dipakai?
- Apakah Anda ingin ditemukan orang yang mencari pemasok lewat asisten AI?
Jawaban ya untuk salah satu dari dua pertanyaan pertama adalah alasan memblokir GPTBot. Jawaban ya untuk pertanyaan ketiga adalah alasan membiarkan OAI-SearchBot terbuka. Keduanya bisa benar sekaligus. Jika tidak ada yang berlaku, membiarkan setelan default adalah pilihan yang wajar.
Perbaiki kesalahan yang paling umum
"Hentikan AI" sering berubah menjadi aturan yang menghentikan semuanya. Contoh permintaan di bawah ini fiktif.
- Sebelum: User-agent: * diikuti Disallow: / Ini berlaku untuk semua crawler, termasuk Googlebot dan Bingbot.
- Sesudah: User-agent: GPTBot diikuti Disallow: / Hanya crawler yang disebut yang terpengaruh.
- Sebelum: "Tolong blokir AI."
- Sesudah: "Tolong disallow GPTBot, ClaudeBot, dan Google-Extended. Jangan blokir OAI-SearchBot, Claude-SearchBot, atau PerplexityBot. Kirimkan file robots.txt setelah diubah."
Yang tidak bisa dilakukan robots.txt
Google mencatat bahwa patuh atau tidaknya crawler pada robots.txt tergantung crawler itu sendiri. Anthropic menjelaskan pemblokiran ClaudeBot sebagai sinyal untuk mengecualikan materi situs di masa depan dari pelatihan; kami tidak menemukan pernyataan soal konten yang sudah terkumpul. OpenAI menyatakan aturan robots.txt mungkin tidak berlaku untuk kunjungan ChatGPT-User yang dimulai pengguna, dan Perplexity menyatakan Perplexity-User umumnya mengabaikan robots.txt. OpenAI menyebut perubahan bisa butuh sekitar 24 jam untuk berpengaruh pada penelusuran. Untuk menjaga konten tetap privat, taruh di balik login.
Cek file Anda hari ini
Buka domain Anda diikuti /robots.txt. Cari grup GPTBot dan OAI-SearchBot lalu baca baris Disallow-nya, kemudian pastikan User-agent: * tidak diikuti Disallow: / Pengecek crawler AI gratis kami di https://get1pct.com/id/tools/ai-crawler-check membaca file itu untuk Anda dan menampilkan crawler penelusuran dan pelatihan AI mana yang diblokir. Tulis satu baris tentang apa yang Anda putuskan dan alasannya. Aturan juga bisa diterapkan lewat CDN atau firewall, yang tidak terlihat di robots.txt. Kami tidak bisa memutuskan kebijakan ini untuk Anda atau menjanjikan tampil di jawaban AI.