Alat gratis
Cek apakah robots.txt memblokir crawler AI
Crawler adalah program yang membaca situs web secara otomatis. Masukkan URL untuk melihat apakah robots.txt Anda memblokir crawler AI, dipisahkan antara crawler pencarian dan crawler pelatihan. Gratis, tanpa daftar, dan tanpa AI.
Kapan dipakai
- Situs Anda tidak muncul di jawaban pencarian AI
- Developer, penyedia hosting, atau plugin mengubah robots.txt
- Anda hanya ingin memblokir crawler pelatihan dan ingin memastikannya
Yang bisa dilihat
- Apakah robots.txt memblokir penuh, memblokir sebagian, atau mengizinkan setiap crawler AI
- Aturan mana yang berlaku
- Apa kata resmi tiap perusahaan tentang dampak pemblokiran
Yang tidak bisa diketahui
- Blokir yang diatur di CDN atau pengaturan server
- Apakah jawaban AI benar-benar mengutip situs Anda, atau apakah crawler benar-benar berkunjung
- Bagaimana fetcher yang dipicu pengguna, seperti ChatGPT-User, diperlakukan
Crawler yang kami cek, dan penjelasan pemiliknya
Peran tiap crawler diambil dari dokumentasi resmi masing-masing perusahaan, dicek pada 7 November 2026. Dokumentasi bisa berubah, jadi baca halaman resminya sebelum memutuskan.
Crawler pencarian
- OAI-SearchBotOpenAI
- Membaca situs agar bisa muncul di ChatGPT search. Jika diblokir, situs tidak akan muncul di jawaban ChatGPT search, meski masih bisa muncul sebagai link navigasi (menurut OpenAI).
- Claude-SearchBotAnthropic
- Membaca situs untuk meningkatkan kualitas hasil pencarian Claude. Jika diblokir, situs tidak dibaca untuk pencarian, sehingga visibilitas dan akurasinya di hasil pencarian bisa berkurang (menurut Anthropic).
- PerplexityBotPerplexity
- Membaca situs agar Perplexity bisa menampilkan dan menautkannya di hasil pencarian. Menurut Perplexity, crawler ini tidak dipakai untuk melatih foundation model. Jika diblokir, Anda menolak pembacaan yang dipakai Perplexity untuk menampilkan situs Anda di hasil pencariannya (berdasarkan penjelasan Perplexity).
Crawler pelatihan dan lainnya
- GPTBotOpenAI
- Membaca konten yang dapat dipakai untuk melatih foundation model AI generatif milik OpenAI. Memblokirnya menandakan bahwa Anda tidak ingin konten Anda dipakai untuk pelatihan. ChatGPT search diatur terpisah oleh OAI-SearchBot (menurut OpenAI).
- ClaudeBotAnthropic
- Membaca konten yang dapat dipakai untuk melatih model AI generatif milik Anthropic. Memblokirnya meminta Anthropic untuk tidak memasukkan konten Anda di masa mendatang ke data pelatihan (menurut Anthropic).
- Google-ExtendedGoogle
- Token kontrol untuk menentukan apakah konten dipakai untuk melatih model Gemini mendatang dan untuk grounding jawaban. Token ini tidak meng-crawl sendiri. Menurut Google, ini tidak memengaruhi pencantuman atau peringkat di Google Search.
- Applebot-ExtendedApple
- Token kontrol untuk menentukan apakah Apple boleh memakai konten untuk AI generatifnya. Token ini tidak meng-crawl sendiri. Menurut Apple, halaman yang diblokir tetap bisa muncul di hasil pencarian Apple, dan token ini tidak dipakai untuk peringkat.
- CCBotCommon Crawl
- Mengumpulkan data untuk Common Crawl, organisasi nirlaba yang menyediakan datasetnya secara gratis bagi peneliti dan perusahaan. Halaman resminya tidak menyebut pelatihan AI, tetapi karena datanya publik, kami memperkirakan data ini juga bisa dipakai untuk pelatihan (asumsi kami). Jika diblokir, Common Crawl berhenti membaca situs Anda. Kami tidak bisa memastikan bagaimana data yang sudah dipublikasikan diperlakukan.
Cara memblokir crawler
Menambahkan baris berikut ke robots.txt meminta crawler yang disebut untuk tidak membaca bagian mana pun dari situs Anda. Ganti namanya untuk menerapkannya ke crawler lain. robots.txt adalah permintaan, bukan jaminan bahwa halaman tidak akan dibaca.
User-agent: GPTBot Disallow: /
Dokumentasi resmi
- OpenAI: Overview of OpenAI Crawlers
- Anthropic: Does Anthropic crawl data from the web?
- Perplexity: Perplexity Crawlers
- Google: Google’s common crawlers (Google-Extended)
- Apple: About Applebot
- Common Crawl: CCBot
Untuk mengecek title, description, dan noindex sebuah halaman, pakai cek title dan meta description.