Alat gratis

Cek apakah robots.txt memblokir crawler AI

Crawler adalah program yang membaca situs web secara otomatis. Masukkan URL untuk melihat apakah robots.txt Anda memblokir crawler AI, dipisahkan antara crawler pencarian dan crawler pelatihan. Gratis, tanpa daftar, dan tanpa AI.

Kapan dipakai

  • Situs Anda tidak muncul di jawaban pencarian AI
  • Developer, penyedia hosting, atau plugin mengubah robots.txt
  • Anda hanya ingin memblokir crawler pelatihan dan ingin memastikannya

Yang bisa dilihat

  • Apakah robots.txt memblokir penuh, memblokir sebagian, atau mengizinkan setiap crawler AI
  • Aturan mana yang berlaku
  • Apa kata resmi tiap perusahaan tentang dampak pemblokiran

Yang tidak bisa diketahui

  • Blokir yang diatur di CDN atau pengaturan server
  • Apakah jawaban AI benar-benar mengutip situs Anda, atau apakah crawler benar-benar berkunjung
  • Bagaimana fetcher yang dipicu pengguna, seperti ChatGPT-User, diperlakukan

Kami hanya membaca file robots.txt yang publik. URL dan hasilnya tidak kami simpan. Informasi koneksi hanya dipakai sementara untuk membatasi jumlah permintaan.

Crawler yang kami cek, dan penjelasan pemiliknya

Peran tiap crawler diambil dari dokumentasi resmi masing-masing perusahaan, dicek pada 7 November 2026. Dokumentasi bisa berubah, jadi baca halaman resminya sebelum memutuskan.

Crawler pencarian

OAI-SearchBotOpenAI
Membaca situs agar bisa muncul di ChatGPT search. Jika diblokir, situs tidak akan muncul di jawaban ChatGPT search, meski masih bisa muncul sebagai link navigasi (menurut OpenAI).
Claude-SearchBotAnthropic
Membaca situs untuk meningkatkan kualitas hasil pencarian Claude. Jika diblokir, situs tidak dibaca untuk pencarian, sehingga visibilitas dan akurasinya di hasil pencarian bisa berkurang (menurut Anthropic).
PerplexityBotPerplexity
Membaca situs agar Perplexity bisa menampilkan dan menautkannya di hasil pencarian. Menurut Perplexity, crawler ini tidak dipakai untuk melatih foundation model. Jika diblokir, Anda menolak pembacaan yang dipakai Perplexity untuk menampilkan situs Anda di hasil pencariannya (berdasarkan penjelasan Perplexity).

Crawler pelatihan dan lainnya

GPTBotOpenAI
Membaca konten yang dapat dipakai untuk melatih foundation model AI generatif milik OpenAI. Memblokirnya menandakan bahwa Anda tidak ingin konten Anda dipakai untuk pelatihan. ChatGPT search diatur terpisah oleh OAI-SearchBot (menurut OpenAI).
ClaudeBotAnthropic
Membaca konten yang dapat dipakai untuk melatih model AI generatif milik Anthropic. Memblokirnya meminta Anthropic untuk tidak memasukkan konten Anda di masa mendatang ke data pelatihan (menurut Anthropic).
Google-ExtendedGoogle
Token kontrol untuk menentukan apakah konten dipakai untuk melatih model Gemini mendatang dan untuk grounding jawaban. Token ini tidak meng-crawl sendiri. Menurut Google, ini tidak memengaruhi pencantuman atau peringkat di Google Search.
Applebot-ExtendedApple
Token kontrol untuk menentukan apakah Apple boleh memakai konten untuk AI generatifnya. Token ini tidak meng-crawl sendiri. Menurut Apple, halaman yang diblokir tetap bisa muncul di hasil pencarian Apple, dan token ini tidak dipakai untuk peringkat.
CCBotCommon Crawl
Mengumpulkan data untuk Common Crawl, organisasi nirlaba yang menyediakan datasetnya secara gratis bagi peneliti dan perusahaan. Halaman resminya tidak menyebut pelatihan AI, tetapi karena datanya publik, kami memperkirakan data ini juga bisa dipakai untuk pelatihan (asumsi kami). Jika diblokir, Common Crawl berhenti membaca situs Anda. Kami tidak bisa memastikan bagaimana data yang sudah dipublikasikan diperlakukan.

Cara memblokir crawler

Menambahkan baris berikut ke robots.txt meminta crawler yang disebut untuk tidak membaca bagian mana pun dari situs Anda. Ganti namanya untuk menerapkannya ke crawler lain. robots.txt adalah permintaan, bukan jaminan bahwa halaman tidak akan dibaca.

User-agent: GPTBot
Disallow: /

Dokumentasi resmi

Untuk mengecek title, description, dan noindex sebuah halaman, pakai cek title dan meta description.

Alat gratis lainnya