Jawaban AI

llms.txt vs robots.txt: fungsi masing-masing dan mana yang perlu

Diperbarui · Penerbit: AMA CLASS, K.K. (bahasa Inggris)

Jawaban singkat

robots.txt mengatur URL mana yang boleh diambil crawler, dan sudah dipakai mesin telusur selama bertahun-tahun. llms.txt adalah usulan yang lebih baru: ringkasan situs dalam format Markdown untuk alat AI. Google menyatakan Google Penelusuran tidak memakai llms.txt, jadi file ini tidak membantu maupun merugikan visibilitas Anda di sana. Cek robots.txt dulu. Menganggap llms.txt opsional adalah pandangan kami.

Apa fungsi robots.txt

robots.txt adalah file teks biasa di tingkat teratas situs, misalnya https://www.example.com/robots.txt dan menurut Google file ini memberi tahu crawler URL mana yang boleh diakses, terutama untuk mengelola lalu lintas crawler.

File ini bukan cara untuk menjauhkan halaman dari Google. Untuk itu Google menyarankan noindex atau perlindungan kata sandi, karena URL yang diblokir tetap bisa muncul jika situs lain menautkannya. Google juga mencatat bahwa crawler tepercaya mengikuti aturan, tetapi crawler lain mungkin tidak.

Apa itu llms.txt

llms.txt adalah usulan yang diterbitkan di llmstxt.org pada September 2024. Usulan ini menjelaskan file Markdown yang memberi alat AI panduan singkat dan terkurasi tentang sebuah situs. Satu-satunya bagian wajib adalah judul utama berisi nama situs. Bagian opsional antara lain ringkasan satu baris dan daftar link.

Usulan ini terbuka untuk masukan komunitas, jadi baca sebagai saran yang masih dibahas, bukan standar yang sudah tetap. Itu tafsiran kami.

Perbedaan keduanya

Usulan llms.txt sendiri menyebut kedua file punya tujuan berbeda. robots.txt menyatakan akses otomatis apa yang diizinkan. llms.txt dimaksudkan untuk dibaca sesuai kebutuhan ketika alat AI memerlukan informasi untuk membantu pengguna.

  • robots.txt: aturan akses. Dibaca crawler mesin telusur dan AI. Kesalahan bisa membuat mesin telusur berhenti meng-crawl situs Anda
  • llms.txt: ringkasan konten. Tidak dipakai Google Penelusuran. Kesalahan biasanya hanya berarti ringkasan yang usang
  • Sitemap: daftar halaman yang ingin ditemukan. Usulan llms.txt menyebut sitemap tidak bisa menggantikan fungsi llms.txt

Kata Google tentang llms.txt

Panduan Google untuk fitur AI generatif menyatakan Anda tidak memerlukan file baru yang bisa dibaca mesin, file teks AI, atau Markdown agar tampil di Google Penelusuran, karena Google Penelusuran tidak memakainya. Google menambahkan bahwa membuat llms.txt untuk layanan lain boleh saja, dan hal itu tidak akan merugikan maupun membantu visibilitas atau peringkat Anda di Google Penelusuran.

Agar memenuhi syarat untuk fitur AI di Google Penelusuran, menurut Google halaman harus terindeks dan memenuhi syarat tampil dengan cuplikan, dan situs tidak boleh dikecualikan di setelan AI generatif Penelusuran di Search Console.

Yang dicek hari ini

Urutannya rekomendasi kami. Satu item hari ini sudah cukup.

  • Buka yoursite.com/robots.txt dan cari "Disallow: /" di bawah "User-agent: *". Cek juga apakah ada grup khusus Googlebot: Google memakai grup cocok yang paling spesifik. Tanyakan ke pengelola situs kenapa ada blokir yang tidak terduga sebelum mengubahnya
  • Cari nama usaha Anda dan pastikan halaman Anda muncul
  • Jika tetap ingin membuat llms.txt, samakan isinya dengan halaman Anda dan tentukan siapa yang memperbaruinya

Situs kami sendiri belum punya llms.txt per 8 November 2026. Kami akan menambahkannya jika layanan yang kami andalkan memintanya dalam dokumentasi resminya.

Posisi kami

Get1pct adalah layanan yang mengirim hingga tiga perbaikan konkret pada hari yang punya ide cocok, termasuk pengecekan seperti ini. Layanan ini tidak bisa menjanjikan tempat di jawaban AI. Cek panduan di halaman ini untuk ketersediaan dan syarat terbaru. Anda juga bisa meninggalkan email untuk menerima satu pemberitahuan ketersediaan.

Sumber