GEO & AI Search
robots.txt dan Crawler AI: Izinkan atau Blokir GPTBot, ClaudeBot, dan PerplexityBot?
Crawler AI tidak semuanya sama. Sebagian mengambil konten untuk melatih model, sebagian untuk menampilkan jawaban dengan link ke websitemu. Ini cara membedakannya, contoh robots.txt dari situs ini, dan kapan memblokir masuk akal.
Jawaban singkatnya: untuk website bisnis yang ingin ditemukan, izinkan crawler yang dipakai untuk pencarian AI, karena merekalah yang bisa menyebut dan menautkan bisnismu di jawaban. Crawler untuk pelatihan model bisa diputuskan terpisah. Memblokir semua crawler AI sekaligus biasanya justru merugikan bisnis kecil.
Apa itu robots.txt?
robots.txt adalah file teks di alamat namadomain.com/robots.txt yang memberi tahu crawler bagian mana yang boleh dan tidak boleh diakses. File ini aturan sopan santun, bukan pengaman: crawler yang patuh mengikutinya, tapi file ini tidak menyembunyikan halaman dari orang (Google Search Central).
Crawler AI dibagi tiga jenis
Setiap perusahaan AI memakai beberapa nama crawler dengan tugas berbeda. Membedakannya penting, karena memblokir satu tidak otomatis memblokir yang lain.
Jenis | Contoh | Tugasnya | Kalau diblokir |
|---|---|---|---|
Pencarian | OAI-SearchBot, Claude-SearchBot, PerplexityBot | Mengindeks halaman untuk ditampilkan di hasil pencarian AI, dengan link | Bisnismu bisa tidak muncul di hasil pencarian AI tersebut |
Atas permintaan pengguna | ChatGPT-User, Claude-User, Perplexity-User | Membuka halaman saat pengguna bertanya atau menempelkan link | Mesin AI tidak bisa membaca halamanmu saat diminta |
Pelatihan model | GPTBot, ClaudeBot, Google-Extended | Mengumpulkan konten untuk melatih atau mengembangkan model | Konten baru tidak dipakai untuk pelatihan |
Pembagian ini diambil dari dokumentasi masing-masing perusahaan: OpenAI, Anthropic, dan Perplexity. OpenAI menulis bahwa setiap pengaturan berdiri sendiri, misalnya kamu bisa mengizinkan OAI-SearchBot supaya muncul di hasil pencarian sambil melarang GPTBot.
Bagaimana dengan Google?
Google-Extended hanya mengatur apakah konten dipakai untuk model Gemini dan Vertex AI. Menurut Google, pengaturan ini tidak berpengaruh ke Google Search (Google's common crawlers). AI Overviews dan AI Mode memakai indeks Google Search biasa, jadi yang menentukan tetap Googlebot (AI features and your website).
Contoh nyata: robots.txt rizqiakbar.com
Situs ini mengizinkan mesin pencari dan crawler pencarian AI secara eksplisit, dan menutup satu folder admin CMS yang memang tidak berguna untuk diindeks:
# Search engines and AI search
User-agent: Googlebot
User-agent: Bingbot
User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: Claude-SearchBot
User-agent: Claude-User
User-agent: PerplexityBot
User-agent: Perplexity-User
Allow: /
Disallow: /_emdash/
# Everyone else
User-agent: *
Allow: /
Disallow: /_emdash/
Sitemap: https://rizqiakbar.com/sitemap.xmlDaftarnya dipotong supaya ringkas. Versi lengkapnya bisa dibuka di rizqiakbar.com/robots.txt. Crawler pelatihan tidak diblokir di sini karena situs ini memang ingin tulisannya dibaca dan dikutip seluas mungkin.
Kapan memblokir crawler pelatihan masuk akal?
- Kontenmu adalah produk yang dijual, misalnya kursus berbayar, riset, atau resep yang menjadi inti bisnis.
- Kamu media atau penerbit yang sedang bernegosiasi soal lisensi konten.
- Server kecilmu terbebani oleh crawler, dan log menunjukkan crawler tertentu yang paling banyak mengakses.
Untuk kebanyakan UMKM yang menulis tentang produk dan jasanya sendiri, alasan-alasan ini jarang berlaku. Disebut mesin AI biasanya lebih menguntungkan daripada tidak.
Periksa juga pengaturan CDN
Beberapa layanan CDN dan hosting menyediakan tombol untuk memblokir bot AI secara otomatis. Cloudflare, misalnya, pernah mengubah pengaturan bawaannya untuk domain baru (Cloudflare). Kalau websitemu memakai CDN, cek pengaturannya, karena blokir di sana tidak terlihat di robots.txt.
Versi budget terbatas
Langkah | Biaya | Waktu | Catatan |
|---|---|---|---|
Buka namadomainmu.com/robots.txt dan baca isinya | Gratis | 5 menit | Cari baris Disallow: / di bawah nama crawler AI |
Cek pengaturan bot di CDN atau hosting | Gratis | 15 menit | Sering lupa diperiksa |
Tambahkan aturan untuk crawler pencarian AI | Gratis | 15 menit | Di WordPress biasanya lewat plugin SEO |
Minta audit teknis | Sekali bayar | Sedikit | Kalau websitemu besar atau memakai banyak plugin |
Kapan saran ini tidak berlaku
- Kalau websitemu memuat data pribadi pelanggan, jangan mengandalkan robots.txt. Lindungi dengan login, karena robots.txt bisa dibaca siapa saja dan tidak mengunci apa pun.
- Kalau perusahaanmu punya kebijakan hukum soal penggunaan konten untuk AI, ikuti kebijakan itu, bukan saran umum ini.
- Kalau websitemu belum terindeks Google sama sekali, masalahnya kemungkinan bukan di crawler AI. Mulai dari Search Console.
Mulai dari mana minggu ini
- Buka robots.txt websitemu dan catat crawler mana saja yang disebut.
- Pastikan tidak ada Disallow: / untuk Googlebot, Bingbot, atau crawler pencarian AI.
- Uji apakah bisnismu sudah disebut mesin AI dengan langkah di cara mengecek apakah bisnismu disebut ChatGPT.
Pertanyaan singkat
Kalau aku memblokir GPTBot, apakah bisnisku hilang dari ChatGPT? Tidak otomatis. GPTBot untuk pelatihan, sedangkan hasil pencarian ChatGPT memakai OAI-SearchBot. Keduanya diatur terpisah.
Apakah llms.txt menggantikan robots.txt? Tidak. robots.txt mengatur akses crawler. llms.txt adalah usulan format untuk merangkum isi situs bagi model bahasa, dan belum menjadi standar yang dipakai semua mesin.
Apakah perubahan robots.txt langsung berlaku? Crawler membaca ulang file ini secara berkala. Perubahan biasanya terbaca dalam hitungan jam sampai hari, tergantung crawlernya.
Kesiapan teknis seperti ini termasuk dalam audit SEO & GEO. Alasan lain kenapa UMKM jarang disebut mesin AI ada di artikel ini.
Tulisan lain
