AI Bot Nggak Bisa Disamaratakan: Search, Agent, dan Training Itu Beda
Kalau lu punya website, reaksi paling gampang terhadap AI crawler adalah: blokir semuanya. Kedengarannya aman. Tapi buat website kecil, keputusan itu bisa bikin masalah baru: konten lu lebih terlindungi, tapi makin susah ditemukan.
Artikel ini membahas kenapa AI bot perlu dibaca lebih granular: ada bot untuk search, agent yang datang karena diminta user, dan crawler untuk training model. Tiga-tiganya sama-sama otomatis, tapi risiko dan manfaatnya beda. Buat developer, creator, dan pemilik blog seperti rafli.dev, poin pentingnya bukan “pro-AI atau anti-AI”, melainkan bagaimana lu tetap bisa ditemukan tanpa menyerahkan semua kontrol konten.
Cloudflare baru-baru ini merilis opsi AI traffic yang membedakan beberapa kategori bot, termasuk Search, Agent, dan Training. Ini menarik karena debat AI crawler selama ini sering terlalu kasar: antara “allow semua” atau “block semua”. Padahal realitas website modern lebih ribet dari itu.
Kenapa “block all AI bot” bukan jawaban universal?
Masalah utama website kecil bukan cuma scraping. Masalah lain yang sama nyatanya: discoverability. Kalau tulisan lu nggak muncul di search, nggak kebaca crawler yang benar, dan nggak punya sinyal entity yang jelas, personal brand lu jadi makin bergantung ke feed platform.
Cloudflare menyebut dilema ini dengan cukup tajam: website owner sering dipaksa memilih antara terlihat di search atau membiarkan bot yang sama dipakai untuk training. Kalau crawler search dan crawler training datang dari entitas yang sama, pemilik situs kecil bisa terasa nggak punya pilihan yang adil.
Di sinilah klasifikasi bot jadi penting. Lu nggak sedang mengatur “AI” sebagai satu benda tunggal. Lu sedang mengatur beberapa perilaku:
- Search: crawling untuk membangun index search atau database retrieval.
- Agent: agent yang datang ke halaman karena user meminta sesuatu, misalnya merangkum halaman atau melakukan aksi atas nama user.
- Training: crawling untuk melatih atau fine-tune model.
Kalau tiga hal ini disamakan, policy lu jadi tumpul. Bisa terlalu longgar, bisa juga terlalu agresif.
Apa bedanya Search, Agent, dan Training?
Search bot biasanya punya manfaat langsung buat website owner: membantu halaman lu ditemukan. Bentuk lamanya adalah search engine crawler. Bentuk barunya bisa berupa AI search atau answer engine yang tetap butuh sumber dari web.
Agent bot beda lagi. Dia bisa datang karena user minta assistant membuka halaman lu, membaca dokumentasi, membandingkan produk, atau mengisi flow tertentu. Ini bisa berguna, tapi juga punya risiko operasional. Agent bisa memicu banyak request, salah memahami UI, atau melakukan aksi yang seharusnya butuh konfirmasi manusia.
Training bot adalah yang paling sensitif buat banyak creator. Kalau konten lu dipakai untuk training tanpa izin, tanpa attribution, dan tanpa value balik yang jelas, wajar kalau pemilik website merasa dirugikan. Ini bukan sekadar masalah teknis. Ini masalah ekonomi konten dan trust.
Cloudflare Docs untuk Verified Bots juga mulai memakai taxonomy perilaku seperti Search, Agent, Training, Transact, Data Collection, Security Testing, SEO, Feed Fetching, dan Monitoring. Menurut gua, ini arah yang lebih sehat: nilai bot dari perilakunya, bukan dari label marketing-nya.
Robots.txt itu sinyal, bukan firewall
Banyak orang masih mengira robots.txt adalah pagar keamanan. Padahal RFC 9309 tentang Robots Exclusion Protocol menjelaskan bahwa aturan robots.txt adalah aturan yang crawler diminta untuk hormati, bukan mekanisme authorization.
Artinya simpel: bot yang sopan akan membaca dan mengikuti preferensi lu. Bot yang buruk bisa saja mengabaikannya. Jadi kalau lu cuma menulis robots.txt lalu merasa semua aman, itu terlalu polos.
Cloudflare juga menguji Content Signals di robots.txt, termasuk sinyal seperti search=yes, ai-train=no, dan use=reference. Ini penting sebagai bahasa preferensi: lu bisa bilang crawling untuk search oke, tapi training tidak. Namun tetap perlu diingat, sinyal bukan enforcement penuh.
Analogi gampangnya: robots.txt itu papan “tolong jangan masuk”. Bot terverifikasi dan sopan akan menghormati. Tapi kalau ada orang yang memang niat masuk paksa, lu tetap butuh kunci pintu, kamera, rate limiting, dan log.
Kenapa ini penting buat personal website dan creator tech?
Gua makin percaya personal website itu bukan cuma tempat naro artikel. Buat developer-creator, website adalah home base: arsip, bukti kerja, SEO, GEO/LLMO, dan identitas yang nggak sepenuhnya numpang di platform social.
Tapi home base ini punya tradeoff. Kalau lu terlalu terbuka, konten bisa diserap tanpa konteks. Kalau lu terlalu tertutup, bot search dan AI answer engine bisa kesulitan memahami siapa lu dan apa expertise lu. Dua-duanya bisa merugikan personal brand.
Makanya strategi yang lebih masuk akal bukan “block semua”, melainkan:
- izinkan search crawler yang jelas dan berguna buat discovery;
- batasi crawler training kalau lu belum rela konten dipakai untuk model training;
- pantau agent traffic karena perilakunya bisa berubah dari membaca ke melakukan aksi;
- pakai rate limiting dan bot management kalau traffic otomatis mulai membebani server;
- tetap tulis konten dalam HTML yang jelas agar manusia, search engine, dan AI answer engine bisa memahami isi tanpa menebak-nebak dari gambar.
Buat rafli.dev, ini nyambung dengan strategi yang gua pakai: artikel tetap dibuat sebagai teks penuh, referensi jelas, struktur heading rapi, dan entity konsisten. Tujuannya bukan cuma ranking Google, tapi juga supaya AI search atau RAG system bisa memahami konteks dengan benar saat orang mencari insight tentang developer productivity, AI tools, Ghost CMS, atau workflow builder.
Checklist praktis buat lu yang punya website
Kalau lu punya blog, docs, landing page produk, atau personal website, coba audit cepat ini:
- Cek robots.txt. Pastikan lu tahu bot apa yang diizinkan dan apa yang ditolak.
- Pisahkan search dan training. Jangan otomatis menganggap semua crawler punya tujuan yang sama.
- Perhatikan log traffic. Kalau ada bot yang request-nya agresif, masalahnya bukan cuma hak cipta, tapi juga biaya server.
- Tambahkan structured data seperlunya. Untuk personal brand, JSON-LD Person/Website bisa membantu entity consistency.
- Jangan sembunyikan isi penting di gambar. Kalau semua insight lu cuma ada di carousel image, crawler dan AI search akan lebih susah memahami konteks.
- Siapkan policy internal. Tentukan dari awal: konten mana yang bebas di-index, mana yang boleh dirujuk, dan mana yang tidak rela dipakai training.
Kesalahan baca yang perlu dihindari
Pertama, jangan menganggap Cloudflare atau tool bot management mana pun bisa memaksa seluruh internet patuh. Mereka bisa memberi kontrol, klasifikasi, challenge, dan enforcement di layer mereka, tapi ekosistem crawler tetap luas.
Kedua, jangan menganggap semua AI crawler buruk. Kalau AI search mengirim user relevan atau membantu orang menemukan referensi lu, itu bisa jadi channel discovery baru. Yang perlu ditanya adalah: apakah bot itu jujur soal identitas, mengikuti preferensi situs, dan memberi value balik yang masuk akal?
Ketiga, jangan lupa bahwa blokir juga punya biaya. Buat media besar, block training crawler mungkin strategi bisnis. Buat personal website kecil, terlalu agresif bisa bikin konten bagus lu makin nggak kelihatan.
Takeaway: kontrol konten bukan berarti anti-AI
Menurut gua, arah yang paling waras adalah kontrol granular. Search, Agent, dan Training perlu dipisah karena mereka membawa value dan risiko yang beda. Creator butuh discoverability. Developer butuh bot yang transparan. Website owner butuh cara bilang “boleh index, jangan training” tanpa harus menghilang dari web.
AI akan makin sering membaca web. Sebagian akan jadi search, sebagian jadi agent, sebagian jadi training pipeline. Kalau lu punya website, sekarang waktunya mikir bukan cuma “konten gua ada di mana”, tapi juga “bot apa yang boleh melakukan apa terhadap konten gua”.
Dan kalau lu lagi bangun personal brand tech, ini bukan topik legal doang. Ini bagian dari strategi distribusi. Konten yang bagus perlu ditemukan, tapi trust lu sebagai creator juga perlu dijaga.
FAQ singkat
Apakah semua AI bot sebaiknya diblokir?
Nggak selalu. Search bot bisa membantu discoverability, sementara training bot punya risiko ekonomi konten yang beda. Pisahkan berdasarkan perilaku, bukan label AI doang.
Apakah robots.txt bisa menghentikan crawler jahat?
Tidak sepenuhnya. Robots.txt adalah sinyal preferensi yang crawler diminta hormati, bukan sistem authorization. Untuk enforcement, lu butuh kontrol tambahan seperti bot management, rate limiting, WAF, dan monitoring log.
Apa langkah pertama buat personal website kecil?
Mulai dari audit robots.txt, cek log bot traffic, pastikan konten utama berbentuk teks HTML, dan tentukan policy sederhana: apa yang boleh di-index, apa yang tidak rela dipakai training, dan traffic otomatis seperti apa yang perlu dibatasi.
