Lo tau nggak, baru baru ini bots melampaui human traffic di internet buat pertama kalinya? Nah, Cloudflare sebagai salah satu infrastruktur internet terbesar di dunia, nggak mau diam aja ngeliatin para AI companies "ngambul" konten publisher tanpa bayar. Gila sih, ini beneran happened faster than expected - padahal baru predicted bakal occur tahun depan.
Kebijakan Baru Cloudflare: AI Crawlers Wajib Bayar! 💸
Cloudflare baru aja umumin kebijakan baru yang bakal nyepeng distribusi web crawlers buat AI agents dan training. Mulai 15 September 2026, default settings Cloudflare bakal langsung nge-block "mixed-use" crawlers dari halaman-halaman yang hosting ads. Jadi, crawlers yang nyampurin search, agent use, dan training bakal diblokir — kecuali site owner ubah settings manual.
Perubahan ini apply buat:
- New customers Cloudflare
- New sites yang dibuat existing customers
- All existing free customers
Artinya, AI model providers bakal ketemu wall kalau mau akses web content buat training atau powering agentic services mereka. No free lunch anymore, bro!
Google Called Out Secarahalus 🤡
Yang bikin interesting, Cloudflare secara halus calling out "the world's largest search engine" (spoiler: itu Google) yang punya akses sekitar 2x lebih banyak informasi dibanding AI companies lain. Kenapa? Karena Google bikin susah buat customers buat tetap discoverable tanpa simultaneously dipakai buat AI training.
Google sih udah push back, bilang mereka punya Google Extended — bot yang lets site owners opt out dari AI training dan products seperti Gemini Apps sama Vertex API, tanpa impact site inclusion di Google Search. Tapi ya, flagship Googlebot tetep crawls buat Search plus AI features kayak AI Overviews dan AI Mode. Classic ambiguous position lah kalau kata gue.
Tools Baru: Pay Per Use Model 🚀
Nah ini yang menurut gue game-changing. Cloudflare launching "Pay Per Use" — bukan lagi cuma "Pay Per Crawl" — yang allows publishers nge-charge AI companies when their content creates value, nggak cuma when it's fetched.
Partners awal:
- Ceramic.ai — publisher dibayar pas konten mereka muncul di AI search results
- You.com — publisher dibayar pas You.com akses premium content mereka
Fitur ini bakal help publishers conserve bandwidth dan compute resources. Tau nggak, data Cloudflare nunjukin bahwa over 50% crawl traffic dari AI crawlers itu actually re-fetching unchanged pages. Buang buang resources banget kan?
"Now that the majority of traffic on the Internet is non-human, we must go further and act faster so that a sustainable ecosystem can emerge." — Matthew Prince, Co-founder & CEO Cloudflare
Geek Opinion: Big W atau Red Flag? 🧐
Menurut gue, ini big W buat ekosistem digital yang lebih fair. AI companies selama ini arguably have been freeloading off publishers' content buat training models yang потом mereka monetize. Meanwhile publishers stuck dengan bandwidth costs tanpa compensation.
Tapi ya, ada potential challenges juga. Gimana mekanisme pricing-nya? Apakah ini bakal bikin AI development melambat? Atau justru bakal force AI companies jadi lebih efficient dan respectful dalam cara mereka akses data?
Yang jelas, ini langkah signifikan ke arah ecosystem yang lebih sustainable. Cloudflare positioned themselves sebagai mediator antara publishers dan AI companies, dan honestly? Mereka pretty well-suited buat role itu. September 2026 masih lama, tapi buat AI companies yang masih main ground — lo better start thinking about gimana cara comply sama regulasi baru ini.
Lo think ini langkah fair atau justru bakal hambat innovation? Drop comment lo below! 👇
