Ce îți trimit înapoi crawlerele AI

De doi ani, sfatul e să îți faci site-ul ușor de citit pentru sistemele AI, pornind de la ideea că a fi citit duce la a fi citat, iar a fi citat aduce vizitatori. Primii doi pași chiar se întâmplă. Al treilea se poate acum măsura, iar cifrele nu arată deloc ca în sfatul acela. Uite cum arată schimbul în realitate, cât te costă găzduirea lui și ce poți face — inclusiv opțiunea, nouă anul acesta, de a-l taxa.

Pagini citite pentru fiecare vizitator uman trimis

Cloudflare Radar, T1 2026. Raportul numără paginile citite față de clicurile umane trimise înapoi către același site. E o medie la nivel de rețea, pe site-urile din Cloudflare, așa că cifra ta va fi alta — dar concluzia stă în ordinul de mărime, nu în zecimale. Googlebot apare ca reper pentru cum arată un crawler de căutare care chiar trimite trafic; nu provine din aceeași măsurătoare.

Schimbul pe care nu l-a acceptat nimeni

Un crawler de căutare și un site au avut dintotdeauna o înțelegere. Crawlerul îți ia paginile și, în schimb, îți trimite oameni care au căutat exact ce ai scris. Raportul n-a fost niciodată unu la unu, dar era suficient de aproape încât nimeni să nu îl privească drept schimb.

Un crawler AI ia aceleași pagini și, în media măsurată, nu întoarce aproape nimic. Conținutul e citit la scară industrială, absorbit într-un răspuns, iar omul care avea nevoie de el nu mai ajunge niciodată la tine. Dacă site-ul tău trăiește din afișări, asta nu e o bătaie de cap — e modelul de business scos discret din priză, în timp ce graficul de trafic pare în continuare aglomerat.

Cât te costă înainte să vină cineva

Primul cost e lățimea de bandă și procesorul. Un crawler care trage zeci de mii de pagini e un tipar de încărcare, iar pe găzduire partajată sau de nivel de intrare concurează cu vizitatorii reali pentru aceleași resurse. Site-urile pe planuri strâmte văd asta ca după-amiezi lente, fără nicio creștere corespunzătoare a sesiunilor — un lucru chiar greu de diagnosticat dacă nu te uiți în loguri după user agent.

Al doilea cost e analitic. Traficul de boți nefiltrat umflă exact cifrele pe care îți bazezi deciziile: ce pagini par populare, cât trafic planifici, ce articole par să merite actualizate. Dacă nu ți-ai împărțit niciodată logurile după user agent, împărțirea asta e de obicei cel mai surprinzător raport pe care îl rulezi anul acesta.

Trei poziții, și niciuna evident corectă

Poți permite tot, pe argumentul că prezența în răspunsurile AI construiește brand chiar și când nu se transformă niciodată într-un clic. E un efect real și probabil e poziția pe care ar trebui să o ia majoritatea firmelor mici, pentru că alternativa e absența din locul unde tot mai mulți oameni își pun acum întrebările.

Poți bloca, prin robots.txt sau o regulă de CDN, ceea ce îți protejează conținutul și serverul și te scoate complet din răspunsurile AI. Și poți acum licenția: pay-per-crawl de la Cloudflare folosește un răspuns HTTP 402 cu un antet de plată semnat, așa că unui crawler i se cere un preț pe cerere, în loc să fie pur și simplu acceptat sau refuzat. A treia opțiune e cea care mută discuția dintr-o chestiune de permisiune într-una comercială.

Data de trecut în calendar

De la 15 septembrie 2026, Cloudflare blochează implicit crawlerele cu utilizare mixtă pe orice pagină care are publicitate. Utilizare mixtă înseamnă un bot care și indexează pentru căutare, și colectează pentru antrenarea modelelor — adică majoritatea. Dacă site-ul tău e în spatele Cloudflare și se monetizează prin reclame, asta îți schimbă setările implicite fără să faci nimic, și merită știut înainte să ți se schimbe compoziția traficului, nu după.

Pasul practic e mai mic decât pare: uită-te ce face acum CDN-ul tău, decide deliberat în loc să lași setarea implicită să decidă și scrie decizia undeva unde o va găsi și tu cel de peste un an. Setarea care te surprinde e mereu cea pe care nu ai ales-o.

Ce nu înseamnă asta

Nu înseamnă că munca de a fi ușor de citit a fost degeaba. Structura curată, faptele neambigue și schema corectă sunt cele care aduc o citare, iar o citare merită avută chiar și la o rată slabă de clic — îți pune numele în răspuns atunci când cineva cere o recomandare. Mecanica e în ghidul nostru de GEO, iar cât durează până ești citat e o întrebare separată și mai lentă.

Ce înseamnă e că traficul e lucrul greșit pe care să ți-l promiți din canalul ăsta. Măsoară-l cum ai măsura o campanie de brand — căutări pe nume, cereri directe, faptul că ești numit când cineva cere o recomandare — nu ca pe o linie de referral care oricum nu avea cum să vină în volum. Dacă raportarea ta încă începe cu sesiuni, indicatorii care merită puși în loc sunt aici.

Surse

Cifre verificate în septembrie 2026. Rapoartele sunt medii la nivel de rețea și sunt citate ca ordine de mărime, nu ca garanții pentru un site anume.

• TechCrunch — Noua politică Cloudflare împinge companiile AI să plătească pentru conținutul editorilor ↗

  Lansarea pay-per-crawl: blocare implicită a crawlerelor AI pentru domeniile noi și o piață în care editorii își stabilesc un preț de acces.

• Digital Applied — Controlul accesului crawlerelor AI: matricea de decizie 2026 ↗

  Sursa cifrelor din tabel (Cloudflare Radar, T1 2026) și a schimbării din 15 septembrie 2026 privind crawlerele cu utilizare mixtă pe paginile cu reclame.

• Learn & Work Ecosystem Library — Pay-per-crawl ↗

  Mecanismul în sine: HTTP 402 Payment Required cu antete de plată semnate Ed25519, taxat pe cerere.