Cloudflare Consente ai Siti di Addebitare ai Bot IA con ‘Pay Per Crawl’

Cloudflare sta dando agli editori una nuova opzione: far pagare ai bot AI per l’analisi dei loro siti utilizzando un sistema di pagamento HTTP 402 rivitalizzato.

Grazie al suo nuovo sistema “Pay Per Crawl“, i proprietari dei siti web possono far pagare ai bot AI per accedere ai loro contenuti. Il sistema offre agli editori un’alternativa rispetto alla loro attuale politica a due opzioni, che permette o la raccolta di dati da parte dell’AI, o il blocco completo dell’accesso all’AI.

“Molti editori, creatori di contenuti e proprietari di siti web si sentono attualmente come se avessero una scelta binaria – o lasciare la porta d’ingresso spalancata per consentire all’IA di consumare tutto ciò che creano, o creare il loro proprio giardino recintato,” ha dichiarato Cloudflare. “Ma se ci fosse un’altra via?”

Con Pay Per Crawl, i creatori di contenuti possono ora decidere chi entra e a quale prezzo. Possono lasciare entrare alcuni crawler IA gratuitamente, bloccare completamente altri, o richiedere un pagamento per l’accesso. “Volevamo che i creatori di contenuti avessero il controllo su chi accede al loro lavoro,” ha detto Cloudflare. “I creatori dovrebbero essere al volante.”

La decisione arriva in mezzo a una crescente reazione negativa verso le aziende di intelligenza artificiale che utilizzano contenuti web senza consenso. Ad esempio, YouTube è stato criticato per aver permesso a Google di raschiare video senza notificare agli autori. Inoltre, la funzione AI Overviews di Google ha ridotto il traffico verso siti di notizie come l’HuffPost e The Washington Post di oltre il 50%.

“Google prende semplicemente i contenuti con forza e li usa senza dare nulla in cambio – la definizione di furto”, ha detto Danielle Coffey, presidente dell’Alleanza News/Media.

Lo strumento funziona utilizzando una vecchia funzionalità web: il codice di risposta HTTP 402, che significa “Pagamento richiesto”. Se un bot AI cerca di accedere a una pagina, il server può ora rispondere con un 402 e includere un prezzo. Se il bot accetta di pagare, il server fornisce il contenuto.

Cloudflare fornisce l’infrastruttura tecnica e gestisce i pagamenti. Gli editori possono impostare un prezzo fisso per ogni richiesta di crawl e applicare regole diverse per diversi bot. Anche se un bot non è registrato con Cloudflare, può comunque essere “addebitato” – bloccando essenzialmente l’accesso, ma lasciando spazio per futuri accordi.

Questo sistema potrebbe portare a una licenza più flessibile e a prezzi dinamici in futuro. Come afferma Cloudflare: “Fornendo ai creatori un meccanismo robusto e programmabile per valutare e controllare i loro beni digitali, li incoraggiamo a continuare a creare contenuti ricchi e diversificati che rendono Internet inestimabile.”