NFW-Audit, lo scanner di NFW Web Studio

Cos'è NFW-Audit

NFW-Audit è lo scanner di NFW Web Studio. Fa due cose. La prima: gli audit SEO su richiesta, che qualcuno chiede per un sito e che leggono la pagina principale di quel sito. La seconda: gli studi periodici sui siti delle aziende italiane, da cui nascono i report dello Stato del web.

Non copiamo i contenuti dei siti, non li rielaboriamo e non li usiamo per addestrare modelli. Misuriamo come è fatta una pagina (titolo, dati strutturati, velocità, sicurezza, file per i motori di ricerca e per le AI) e salviamo le misure.

Come riconoscerci

Le richieste semplici e i browser che usiamo per leggere le pagine finiscono il loro User-Agent con questo marchio:

NFW-Audit/1.0 (+https://www.nfw.run/state-of-the-web/about)

Da quali indirizzi IP arriviamo

Gli indirizzi qui sotto sono quelli da cui partono le richieste dello scanner. Se vuoi consentirci o bloccarci a livello di rete, usa questi.

Gli audit di Lighthouse, lo strumento di Google con cui misuriamo velocità e prestazioni, mantengono lo User-Agent di Lighthouse (contiene "Chrome-Lighthouse") e partono dagli stessi indirizzi. Se vuoi bloccare anche loro, usa gli indirizzi, non lo User-Agent.

Cosa leggiamo

Per ogni sito analizzato scarichiamo solo risorse pubbliche:

• la pagina principale, e per gli studi periodici le prime pagine indicate dalla sitemap;
• robots.txt, la sitemap, llms.txt e i file di scoperta per gli agenti AI (il manifest ARD);
• le risorse della pagina (immagini, script, fogli di stile), caricate da un browser vero per misurare come si vede e quanto pesa;
• gli audit di Lighthouse, che ricaricano la pagina più volte per misurarla.

Come ci comportiamo

Per ogni dominio facciamo al massimo due richieste alla volta, distanziate di almeno un quarto di secondo. Se il sito risponde 429 (troppe richieste) o 503 con un'indicazione di attesa (Retry-After), aspettiamo il tempo richiesto, fino a due minuti, e riproviamo al massimo due volte. Se il sito continua a chiederci di rallentare, rinunciamo e ce lo ricordiamo: non insistiamo.

Non risolviamo CAPTCHA e non aggiriamo le protezioni anti bot. Un sito che ci dice di no viene contato come bloccato.

Cosa rispettiamo

Seguiamo le regole che nominano NFW-Audit e il segnale TDM-Reservation. Non trattiamo le regole generiche "User-agent: *" come rivolte a noi.

In pratica, ci fermiamo se il sito:

• ha in robots.txt un gruppo che nomina NFW-Audit e vieta la pagina (leggiamo robots.txt prima della pagina, secondo lo standard RFC 9309);
• dichiara il segnale TDM-Reservation: 1, con l'intestazione HTTP, con il meta tag o con un file TDMRep in /.well-known/;
• è nel nostro elenco di esclusione, alimentato dalle richieste che riceviamo via email (vedi sotto).

Come chiederci di non analizzare il tuo sito

Il modo più rapido è aggiungere questo gruppo al robots.txt del sito:

User-agent: NFW-Audit
Disallow: /

Opposizione e rimozione dei dati

Puoi anche scriverci a audits@nfw.run, indicando il dominio. Verifichiamo che la richiesta arrivi dal sito (un indirizzo email del dominio, o un altro modo che ci indichi come controllare) e poi: smettiamo di analizzare il dominio, cancelliamo i dati che abbiamo salvato e lo escludiamo da ogni nostro contatto commerciale. Se il dominio ha già degli audit pubblici, li togliamo.

Se pensi che un sito sia stato rifiutato o analizzato per errore, scrivi allo stesso indirizzo.

Siti che non analizziamo

Non facciamo audit pubblici di siti per adulti, di gioco d'azzardo e simili (droghe, violenza, odio, incontri, malware e phishing, pirateria). Ogni audit pubblico ha una pagina con il nome del sito, indicizzabile e firmata NFW: per questo non vogliamo mettercela.

Gli studi periodici sulle città raccolgono solo cifre aggregate e non pubblicano il risultato di singoli siti.