NFW Web Studio
Novità

Verifica sitemap e robots.txt: cosa vedono i crawler del tuo sito?

Inserisci l'indirizzo di un sito: leggiamo il suo robots.txt e la sua sitemap. Ti diciamo se i file ci sono, quali crawler, AI comprese, sono bloccati, quali sitemap sono dichiarate e se la pagina che hai inserito è nell'elenco. Il controllo parte dalla coda del nostro audit completo.

Gratis e senza registrazione. Controlliamo la pagina che indichi, non solo la home.

Cosa controlla

Per il robots.txt: se esiste, se blocca tutti i crawler o quelli delle AI, l'accesso concesso a ciascun crawler AI che conosciamo, gli avvisi e le sitemap dichiarate. Per la sitemap: se esiste, se è un indice o una sitemap singola, quanti indirizzi elenca e se la pagina è tra questi.

Non proviamo un indirizzo qualsiasi contro le regole del file: leggiamo il file e ne riportiamo il contenuto.

Come leggere il risultato

Un robots.txt che non blocca tutti i crawler, con una sitemap dichiarata che elenca la tua pagina, è il quadro in ordine. "Blocca tutti i crawler" è quasi sempre un errore: toglie il sito dai motori di ricerca.

"Blocca i crawler AI" non è un errore: è una scelta, che però ti esclude dalle risposte di quegli assistenti. Verifica che sia voluta. Una pagina non elencata nella sitemap è un avviso, non un guasto.

Un controllo solo? Ecco il quadro intero.

Questo strumento legge una parte dell'audit. L'audit SEO completo misura la home con Lighthouse, controlla se le AI possono leggerla e, nelle città che abbiamo analizzato, la confronta con i loro siti.

audit SEO gratuito

// domande frequenti

Le risposte in breve.

È il file in cui un sito dice ai crawler cosa possono leggere. Può indicare anche dove si trova la sitemap.
È l'elenco delle pagine che vuoi far trovare ai motori di ricerca. Aiuta soprattutto i siti nuovi o con molte pagine.
Perché molti siti li bloccano senza accorgersene, con un'impostazione del CMS o del servizio di sicurezza. Il robots.txt è uno dei punti del nostro punteggio di leggibilità AI.
No: questo controllo legge il file e lo riassume, non simula un crawler su un indirizzo a scelta.
È una parte dell'audit completo, che controlla robots.txt e sitemap insieme a HTTPS, llms.txt e Lighthouse. Per il quadro intero fai l'audit SEO gratuito.
Sì: NFW Audit, un'estensione per il browser gratuita per Chrome (e Brave e Opera), Firefox ed Edge. Esegue l'audit e i controlli singoli sulla pagina che hai aperto, senza account.

Il report dice che qualcosa non va.
Possiamo sistemarlo noi.

Errori SEO, pagine lente o invisibili alle AI: sono esattamente i problemi che risolviamo ogni giorno per aziende e professionisti.