Verifica sitemap e robots.txt: cosa vedono i crawler del tuo sito?
Inserisci l'indirizzo di un sito: leggiamo il suo robots.txt e la sua sitemap. Ti diciamo se i file ci sono, quali crawler, AI comprese, sono bloccati, quali sitemap sono dichiarate e se la pagina che hai inserito è nell'elenco. Il controllo parte dalla coda del nostro audit completo.
Cosa controlla
Per il robots.txt: se esiste, se blocca tutti i crawler o quelli delle AI, l'accesso concesso a ciascun crawler AI che conosciamo, gli avvisi e le sitemap dichiarate. Per la sitemap: se esiste, se è un indice o una sitemap singola, quanti indirizzi elenca e se la pagina è tra questi.
Non proviamo un indirizzo qualsiasi contro le regole del file: leggiamo il file e ne riportiamo il contenuto.
Come leggere il risultato
Un robots.txt che non blocca tutti i crawler, con una sitemap dichiarata che elenca la tua pagina, è il quadro in ordine. "Blocca tutti i crawler" è quasi sempre un errore: toglie il sito dai motori di ricerca.
"Blocca i crawler AI" non è un errore: è una scelta, che però ti esclude dalle risposte di quegli assistenti. Verifica che sia voluta. Una pagina non elencata nella sitemap è un avviso, non un guasto.
Un controllo solo? Ecco il quadro intero.
Questo strumento legge una parte dell'audit. L'audit SEO completo misura la home con Lighthouse, controlla se le AI possono leggerla e, nelle città che abbiamo analizzato, la confronta con i loro siti.
Le risposte in breve.
Il report dice che qualcosa non va.
Possiamo sistemarlo noi.
Errori SEO, pagine lente o invisibili alle AI: sono esattamente i problemi che risolviamo ogni giorno per aziende e professionisti.