File robots.txt

Scopo del file

Il file robots.txt risiede alla radice del sito (/robots.txt) e comunica ai crawler quali percorsi possono richiedere. È un protocollo de facto, non una barriera di sicurezza: URL bloccate possono comunque essere scoperte se linkate da altri siti o condivise pubblicamente. Usalo per risparmiare budget di crawl su aree inutili (admin, filtri infiniti) e per dichiarare la sitemap.

Sintassi base

Ogni blocco inizia con User-agent: (es. * per tutti). Le direttive Disallow e Allow usano prefissi di percorso. L’ordine e la specificità contano in implementazioni comuni: regole più lunghe possono sovrascrivere quelle brevi.

User-agent: *
Disallow: /account/
Disallow: /api/
Allow: /

User-agent: AdsBot
Disallow:

Riga Sitemap

Aggiungi una o più righe Sitemap: con URL assoluti del file XML. Non sostituisce l’invio tramite pannello webmaster, ma aiuta la scoperta automatica.

Sitemap: https://www.esempio.it/sitemap.xml
Sitemap: https://www.esempio.it/sitemap-news.xml

Cosa non fa robots.txt

Non impedisce l’indicizzazione di una URL già conosciuta se altri segnali la espongono: per escludere dal indice usa noindex nel meta robots o header HTTP. Non protegge dati sensibili: cartelle private vanno autenticate lato server. Dopo ogni modifica, controlla che le pagine pubbliche restino raggiungibili e che staging non finisca in produzione con Disallow: /.

Staging e ambienti

Ambiente staging deve essere noindex e ideally password-protected, non solo Disallow che non protegge dati. Non copiare robots produzione su staging con Sitemap produzione. User-agent specifici per audit tool possono avere Allow esplicito se necessario. Testa robots dopo merge da branch che tocca path /public/.

Log server per URL crawl frequenti su path Disallow: segnale di link interni errati.

Verifica periodica

Programma ogni trimestre un controllo su pagine ad alto traffico: applica i criteri di File robots.txt con la stessa procedura (browser, dispositivo, rete). Registra esito e responsabile in un foglio condiviso così il team non riparte da zero.

Se hai appena cambiato tema, plugin o builder, ripeti il controllo dopo 48 ore: cache CDN e minificazione possono mascherare errori finché non scade la vecchia versione. Coinvolgi chi scrive i contenuti, non solo chi sviluppa: molti problemi nascono da campi CMS lasciati vuoti.

Confronta i risultati con una pagina concorrente solo per capire gap di chiarezza, non per copiare testi. L’obiettivo è che un visitatore capisca in pochi secondi cosa offri e come contattarti.

Errori comuni

• Disallow: / lasciato attivo dopo il lancio del sito.
• Bloccare intere cartelle /public/ che contengono asset necessari al rendering.
• Confondere robots.txt con protezione login o API segrete.
• File robots.txt assente o servito con content-type errato.
• Dimenticare la riga Sitemap dopo aver creato la sitemap XML.

In pratica, integra questo controllo nella routine di qualità del sito: una pagina campione al mese per categoria (home, servizio, articolo, checkout se presente), stesso profilo browser e rete. Annota nel registro interno data verifica e esito, così al prossimo redesign sai cosa è già stato validato. Quando il team cresce, una checklist condivisa evita che ognuno interpreti i criteri in modo diverso e riduce regressioni dopo deploy frettolosi.

Quando lavori con clienti o stakeholder non tecnici, traduci ogni raccomandazione in un esempio concreto sulla loro pagina: uno screenshot prima/dopo, una URL di prova, un tempo di caricamento misurato. Così le lezioni diventano azioni nel backlog invece di slide dimenticate. Riutilizza gli stessi criteri su ambienti preview prima della produzione e registra chi ha approvato il go-live, per tracciabilità in caso di regressione SEO o accessibilità.

Tieni un elenco di URL di riferimento nel tuo progetto e riapplicalo dopo ogni modifica al tema o al CMS, così non devi ricordare a memoria ogni regola.

In breve

• /robots.txt guida il crawl, non la sicurezza.
• Blocca aree tecniche, non CSS/JS pubblici.
• Dichiara le sitemap con URL assoluti.
• Usa noindex per escludere dall’indice.