Ogni sito può avere un robots.txt all'indirizzo /robots.txt. Lì c'è scritto quali bot non possono visitare quali cartelle. Spesso c'è anche il link alla tua sitemap.
Attenzione: il robots.txt non tiene una pagina fuori da Google. Google può comunque mostrare l'indirizzo, solo senza contenuto. Non vuoi proprio essere trovato? Usa allora un noindex o una password.
Controlla anche che il tuo robots.txt non blocchi i bot AI. Altrimenti ChatGPT non può mai citarti.
Esempio pratico
La versione di prova di un sito era bloccata con il robots.txt. Eppure gli indirizzi erano su Google. Una password sulla versione di prova ha risolto il problema.
Come ti aiutiamo
Ad Amici del Marketing ci occupiamo di questo per aziende in tutta Europa. Leggi di più su Manutenzione e hosting del sito oppure fai prima la scansione gratuita.
Vuoi sapere come va il tuo sito? In un minuto ricevi il tuo punteggio e i tuoi tre concorrenti principali.
Inizia la scansione gratuita