Come bloccare i bot di ricerca che tentano di accedere al tuo sito?
Per bloccare tutti i bot dall’accedere al tuo sito dovresti creare un file robots.txt con il contenuto seguente:
User-agent: *
Disallow: /
Per impedire a tutti i bot di accedere a una cartella specifica, applica il codice come segue:
User-agent: *
Disallow: /folder/
Sostituisci folder con il nome effettivo della tua cartella.