C’è del crawl-delay sui server SiteGround?
Il crawl-delay impostato di default sui nostri server è di 10 secondi per tutti gli user agents. Puoi sovrascrivere questo valore creando un nuovo file chiamato robots.txt nella cartella radice del tuo sito, aggiungendo al suo interno le seguenti righe:
User-agent: * Crawl-delay: 10
Sostituisci il valore del crawl-delay con quello desiderato.