Come diminuire il crawl rate del bot di Bing
Il bot MSN o BING bot visita (crawl) il tuo sito per indicizzarne i contenuti e mostrare i risultati sotto il motore di ricerca Bing.
Bing supporta le direttive del Robots Exclusion Protocol (REP) (Protocollo di esclusione robot) che possono essere elencate nel robots.txt del sito.
Il crawl rate di questo bot può essere controllato usando questo file robots.txt. Per diminuire il crawl rate dovresti aggiungere il seguente contenuto all’interno del file:
User-agent: bingbot
Crawl-delay: 1
I seguenti due crawlers sono usati per alcuni compiti di crawling: MSNBot (risorse generali) e MSNBot-Media (immagini e video).
Gli user agent corrispondenti sono:
msnbot
msnbot-media
Bing raccomanda di usare il valore più basso possibile per il crawl-delay. Ecco una lista di valori che puoi usare sul tuo sito:
- No crawl delay set – Normale
- 1 –Lento
- 5 – Molto Lento
- 10 – Estremamente Lento
Un metodo alternativo di gestire il crawl rate per Bing sui tuoi siti è di registrarsi su Bing Webmaster Tools e configurare i settings lì.