Mettere a dieta il file robots.txt

Apparso ieri 2 febbraio su Google Plus il post di John Mueller (Google Svizzera) che ha sollevato alcune riflessioni SEO in merito al robots.txt.
Come saprete il robots.txt ha un valore SEO  , è uno dei file richiesti dagli spider al momento della scansione del sito web.
Tuttavia (c’è sempre un “ma” , non può mica essere sempre così semplice 🙂 ) ci sono alcune regole da seguire nella sua compilazione.
Tra queste è bene ricordarsi che il peso del file in questine deve essere inferiore ai 500 kb (bytes) perché, dice Mueller: “…If you have a giant robots.txt file, remember that Googlebot will only read the first 500kb…”.
Quale potrebbe essere la soluzione?
Limitare il file a una “ragionevole dimensione”…

A parte i consigli più o meno originali (ma di fatto non è che con il file robots.txt si possa fare molto di pù) è interessante leggere anche i commenti , pare ci sia stato un misunderstanding sui 500 kb.