Archivo para la Etiqueta ‘robots’
El uso del Robots.txt
Cuando todo el mundo se llena de especulaciones y empiezan a sacar teorias complejas del porque google hace esto y lo otros entonces salta Cutts y aclara los nublados del día. en esa ocasión como es que funciona el archivos robots.txt, un pequeño archivo de texto que se usar para dar indicaciones a los robots de lo que queremos que indexen o no.
En este video Matt, responde a la pregunta de porque si bloqueamos cierta url en el robots.txt, google sigue indexandola.
Dejar un comentario








