[INSERT_ELEMENTOR id=927]
Concepto de Disallow
¿Qué es el Disallow?
El Disallow, cuya traducción literal es Rechazar, sirve para denegar el acceso a una página o directorio concreto. Se le asocia con el archivo Robots.txt y se le conoce como protocolo de exclusión de robots, el cual impide que los robots de algunos buscadores rastreen contenidos que no queremos que indexen en sus resultados.
En el punto contrario está el Allow, que permite indicar al rastreador una URL o directorio al que sí pueda indexar o rastrear. Ambos contienen reglas específicas que solo se aplican a los agentes que hayamos especificado anteriormente. Es posible incluir varias líneas Disallow a diferentes agentes de usuarios.
Para crear un Disallow All en robots.txt, se utilizan el User-Agent (*) y el Disallow (/). El primero hace que la instrucción se aplique a todos los robots. El segundo consigue bloquear el acceso a todas las páginas que estén disponibles en el dominio web.
El inconveniente está en que, a la hora de usar la aplicación, las reglas introducidas no son obligatorias. A pesar de programar el Disallow, el robot puede decidir si hace caso o no. Por lo que, algunos navegadores pueden indexar la página o enlace a pesar de indicar lo contrario. Para garantizar un buen bloqueo de todos los robots, se puede utilizar los meta tag y añadir los códigos en ciertas plantillas.
Para qué sirve el Disallow
Sirve para todo aquel que esté desarrollando un proyecto o emprendimiento web y, al estar en fase de desarrollo, no desea que los enlaces sean visualizados y anexados en buscadores. De esta forma, podrá garantizar la privacidad de su trabajo hasta que esté listo para ser habilitado al público.
También si el sitio web contiene ciertas informaciones que solo pueden acceder algunos usuarios, o quieras obtener público selectivo de acuerdo al país, región y edad, entre otras características. Pueden ser varios los motivos por los cuales se decide utilizar esta instrucción. Lo ideal es saber para qué sirven ciertos códigos y cómo usarlos correctamente.
Ejemplos de Disallow
Existen diferentes tipos de Disallow para bloquear total o parcialmente un enlace, página o sitio web. Uno de ellos es el Disallow/admin, que excluye el rastreo del directorio del administrador de un sitio web. También está el Disallow/ *.gif, que impide el acceso a los archivos GIF del sitio web.
Cada código añadido tiene diferentes funcionalidades, desde bloquear imágenes hasta bloquear acceso a directorios enteros.
Más información sobre Disallow
Si te interesa aprender a utilizar el archivo robot.txt y codificar de forma correcta los códigos de bloqueo, te recomendamos la lectura del siguiente artículo: