¿Qué es el Robots txt y para que sirve? - Neo Wiki | NeoAttack

Robots txt

MENUMENU

Robots txt

Concepto de Robots txt

¿Qué es el Robots txt?

Robots txt, o más bien, robots.txt, es un archivo de texto plano que se crea y se conecta a un portal online para establecer una serie de reglas relacionadas con el comportamiento de los robots indexadores de los buscadores, los crawlers o arañas. Por lo general, se utiliza con el fin de impedir que rastreen determinados contenidos y, por lo tanto, no los indexen para aparecer entre las SERPs.

Utilizarlos es sencillo, aunque se puede hacer de diferentes maneras. El responsable de elaborarlo puede indicar directamente las URLs que no han de llevarse al buscador o, si lo prefiere, establecer directorios, subdirectorios o archivos que prefieran mantenerse alejados de Google y el resto de motores de búsqueda.

A pesar de la finalidad que posee, utilizar este fichero no es total garantía de que no haya indexación, por lo que no es recomendable a la hora de mantener algunas secciones de un portal online como privadas. Es una acción válida, pero no definitiva ya que no es capaz de garantizar un hermetismo total. En casos como ese es mejor buscar otras alternativas que sí sean más eficaces.

Comandos como disallow son los que suelen aparecer a la hora de abrir un archivo robots.txt. Es muy importante entender su estructura y su utilización, aunque para ello añadiremos una serie de enlaces más adelante con el fin de complementar la información.

Para qué sirve el Robots txt

Este archivo, el robots txt, sirve para que ni Google ni otros buscadores indexen en sus páginas de resultados (SERPs), determinadas partes de un portal online. Es algo que las compañías suelen utilizar para dejar fuera aquellas página que puedan ser penalizadas e impactar negativamente en el SEO, como por ejemplo en casos de contenido duplicado, o si simplemente prefieren alejar determinados contenidos de los buscadores.

También puede emplearse para dictar a los robots de los motores de búsqueda relacionadas con cómo deben rastrear otros contenidos de la web. Su función va más allá del impedimento y del permiso, de ahí que sea un elemento bastante importante a la hora de elaborar un portal online.

Ejemplos de Robots txt

Existen tantos archivos robots txt como páginas web en la red de redes; no obstante, para lanzar un ejemplo sencillo de cómo puede ser la estructura de uno, vamos a escribir las siguientes líneas:

User-Agent: *

Disallow: /agencia-social-media/

Sitemap: http://neoattack.com/sitemap.xml

En este caso, se ha establecido una norma para todos los robots de los diferentes buscadores (primera línea) que indica que nuestra sección de servicios Social Media no debe indexarse (segunda línea) y, para terminar, se ha indicado la supuesta ruta de nuestro sitemap (tercera línea), un requisito obligatorio para estos ficheros.

Más información sobre el Robots txt

Para aprender a construir un archivo Robots txt, además de para aprender más sobre su uso y posibilidades, te recomendamos echar un vistazo a las publicaciones que hay a continuación.

Algunos de Nuestros Proyectos

diseno-web-de-una-finca-para-bodas

Diseño web de una finca para bodas

diseno-web-para-gestoria-online

Diseño web para gestoría online

social-media-para-escape-room-en-madrid

Social Media para Escape Room en Madrid

social-media-para-marca-de-moda

Social media para marca de moda