Mar
La metaetiqueta robots y los motores de búsqueda
En (posicionamiento en buscadores) por Seo el 12-03-2009
Tags : posicionamiento en buscadores
Casi todos los motores de búsqueda utilizan las arañas (que también son conocidos por su nombre original, robots) para salir a recorrer Internet en busca de páginas Web. Estas arañas de los motores de búsqueda recolectan datos que van a ser indexados.
Desde aproximadamente 1996, han existido metatags que se pueden utilizar para modificar la forma en que se comportan las arañas de los motores de búsqueda. Estas metaetiquetas son respetadas por casi todos los motores de búsqueda. Lo que sigue es una lista de algunas metaetiquetas y los casos en los que es posible que desees utilizarlas.
<meta name=”robots” content=”index”>
Esta metaetiqueta es una de las más comunes que se utilizan, y es también la menos necesario. Le dice a las arañas de los motores de búsqueda que pueden entrar en la página e indexarla. Sin embargo, todos los motores de búsqueda por defecto, van a hacerlo de todos modos. Básicamente, si quieres ponerla ahí es por diversión, pero este metatag no indica un tratamiento especial a las arañas. Todos los motores de búsqueda van a indexar tu página, a menos que se diga específicamente lo contrario.
<meta name=”robots” content=”follow”>
Esta metaetiqueta pide que las arañas de los motores de búsqueda sigan los enlaces que se encuentran en la página. Una vez más, esta pieza de código es totalmente innecesaria porque todos los motores de búsqueda van a seguir los enlaces de una página, a menos que indiques otra cosa.
<meta name=”robots” content=”noindex”>
El comando noindex, al contrario de index, le dice a las arañas de los motores de búsqueda que no deben indexar el contenido de una página. Es importante señalar, sin embargo, que las arañas de los motores de búsqueda siguen los enlaces de una página que sólo utiliza este comando.
Cuando no se utiliza para fines legítimos, esta etiqueta puede ser peligrosa porque puede poner en riesgo de penalización por la mayoría de los motores de búsqueda. Esto se debe a que se puede utilizar un noindex para ocultar múltiples páginas con enlaces que no quieres que vean los visitantes, pero que quieres que todos los motores de búsqueda indexen.
Sin embargo, hay algunos usos legítimos para noindex. Por ejemplo, si tienes un sitio dinámico y has creado páginas para reemplazar algunas de tus páginas dinámicas, puedes facilitar el trabajo a las arañas de los motores de búsqueda utilizando noindex en la versión dinámica.
Google menciona en su Centro de Asistencia para webmasters: “Considere la posibilidad de crear copias estáticas de sus páginas dinámicas. A pesar de que el índice de Google incluye páginas dinámicas, éstas representan un pequeño porcentaje de nuestro índice. Si cree que sus páginas generadas dinámicamente (como las URL que contienen signos de interrogación) causan problemas a nuestro rastreador, puede crear copias de estas páginas.”
En casos como estos, es aceptable usar el “noindex” en la versión dinámica de la página, para que tu contenido no sea tratado como duplicado. No estás engañando a todos los motores de búsqueda, te estas amigando con ellos.
<meta name=”robots” content=”nofollow”>
Esta etiqueta le dice a las arañas de los motores de búsqueda que pueden seguir adelante pero que no deben seguir cualquiera de los links que se encuentran en la página. Esto puede ser útil si, por ejemplo, alguien te pide un enlace en tu sitio Web pero quiere mantener la mayor cantidad de Page Rank y básicamente no pasar importancia a cualquiera de los sitios a que se vinculan.
<meta name=”robots” content=”noindex,nofollow”>
Obviamente, noindex y nofollow son poderosos, y combinados, pueden hacer una página y las páginas a las que se enlaza invisibles para casi todos los motores de búsqueda. Esta combinación de comandos le dice a las arañas de los motores de búsqueda, “No lea esta página y no siga cualquiera de los enlaces en esta página, no incluir esta página en su índice.”
Este comando tiene sus usos beneficiosos. Por ejemplo, se puede colocar en las páginas en un sitio Web que tiene contenido duplicado, por motivos legítimos. Un sitio Web puede tener una página para los Estados Unidos y una página para Inglaterra que cubren el mismo producto con exactamente el mismo contenido. Sin embargo, casi todos los motores de búsqueda podría devaluar ambas páginas y considerarlo contenido duplicado. Por lo tanto, colocar este comando en una de ellas evita ser penalizado.
<meta name=”robots” content=”noarchive”>
Por último, casi todos los motores de búsqueda de hoy, incluyendo Google y Yahoo, ofrecen una versión en caché de un sitio que ofrece una instantánea del sitio. El comando noarchive, por lo tanto, está disponible para ser utilizado en circunstancias en las que hay contenido en su sitio Web que es de un carácter puntual y que necesariamente necesitas que las arañas de los motores de búsqueda no almacenen en caché para que las personas tengan acceso a la página actualizada.
Por ejemplo, una empresa puede publicar una oferta y luego cerrar la venta cuando queda sin artículos para vender. Sin embargo, es concebible que alguien podría hacer clic en la versión en caché del sitio, ver la oferta, y querer realizar la compra de algo que ya no existe. Al utilizar noarchive, le dices a las arañas de los motores de búsqueda “Esta página está sujeta a frecuentes cambios, y no quiero que mis usuarios tengan acceso a algunos de estos contenidos luego de haber realizado cambios.”
Los comandos mencionados anteriormente son sólo algunos de los existentes, y otros nuevos se añaden con frecuencia. Si bien casi todos los motores de búsqueda reconocen estos comandos, todavía hay algunos que no lo hacen. Los que se encuentran en este artículo, sin embargo, son universalmente entendidos por las arañas de los motores de búsqueda, no importa de donde sean originarios.
diseño paginas web | posicionamiento web
