INDEXACIÓN EN LOS BUSCADORES.

¿Qué es?

La indexación es el proceso por el que el buscador va rastreando el sitio y va incorporando a su base de datos el contenido de esas URLs.

¿Es importante?

Es MUY importante. La indexación es lo único que puede hacer que tu web, tu trabajo pueda aparecer en Google, toda página que el robot no haya rastreado ni indexado no figurará en los resultados.

Los ojos de un robot

Los buscadores poseen un robot que es una especie de programa que se dedica a rastrear las webs e incorporar lo que cree interesante a la base de datos de su buscador, tanto para indexar nuevas webs como para actualizar los contenidos de su base de datos.

Facilitar la indexación: lo básico

Los buscadores no indexan todo lo que recorren, sólo indexan lo que creen oportuno. Para mejorar nuestra indexación hay que conseguir que los robots pasen a menudo por nuestras páginas por lo que a más pasadas que de más probabilidades de que las acabe indexando. Para aumentar la frecuencia de paso de los robots por nuestra web hay que conseguir links entrantes y actualizar a menudo nuestra web.

OTRAS AYUDAS PARA LA INDEXACIÓN

URLs dinámicas

Para facilitar la indexación se puede empezar por evitar o arreglar las variables en las URLs (URLs dinámicas) que por ejemplo puede generar el PHP. Estas variables hacen que el script muestre una u otra información en función de estas variables y a todos los efectos se consideran páginas diferentes. Variables en la URL serían por ejemplo esta:
http://www.davilac.net/foro/index.php?board=4.0

En este caso hay sólo una variable, pero hay muchos otros casos donde aumentan más el número de variables, dificultando cada vez más la indexación, ya que si bien los buscadores pueden indexar páginas con varias variables, les es más fácil si no las tuviese. Para servidores que corran sobre Apache existe un mod llamado mod_rewrite que sirve para reescribir URLs, mediante el cuál y con un fichero .htaccess se puede convertir esa URL a ojos de los buscadores en esta:
http://www.davilac.net/foro/index.php/board,4.0.html

Más atractiva a los ojos de los buscadores. Consulta tu hosting para averiguar sobre la disponibilidad de este módulo. Ten en cuenta que muchos scripts conocidos incorporan módulos y sistemas para convertir URLs dinámicas en estáticas, por lo que te evitarás el trabajo a veces de hacerte tu propio sistema.

Google Sitemaps

Aparte de esto existe para Google un servicio llamado Google Sitemaps que está dando muy buenos resultados en cuánto a mejorar la indexación.

Robots.txt

El robots.txt es un fichero destinado al uso de los buscadores. Mediante el uso de este fichero el encargado de la web le ordena a los buscadores ciertas cosas, como prohibirles el acceso a ciertas carpetas o ficheros para evitar que los buscadores los indexen o prohibirles un excesivo acceso a la web, por ejemplo. En todo caso la existencia de este fichero en nuestro servidor no mejorará ni nuestra indexación ni posiciones.