¿Tu navegación esta diseñada en Flash? ¿El 90% de tus enlaces están rotos o no redirigen correctamente? Bueno, entonces las arañas probablemente no van a ser capaces de acceder a las páginas, ni hablar ya de indexarlas. Si esta es tu situación tienes camino por recorrer….

5-Poner innumerables trabas a las arañas

Puedes poner trabas a las arañas de búsqueda de muchas formas distintas. Podría ser que tu código JavaScript esté ocupando las primeras 2000 líneas de código, que tu sitio requiera cookies o cualquier acción del usuario para poder entrar, que tus URLs sean dinámicas y poco amigables a los buscadores, que tu página de inicio redireccione 7 veces antes de mostrar realmente algo. Todas estas cosas cosas son barreras enormes para una araña hambrienta tratanto de llegar a tu contenido. Elimina estas trabas y permite un acesso fácil a los motores de búsqueda. De otro modo ya puedes ir gastandote el dinero en publicidad si quieres que tu sitio tenga algo de visibilidad…

6-Sitio caído con demasiada frecuencia

Si los buscadores intentan con frecuencia visitar tu sitio y este no está disponible, llegará un día en que dejen de intentarlo. No quieren indexar un sitio que no va a cargar cuando los usuarios intenten acceder a él. Asegurate de que tu sitio Web no tiene problemas de alojamiento y alojalo en un servidor rápido. Si quieres hacer un diagnostico rápido, te recomiendo esta herramienta. Una sencilla y rápida herramienta que te devolverá una traza de las peticiones a tu sitio así como los tiempos de respuesta del servidor, enlaces rotos y posibles recursos no disponibles. Sencilla herramienta pero de gran utilidad.
http://www.nerv.es/blog/6-razones-tipicas-por-las-que-tu-sitio-no-es-indexado/