Googlebot:

Es el robot de Google para explorar los sitios de Internet. La frecuencia de su exploración o rastreo depende, o va en función del nivel de PageRank de las Sites.Para comprobar si Googlebot ha accedido a nuestro sitio web, deberemos echar un vistazo a los logs de nuestro servidor.
Googlebot intentará acceder al fichero 'robots.txt'. En este archivo se deberán indicar las zonas de nuestro sitio web donde no queremos que entre ni Googlebot ni el resto de los buscadores. Para conocer más sobre 'robots.txt', existe un magnígico recurso: http://www.robotstxt.org/.
Una vez que Googlebot haya 'rastreado' nuestra página, seguirá los enlaces que en ella encuentre (los HREF y los SRC).

Tweet