Generador de Robots.txt


Predeterminado - Todos los robots son:  
    
Retardo de rastreo:
    
Mapa del sitio: (deje en blanco si no tiene) 
     
Robots de búsqueda: Google
  Google Image
  Google Mobile
  MSN Search
  Yahoo
  Yahoo MM
  Yahoo Blogs
  Ask/Teoma
  GigaBlast
  DMOZ Checker
  Nutch
  Alexa/Wayback
  Baidu
  Naver
  MSN PicSearch
   
Directorios restringidos: La ruta es relativa a la raíz y debe contener una barra diagonal. "/"
 
 
 
 
 
 
   



Ahora, cree el archivo 'robots.txt' en su directorio raíz. Copia el texto anterior y pégalo en el archivo de texto.


Acerca de Generador de Robots.txt

Ahora, cree el archivo robots.txt' en su directorio raíz.  Copie el texto de arriba y péguelo en el archivo de texto.

El Generador de Robots.txt genera un archivo que indica las páginas a incluir, por lo tanto, la sintaxis robots.txt es de gran importancia para cualquier sitio web.  Cada vez que un motor de búsqueda rastrea un sitio web, siempre busca primero el archivo robots.txt que se encuentra en el nivel raíz del dominio.  Cuando se identifica, crawler leerá el archivo y luego identificará los archivos y directorios que pueden ser bloqueados.