martes, enero 09, 2007

Generar archivo robots.txt

Una de las herramientas para la optimización de Adsense es tener robots en la raíz del hosting, esto es para que los buscadores sepan que si pueden indexar y que no, en esta página podemos hacer uno de manera muy simple, tan solo decimos cual buscador si queremos y cual no, http://www.mcanerin.com/search-engine/robots-txt.htm a parte de esto Google Adsense recomienda utilizar al inicio esta línea:

User-agent: Mediapartners-Google*
Disallow:

Al finalizar obtendrán algo como esto:

# robots.txt generated at www.mcanerin.com
User-agent: Mediapartners-Google*
Disallow:

User-agent: Googlebot
Disallow:

User-agent: Googlebot-Image
Disallow:

User-agent: MSNBot
Disallow:

User-agent: Slurp
Disallow:

User-agent: Teoma
Disallow:

User-agent: Gigabot
Disallow:

User-agent: Scrubby
Disallow:

User-agent: Robozilla
Disallow:

User-agent: Nutch
Disallow:

User-agent: ia_archiver
Disallow:

User-agent: yahoo-mmcrawler
Disallow:

User-agent: psbot
Disallow:

User-agent: asterias
Disallow:

User-agent: yahoo-blogs/v3.9
Disallow:

User-agent: *
Disallow:

Disallow: /cgi-bin/

Y para finalizar aquí pueden ver un validador de archivo robots.txt, tan solo escriben la dirección que sería algo como esto: http://www.tudireccion.com/robots.txt

El Validador te dará los resultados si todo esta bien, no registrara error pero si lo hay el mismo te dice como solucionarlo.
Publicadas por a la/s
Etiquetas:

7 comentarios:

  1. softblog5:40 p.m.

    sabes como puedo editar un robots.txt??

    ResponderBorrar
  2. Roberto11:18 a.m.

    Lo puedes editar con el blog de notas dmind.

    Saludos.

    ResponderBorrar
  3. Mallorca hotels8:02 a.m.

    Hola, he estado leyendo tus pots y resulta interesante sobre todo a personas que recien comenzamos en esto.


    Me gustaria hacerte una pregunta:

    desde diciembre de 2007 que publico un blog en blogger y no he logrado que pueda aparecer en google ni siquiera colocANDO LA URL DEL BLOG en el buscador. Hace unos dias lei acerca de robots.txt pero ni siquiera ser como eliminarlo.

    Esto es lo que aparece en el bobots.txt:

    *******************************

    User-agent: Mediapartners-Google
    Disallow:

    User-agent: *
    Disallow: /search
    Noindex: /feedReaderJson

    Sitemap: http://mallorca-hotels-apartments.blogspot.com/feeds/posts/default?orderby=updated

    ***********************

    Tu podrias decirme que significa y si esto es la causa de que no aparezca en Google?

    gracias por adelantado y seguire leyendo el blog

    saludos

    ResponderBorrar
  4. Roberto9:25 a.m.

    Mallorca hotels, no puedes eliminarlo y para nada es recomendable eliminarlo, no apareces en los resultados de Google por que por lo que veo solo tienes 8 entradas en dos años son muy pocas, te recomiendo que actualices más seguido y así aparecerás en Google.

    Saludos.

    ResponderBorrar
  5. lord_anime9:21 a.m.

    Muchas gracias por la info aunque el articulo sea algo antiguo je

    ResponderBorrar
  6. ReC7:46 a.m.

    Hay algo que no entiendo. En la entrada que hablas de Robots.txt en Blogger dices que el usuario no debe hacer nada para actualizar el TXT en blogger. Cómo es esto?

    Si yo ingreso al generador aquí, obtengo un TXT, pero cómo lo actualizo a blogger?

    ResponderBorrar
    Respuestas
    1. Unknown10:21 a.m.

      es que blogger no permite modificar ese archivo, el lo genera automaticamente, nosotros por el momento no podemos hacer nada.

      Borrar

Nota: sólo los miembros de este blog pueden publicar comentarios.

Suscribirse a: Comentarios de la entrada (Atom)