voxi Posted September 2, 2013 Share Posted September 2, 2013 Buenos dias, pues eso, me han cerrado la web hasta finales de mes porque me han consumido 3.79 de trafico no visto, eso me dicen en Redcoruna, tambien me dicen que debo crear unos archivos robots.txt para que esto no me vuelva a suceder. alguien me puede echar una mano? Muchas gracias. Link to comment Share on other sites More sharing options...
Lauser Posted September 2, 2013 Share Posted September 2, 2013 User-Agent: Googlebot Disallow: /carpeta/ En este elemplo, solamente los bots de Google no pueden indexar el contenido de “carpeta”. En el segundo ejemplo ningún bot tiene acceso. User-Agent: * Disallow: /carpeta/ Y aquí tienes un ejemplo ya anulando unos bots,,, que en fin.... solo hacen que molestar y dándole permiso al resto. User-agent: * Allow: / User-agent: Ezooms Disallow: / User-agent: dotbot Disallow: / User-agent: MJ12bot Disallow: / User-agent: MJ12bot Disallow: /YandexBot User-agent: HuaweiSymantecSpider Disallow: / User-agent: ia_archiver Disallow: / User-agent: MLBot Disallow: / User-Agent: Yahoo! Slurp Disallow: / User-Agent: msnbot-media Disallow: / Link to comment Share on other sites More sharing options...
voxi Posted September 2, 2013 Author Share Posted September 2, 2013 User-Agent: Googlebot Disallow: /carpeta/ En este elemplo, solamente los bots de Google no pueden indexar el contenido de “carpeta”. En el segundo ejemplo ningún bot tiene acceso. User-Agent: * Disallow: /carpeta/ Y aquí tienes un ejemplo ya anulando unos bots,,, que en fin.... solo hacen que molestar y dándole permiso al resto. User-agent: * Allow: / User-agent: Ezooms Disallow: / User-agent: dotbot Disallow: / User-agent: MJ12bot Disallow: / User-agent: MJ12bot Disallow: /YandexBot User-agent: HuaweiSymantecSpider Disallow: / User-agent: ia_archiver Disallow: / User-agent: MLBot Disallow: / User-Agent: Yahoo! Slurp Disallow: / User-Agent: msnbot-media Disallow: / Muchas gracias por tu respuesta. Cual me recomiendas? Saludos. Link to comment Share on other sites More sharing options...
Lauser Posted September 2, 2013 Share Posted September 2, 2013 Son ejemplos,,,, entra en tu server y mira a ver que boot te esta generando tanto trafico. Pero de momento este... User-agent: *Allow: /User-agent: Ezooms Disallow: /User-agent: dotbotDisallow: / User-agent: MJ12botDisallow: /User-agent: MJ12botDisallow: /YandexBotUser-agent: HuaweiSymantecSpiderDisallow: / User-agent: ia_archiverDisallow: / User-agent: MLBotDisallow: / User-Agent: Yahoo! SlurpDisallow: / User-Agent: msnbot-mediaDisallow: / Link to comment Share on other sites More sharing options...
voxi Posted September 2, 2013 Author Share Posted September 2, 2013 Son ejemplos,,,, entra en tu server y mira a ver que boot te esta generando tanto trafico. Pero de momento este... User-agent: * Allow: / User-agent: Ezooms Disallow: / User-agent: dotbot Disallow: / User-agent: MJ12bot Disallow: / User-agent: MJ12bot Disallow: /YandexBot User-agent: HuaweiSymantecSpider Disallow: / User-agent: ia_archiver Disallow: / User-agent: MLBot Disallow: / User-Agent: Yahoo! Slurp Disallow: / User-Agent: msnbot-media Disallow: / Gracias, Saludos . Link to comment Share on other sites More sharing options...
Lauser Posted September 2, 2013 Share Posted September 2, 2013 Aquí tienes un listado y su explicación. http://www.robotstxt.org/db.html Tienes que tener cuidado con lo que bloqueas. Por ejemplo te he puesto disallow el boot de yandex, en las que tengo en español lo tengo bloqueado... mas que nada por que es muy pesado, pero tengo otras en ruso y en esas le abro la puerta, evidente, yandex es el buscador por excelencia en ruso. Link to comment Share on other sites More sharing options...
voxi Posted September 2, 2013 Author Share Posted September 2, 2013 Aquí tienes un listado y su explicación. http://www.robotstxt.org/db.html Tienes que tener cuidado con lo que bloqueas. Por ejemplo te he puesto disallow el boot de yandex, en las que tengo en español lo tengo bloqueado... mas que nada por que es muy pesado, pero tengo otras en ruso y en esas le abro la puerta, evidente, yandex es el buscador por excelencia en ruso. Eres muy amable Lauser, me he bajado un archivo de mi server, el cual me imagino que es para saber eso, y muchas lineas "yandex.com/bots", son esos los que me están consumiendo el trafico? Saludos Link to comment Share on other sites More sharing options...
Lauser Posted September 2, 2013 Share Posted September 2, 2013 Si, probablemente si. Baidu también lo puedes bloquear... es el chino. -- Y todos los boots spiders que localices también. Link to comment Share on other sites More sharing options...
voxi Posted September 3, 2013 Author Share Posted September 3, 2013 Si, probablemente si. Baidu también lo puedes bloquear... es el chino. -- Y todos los boots spiders que localices también. OK ¡¡ Saludos. Link to comment Share on other sites More sharing options...
Recommended Posts