robots.txt文件生成器

>Robots.txt 是存放在站点根目录下的一个纯文本文件。虽然它的设置很简单,但是作用却很强大。它可以指定搜索引擎蜘蛛只抓取指定的内容,或者是禁止搜索引擎蜘蛛抓取网站的部分或全部内容。
限制目录:每个路径之前都要包含:"/"

Sitemap:留空为无,谷歌为xml格式,百度为html格式

所有搜索引擎:
  • 允许
    拒绝
国内搜索引擎
  • 百度
    默认
    允许
    拒绝
  • SOSO
    默认
    允许
    拒绝
  • 搜狗
    默认
    允许
    拒绝
  • 有道
    默认
    允许
    拒绝
国外搜索引擎
  • 谷歌
    默认
    允许
    拒绝
  • Bing
    默认
    允许
    拒绝
  • 雅虎
    默认
    允许
    拒绝
  • Ask/Teoma
    默认
    允许
    拒绝
  • Alexa/Wayback
    默认
    允许
    拒绝
  • Cuil
    默认
    允许
    拒绝
  • MSN Search
    默认
    允许
    拒绝
  • Scrub The Web
    默认
    允许
    拒绝
  • DMOZ
    默认
    允许
    拒绝
  • GigaBlast
    默认
    允许
    拒绝
特殊搜索引擎(机器人)
  • Google Image
    默认
    允许
    拒绝
  • Google Mobile
    默认
    允许
    拒绝
  • Yahoo MM
    默认
    允许
    拒绝
  • Yahoo Blogs
    默认
    允许
    拒绝
  • MSN PicSearch
    默认
    允许
    拒绝

请将以上结果保存到记事本,命名为robots.txt上传到网站根目录