推56论坛

 找回密码
 立即注册(限中文)

QQ登录

只需一步,快速开始

    查看: 336|回复: 0

    [搜索引擎类] 最新百度Robots.txt的设置经验

    [复制链接]
    发表于 2014-3-5 10:11:22 | 显示全部楼层 |阅读模式
    最新百度Robots.txt的设置经验前几天,在弄一个知名游戏运营商,优化一个网站。
    其中一个重要的一关,就是Robots.txt的设置问题。常识如下:1、百度目前是支持48k的文件内容检测,请保证您的robots文件不要过大。
    2、目前支持的目录最长不超过250个字符。
    3、必须是语法信息、路经、逻辑上没有问题。
    4、百度是可以写Allow和Disallow的路经的,但国外蜘蛛,仅写Disallow就可以了。
    根据多年的经验,和Robots的国际协议,第一次写了如下的代码:
    Sitemap: http://www.1756game.com/sitemap.xml
    # User-agent: Baiduspider
    User-agent: Baiduspider
    Allow: /NewsList.aspx
    Allow: /NewsContent-*.aspx
    Allow: /Forum/Questions.aspx
    Allow: /Download.aspx
    Allow: /pay/*.aspx
    Allow: /shop/*.aspx
    Allow: /match/*.aspx
    Allow: /Forum/*.aspx
    Allow: /help/*.aspx
    Allow: /match/matchList.aspx
    Allow: /match/JCBYRank.aspx
    Allow: /about.aspx
    Allow: /Recruitment.aspx
    Allow: /Safety.aspx
    Allow: http://download.1756game.com/*.exe
    Disallow: /Focus/*.aspx
    # User-agent: Baiduspider-mobile
    User-agent: Baiduspider-mobile
    Allow: /NewsList.aspx
    Allow: /NewsContent-*.aspx
    Allow: /Forum/Questions.aspx
    Allow: /Download.aspx
    Allow: /pay/*.aspx
    Allow: /shop/*.aspx
    Allow: /match/*.aspx
    Allow: /Forum/*.aspx
    Allow: /help/*.aspx
    Allow: /match/matchList.aspx
    Allow: /match/JCBYRank.aspx
    Allow: /about.aspx
    Allow: /Recruitment.aspx
    Allow: /Safety.aspx
    Allow: http://download.1756game.com/*.exe
    Disallow: /Focus/*.aspx
    # User-agent: Baiduspider-image
    User-agent: Baiduspider-image
    Allow: /NewsList.aspx
    Allow: /NewsContent-*.aspx
    Allow: /Forum/Questions.aspx
    Allow: /Download.aspx
    Allow: /pay/*.aspx
    Allow: /shop/*.aspx
    Allow: /match/*.aspx
    Allow: /Forum/*.aspx
    Allow: /help/*.aspx
    Allow: /match/matchList.aspx
    Allow: /match/JCBYRank.aspx
    Allow: /about.aspx
    Allow: /Recruitment.aspx
    Allow: /Safety.aspx
    Allow: http://download.1756game.com/*.exe
    Disallow: /Focus/*.aspx
    # User-agent: Baiduspider-video
    User-agent: Baiduspider-video
    Allow: /NewsList.aspx
    Allow: /NewsContent-*.aspx
    Allow: /Forum/Questions.aspx
    Allow: /Download.aspx
    Allow: /pay/*.aspx
    Allow: /shop/*.aspx
    Allow: /match/*.aspx
    Allow: /Forum/*.aspx
    Allow: /help/*.aspx
    Allow: /match/matchList.aspx
    Allow: /match/JCBYRank.aspx
    Allow: /about.aspx
    Allow: /Recruitment.aspx
    Allow: /Safety.aspx
    Allow: http://download.1756game.com/*.exe
    Disallow: /Focus/*.aspx
    # User-agent: Baiduspider-news
    User-agent: Baiduspider-news
    Allow: /NewsList.aspx
    Allow: /NewsContent-*.aspx
    Allow: /Forum/Questions.aspx
    Allow: /Download.aspx
    Allow: /pay/*.aspx
    Allow: /shop/*.aspx
    Allow: /match/*.aspx
    Allow: /Forum/*.aspx
    Allow: /help/*.aspx
    Allow: /match/matchList.aspx
    Allow: /match/JCBYRank.aspx
    Allow: /about.aspx
    Allow: /Recruitment.aspx
    Allow: /Safety.aspx
    Allow: http://download.1756game.com/*.exe
    Disallow: /Focus/*.aspx
    # User-agent: Baiduspider-favo
    User-agent: Baiduspider-favo
    Allow: /NewsList.aspx
    Allow: /NewsContent-*.aspx
    Allow: /Forum/Questions.aspx
    Allow: /Download.aspx
    Allow: /pay/*.aspx
    Allow: /shop/*.aspx
    Allow: /match/*.aspx
    Allow: /Forum/*.aspx
    Allow: /help/*.aspx
    Allow: /match/matchList.aspx
    Allow: /match/JCBYRank.aspx
    Allow: /about.aspx
    Allow: /Recruitment.aspx
    Allow: /Safety.aspx
    Allow: http://download.1756game.com/*.exe
    Disallow: /Focus/*.aspx
    # User-agent: Baiduspider-cpro
    User-agent: Baiduspider-cpro
    Allow: /NewsList.aspx
    Allow: /NewsContent-*.aspx
    Allow: /Forum/Questions.aspx
    Allow: /Download.aspx
    Allow: /pay/*.aspx
    Allow: /shop/*.aspx
    Allow: /match/*.aspx
    Allow: /Forum/*.aspx
    Allow: /help/*.aspx
    Allow: /match/matchList.aspx
    Allow: /match/JCBYRank.aspx
    Allow: /about.aspx
    Allow: /Recruitment.aspx
    Allow: /Safety.aspx
    Allow: http://download.1756game.com/*.exe
    Disallow: /Focus/*.aspx
    # User-agent: Baiduspider-ads
    User-agent: Baiduspider-ads
    Allow: /NewsList.aspx
    Allow: /NewsContent-*.aspx
    Allow: /Forum/Questions.aspx
    Allow: /Download.aspx
    Allow: /pay/*.aspx
    Allow: /shop/*.aspx
    Allow: /match/*.aspx
    Allow: /Forum/*.aspx
    Allow: /help/*.aspx
    Allow: /match/matchList.aspx
    Allow: /match/JCBYRank.aspx
    Allow: /about.aspx
    Allow: /Recruitment.aspx
    Allow: /Safety.aspx
    Allow: http://download.1756game.com/*.exe
    Disallow: /Focus/*.aspx
    # User-agent: All
    User-agent:*
    Disallow: /
    提交后,就出现相关的提示:
    您的网站对百度进行了全站封禁,Baiduspider无法抓取您的网页
    您可以在Robots工具中查看详情
    检测时间:2014-03-04 05:00:00


    然后使用百度自带的Robots工具进行检查:
    说是所有Allow 或Disallow 都必须以 / 开头。Allow: http://download.1756game.com/*.exe 是不正确的。
    这就是说如果主网站的Robots,是无法直接加和二级域名的网址设定的。也就是路经都必须为/ 开头后面进行了修改,不行就删掉吧!
    重新提交一下,结果又出现了提示。
    您的网站还未对百度解除robots全站封禁


    请重新检查网站robots.txt设置


    检测时间:2014-03-04 11:00:00
    这时,想了一下,先指定某蜘蛛,别的不充许,应该没有错啊,我仅充许百度进行爬抓,没有错啊,很多名人的博客都是这样写的啊。过去可行,现在规则上是错的。敬请注意。即然,百度书面提醒了,黑字白底的,肯定是没有错的。原因可能就是最尾巴出现的,
    # User-agent: All
    User-agent:*
    Disallow: /
    后来,就把上述的去掉,再重新提交一下。结果出现了如下提示:
    您的网站已对百度解除了Robots全站封禁,Baiduspider可以正常抓取到您的网站
    您网站在百度的情况会在近期恢复正常,请耐心等待
    您可以使用压力反馈工具百度索引量工具查看网站相关数据
    检测时间:2014-03-04 17:00:00


    谢天谢地,终于能过了。
    写到这里,很多人都会说,我的那些东西,其实可以压缩一下,简单化:
    Sitemap: http://www.1756game.com/sitemap.xml
    # User-agent: All
    User-agent: *
    Allow: /NewsList.aspx
    Allow: /NewsContent-*.aspx
    Allow: /Forum/Questions.aspx
    Allow: /Download.aspx
    Allow: /pay/*.aspx
    Allow: /shop/*.aspx
    Allow: /match/*.aspx
    Allow: /Forum/*.aspx
    Allow: /help/*.aspx
    Allow: /match/matchList.aspx
    Allow: /match/JCBYRank.aspx
    Allow: /about.aspx
    Allow: /Recruitment.aspx
    Allow: /Safety.aspx
    Disallow: /Focus/*.aspx


    张开辉网络营销工作室,是建议,还可以再简单化,就是:
    # User-agent: All
    User-agent: *
    Allow: /
    还可以像某些人说的一样,就什么都不写,也没有任何Robots.txt 文件,排名照样很好!
    采用何种方式,读者可以自己去考虑。现实中,张开辉网络营销工作室认为,Robots就像是社区物业的保安。有些社区无保安也是太平的。
    学建站、学推广、学赚钱,上56站长论坛就够了!个性签名请到个人资料里面修改……

    本版积分规则

    关闭

    推56站长论坛推荐上一条 /1 下一条

    站长QQ
    在线咨询
    咨询热线
    QQ:405327411
    站长

    QQ|广告合作|关于我们|联系我们|免责声明|网站导航|站长论坛 ( 豫ICP备11018337号-5 )

    王宝臣旗下网站 推56论坛 站长论坛 SEO论坛 网络营销论坛 新手站长论坛 网络推广论坛 站长社区 站长网

    Powered by Discuz! X3.2 Licensed

    ©2001-2013 Comsenz Inc.

    快速回复 返回顶部 返回列表