推56论坛

 找回密码
 立即注册(限中文)

QQ登录

只需一步,快速开始

    查看: 3274|回复: 1

    [SEO教程] 什么是robots.txt协议?

      [复制链接]
    发表于 2013-4-2 09:45:00 | 显示全部楼层 |阅读模式
    官方解答:robots协议(也称为爬虫协议、爬虫规则、机器人协议等)也就是robots.txt,网站通过robots协议告诉搜索引擎哪些页面可以抓取,哪些页面不能抓取。
    推56论坛答:几乎所有搜索引擎都遵循这一协议。SEO教程-推56论坛-王宝臣理解robots.txt最大的作用对于一些电子商务网站,比如网站的会员帐号密码。一些交易类网站的现金资料这类程序页面肯定是不能让被抓取的。例:http://www.wangbaochen.com/robots.txt 这是王宝臣独立博客的robots.txt设置。其次robots.txt里面可以放上网站地图。方面搜索引擎蜘蛛抓取。(搜索蜘蛛先查询你有没有robots.txt文档。里面可以写上robots.txt 例:http://ww.wangbaochen.com/sitemap.html) 王宝臣博客网站地图.
    学建站、学推广、学赚钱,上56站长论坛就够了!个性签名请到个人资料里面修改……
    发表于 2015-5-22 14:49:01 | 显示全部楼层
    关于robots的问题  我对我的网站一直不敢动,因为网站现在排名刚做上去一点  想等到网站排名稳定之后再去做
    学建站、学推广、学赚钱,上56站长论坛就够了!个性签名请到个人资料里面修改……
    回复 支持 反对

    使用道具 举报

    本版积分规则

    关闭

    推56站长论坛推荐上一条 /2 下一条

    站长QQ
    在线咨询
    咨询热线
    QQ:405327411
    站长

    QQ|广告合作|关于我们|联系我们|免责声明|网站导航|站长论坛 ( 豫ICP备11018337号-5

    王宝臣旗下网站 推56论坛(www.tui56.com|ask.tui56.com|blog.tui56.com|daohang.tui56.com)

    Powered by Discuz! X3.4 Licensed

    ©2001-2013 Comsenz Inc.

    快速回复 返回顶部 返回列表