• 南昌起义中的纪律建设 2019-04-23
  • 最新数据杭州就业满意度全国排第二 吸引力提升 2019-04-01
  • “纳米比亚,我又回来了” 端午佳节记者连线中国第12批援纳医疗队 2019-04-01
  • 把“就业率首超本科” 当作高职新起点 2019-03-21
  • 国企携手在深为人才修建安居房 2019-03-07
  • 《温暖的弦》大结局 张钧甯演技时尚感双双在线 2019-03-07
  • 北京现代ENCINO领衔 老爸心仪座驾推荐 2019-03-05
  • 防治土地荒漠化 新疆保护生态兼顾农民增收 2019-03-05
  • 你总是不怕风大扇了舌头。另外,你的帖子我仍然是根本就没看,我对你的这类帖子不感兴趣,因为这没有什么用处,只会挑起无谓的争论。因为你是在预测遥远的未来,遥远的未来 2019-03-02
  • 陕西省卫生计生委党组书记胡志强接受纪律审查和监察调查 2019-02-27
  • 11金4银!中国队包揽2018年跳水世界杯全部冠军 2019-02-27
  • 超励志的新疆小伙艾山江弹唱《南山南》 2019-02-27
  • 从“乡土味”到“高级感”,吴昕只走了这几步 2019-02-27
  • 网站地图 | 网站导航

    成都SEO
    优选-三刷文化传播
    7X24小时电话:185-8365-3056
      • banner图

    2016波叔一波中特香港:SEOer对待新站一定要谨慎设置robots屏蔽

    作者:网站管理员 日期:2015-06-19 浏览:190次

    074期四半波中特 www.wvasq0.fun   众所周知,SEO优化中robots机器人是用来抓取网站内容的,而robots.txt文件则是放在我们网站根目录下面的一个文本文件,用来规定什么蜘蛛(机器人)可以抓取什么文件,不可以抓取什么文件。我们通常用robots来告诉搜索引擎,这个目录你可以进,那个目录你不可以进;这个文件你可以访问,那个文件你不能访问。但是有些时候,robots文件,我们还是要谨慎使用的好。

      事情还得从年初开始。年初我负责的一个网站因为网站刚建好,内容还没填充完整,大家的观点不都是没建好的网站不要给搜索引擎抓取嘛。我用robots.txt文件把网站根目录屏蔽所有搜索引擎抓取,等到一个月之后,填充得已经差不多了,我就开放蜘蛛抓取。我不仅有提交首页网址给百度,提交网址诊断,而且还发了不少外链,但一天一天过去,在百度上面SITE网站就是一个收录都没有。我就纳闷了,是不是我什么地方设置错误了呢?

      前两个月,我又有一个新站重新建好开始填充内容,也是把网站屏蔽着,结果到现在都两个月过去了,可是还是不收录,首页还是提示“由于该网站的robots.txt文件存在限制指令,系统无法提供该页面的内容描述。”而谷哥收录了93条,搜狗收录了1条,360收录了45条。这次我这次彻底对度娘的robots文件反应速度是无语了。下图上为:site:www.gzfengbao.com的结果robots屏蔽

    成都SEO

      前两天在群里与伙伴们讨论,一位叫乌鸦的大神说自己之前也遇到过几次这样的情况。

      在此小彬SEO慎重的提醒各位朋友,新建的网站,千万不要先把网站文件上传到空间后加个robots.txt,然后填充信息,填充好了才开放抓取。如果可以在本地把网站建好,填充好内容再上传最好,否则上传到空间加robots禁止抓取,等开放抓取的时候,百度蜘蛛很可能又会几个月时间都反应不过来。几个月后网站才被收录,对网站优化的周期影响无疑是巨大的。

    未注明出处请转载注明://www.wvasq0.fun/seofx/177.html
  • 南昌起义中的纪律建设 2019-04-23
  • 最新数据杭州就业满意度全国排第二 吸引力提升 2019-04-01
  • “纳米比亚,我又回来了” 端午佳节记者连线中国第12批援纳医疗队 2019-04-01
  • 把“就业率首超本科” 当作高职新起点 2019-03-21
  • 国企携手在深为人才修建安居房 2019-03-07
  • 《温暖的弦》大结局 张钧甯演技时尚感双双在线 2019-03-07
  • 北京现代ENCINO领衔 老爸心仪座驾推荐 2019-03-05
  • 防治土地荒漠化 新疆保护生态兼顾农民增收 2019-03-05
  • 你总是不怕风大扇了舌头。另外,你的帖子我仍然是根本就没看,我对你的这类帖子不感兴趣,因为这没有什么用处,只会挑起无谓的争论。因为你是在预测遥远的未来,遥远的未来 2019-03-02
  • 陕西省卫生计生委党组书记胡志强接受纪律审查和监察调查 2019-02-27
  • 11金4银!中国队包揽2018年跳水世界杯全部冠军 2019-02-27
  • 超励志的新疆小伙艾山江弹唱《南山南》 2019-02-27
  • 从“乡土味”到“高级感”,吴昕只走了这几步 2019-02-27