发挥robots.txt文件的作用 - Google_SEO帮助文档(十)

Make effective use of robots.txt

让你的robots.txt发挥作用

A "robots.txt" file tells search engines whether they can access and therefore crawl parts of your site. This file, which must be named "robots.txt", is placed in the root directory of your site.

robots.txt文件告诉搜索引擎蜘蛛是否允许索引您的整站内容还是部分内容。这个文件必须命名为"robots.txt"，并且要放置在网站的根目录。

g

The address of our robots.txt file

robots.txt文件的地址

g

All compliant search engine bots (denoted by the wildcard * symbol) shouldn't access and crawl the content under /images/ or any URL whose path begins with /search

所有的搜索爬虫（可以使用通配符表示）不允许爬行"/images/"和"/search"下的内容

You may not want certain pages of your site crawled because they might not be useful to users if found in a search engine's search results. If you do want to prevent search engines from crawling your pages, Google Webmaster Tools has a friendly  robots.txt generator to help you create this file.Note that if your site uses subdomains and you wish to have certain pages not crawled on a particular subdomain, you'll have to create a separate robots.txt file for that subdomain.  For more information on robots.txt, we suggest this Webmaster Help Center guide on  using robots.txt files.

你也许并不希望你网站的一些页面被抓取到，因为如果它们出现在搜索结果里对用户可能是没多大意义的。如果你想阻止搜索引擎爬取你的网页，Google网站 管理员工具有一个很好用的robots.txt生成器来帮助你创建这个文件。另外如果你希望子域名里的一些内容不被爬取，你需要在子域名的目录下再新建一 个robots.txt文件。你也可以在我们的网站管理员帮助中心获得更多关于robots.txt的信息。

There are a handful of other ways to prevent content appearing in search results, such as adding "NOINDEX" to your robots meta tag, using .htaccess to password protect directories, and using Google Webmaster Tools to remove content that has already been crawled. Google engineer Matt Cutts walks through the  caveats of each URL blocking method in a helpful video.

还有一些方法防止你的内容显示在搜寻结果，例如META标签的"NOINDEX"属性，使用.htaccess 对目录进行加密，或者使用google管理员工具移除那些已经被收录的内容。由google工程师Matt Cutts介绍的关于各种URL排除原理的注意事项的视频。

Good practices for robots.txt

关于 robots.txt的最佳实践

•  Use more secure methods for sensitive content - You shouldn't feel comfortable using robots.txt to block sensitive or confidential material. One reason is that search engines could still reference the URLs you block (showing just the URL, no title or snippet) if there happen to be links to those URLs somewhere on the Internet (like referrer logs). Also, non-compliant or rogue search engines that don't acknowledge the Robots Exclusion Standard could disobey the instructions of your robots.txt. Finally, a curious user could examine the directories or subdirectories in your robots.txt file and guess the URL of the content that you don't want seen. Encrypting the content or password-protecting it with .htaccess are more secure alternatives.

对于一些敏感内容同时使用多种方式会比较安全 - 在使用robots.txt限制读取敏感话题你并不是就绝对安心了。例如你在Google 最后一次下载robots.txt之后，重新修改robots.txt，您的修改结果不会反映在我们的缓存版本中。其次，一些无赖漫游器（例如垃圾信息发送者和网络内容非法搜索者的漫游器及其他不良漫游器）可能就不会遵守此文件。 因此，我们建议您在服务器受密码保护的目录下保存机密信息。最后一些好奇的用户就会去查看 你robots.txt是声明阻止的目录或者子目录，并猜测那些你不想被看到的内容。我们建议您在服务器受密码保护的目录下保存机密信息。

Avoid避免:

•  allowing search result-like pages to be crawled (users dislike leaving one search result page and landing on another search result page that doesn't add significant value for them)

允许爬行搜索结果页面。（用户并不喜欢打开搜寻结果看到又是搜寻结果，这对用户来说一点意义也没有。）

•  allowing a large number of auto-generated pages with the same or only slightly different content to be crawled: "Should these 100,000 near-duplicate pages really be in a search engine's index?"

允许大量的自动生成的页面被抓取，其中大多都是相同或者近乎相似的内容。"假使100000张几乎像复制的页面，搜索引擎有必要全部索引吗？"

•  allowing URLs created as a result of proxy services to be crawled

允许爬行代理服务器上的URLS

搜索引擎优化指南内容导读:

  1. 搜索引擎优化指南前言 - Google_SEO官方帮助文档中文版(一)
  2. 创建独一无二,准确的网站标题 - Google_SEO帮助文档(二)
  3. 使用Meta标签的Description属性 - Google_SEO帮助文档(三)
  4. 改进你的URL解构 - Google_SEO帮助文档(四)
  5. 让你的导航更加人性化 - Google_SEO帮助文档(五)
  6. 提供有质量的内容和服务 - Google_SEO帮助文档(六)
  7. 更好的写锚文本 - Google_SEO帮助文档(七)
  8. 适当地使用标题标记 - Google_SEO帮助文档(八)
  9. 组织你的图片 - Google_SEO帮助文档(九)
  10. 发挥robots.txt文件的作用 - Google_SEO帮助文档(十)
  11. 在链接中使用nofollow - Google_SEO帮助文档(十一)
  12. 使用正确的方式推广你的网站 - Google_SEO帮助文档(十二)
  13. 用好免费的WEB管理员工具 - Google_SEO帮助文档(十三)
  14. 充分利用网站分析工具 - Google_SEO帮助文档(十四)
  15. 对管理员有帮助的资源 - Google_SEO帮助文档(十五)



--
365生活网,您身边的朋友
www.365life.org

评论

发表评论

此博客中的热门博文

你的妈妈已经等了二十几年

那天是周末，早就说好了要和朋友们去逛夜市，母亲却在下班时打来电话："明天我们公司去踏青，你下班时帮我到面包店买一袋椰蓉面包，我带着中午吃。" "踏青？"我发吃一惊，"啊，你们还去踏青？"想都不想，我一口回绝："妈，我跟朋友约好了要出去，我没时间。"跟母亲讨价还价了半天。她一直说："只是买一袋面包，快得很，不会耽误你……"最后她都有点生气了，我才不情愿地答应下来。 一心想着速战速决，刚下班我就飞奔前往，但是到了面包店一看竟是人山人海。想起朋友们肯定都在等我，我更是急得跺脚。真不知道母亲是怎么想的，周末不在家休息，还要去春游？春游，根本就是小孩子的事情嘛！ 售货员统计了每个人买的数量，算起来我是第三炉的最后一个。这时，背后有人轻轻叫一声："小姐。"我转过头去，是个不认识的中年妇人，我问："怎么了？"她说："小姐，我们打个商量好吗？你看，我只在你后面一个人，就得再等一炉。我这是给儿子买，他明天远足，我一会儿还得做饭送他去补习班。如果你不急的话，我想，嗯……" "请问你是帮谁买？"她轻声问。"给我妈买，她明天也要踏青。"当回答完时，我发现整个店突然有一种奇异的寂静，所有的眼光同时投向我。"哇，今天卖了好几百袋，你可是第一个买给妈妈的。"售货小姐笑着说。我一惊，环顾四周才发现，队伍里几乎全是女人，从白发苍苍到绮年少妇，每个人的大包小包，都注解着她们主妇和母亲的身份。 "那你们呢？""当然是给我们小皇帝的。"不知是谁接了口，大家都笑了。我身后那位妇女连声说："对不起！我真没想到，这家店人这么多，你都肯等。我本来都不想来的，是儿子一定要，我也希望让他吃好、玩好。我们小时候远足，还不就是想着要吃零食？" 她脸上忽然浮现出神往的表情，我问："您现在还记得小时候远足的事啊？"她笑了："怎么不记得？现在也想去啊，哪怕只在草坪上坐一坐晒晒太阳也好！可是总没时间。" 她轻轻叹口气，"大概，我之后等孩子长到你这么大的时候，才有机会吧！"原来是这样，踏青并
阅读全文

时间管理：每天挤出一小时

一位名叫富兰克林·费尔德的人曾精辟地说过这么一句话：成功与失败的分水岭可以用这么五个字表达——‘我没有时间’。 在当今这个生活节奏紧凑的年代里，人们似乎每天都没有充余的时间去做完想做的事，所以许多念头就此打消了。但世界上仍有许多人用坚持每天至少挤出一小时的时间发展自己的个人爱好。事实上我注意到，往往越是忙碌的人，他越能挤出这一小时。 当今世界上最大的化学公司——杜邦公司的总裁格劳福特·格林瓦特，每天挤出一小时研究蜂鸟（一种世界上最小的鸟），用专门的设备给蜂鸟拍照。权威人士把他写的关于蜂鸟的书称为自然历史丛书中的杰出作品。 休格·布莱克进入美国议会前，并未受过高等教育。他从百忙中每天挤出一小时到国会图书馆去博览群书，包括政治、历史、哲学、诗歌等方面的书，数年如一日，就是在议会工作最忙的日子里也从未间断过。后他成了美国最高法院的法官，这时他已是最高法院中知识极为渊博的人士之一。 我承认，要挤出这一小时并不容易，需要有决心和恒心。关键在于如何设法得到这一个小时，并且有效地利用它。 每个人的头脑都有能力去创造和想象，关键在于为自己寻找到机会。一位名叫尼古拉的希腊籍电梯维修工对现代科学很感兴趣，他每天下班后到晚饭前，总要花一小时攻读核物理学方面的书籍。随着知识的积累增多，一个念头跃入他脑海。1948年他提出了建立一种新型粒子加速器的计划。这种加速器比当时其它类型的加速器造价便宜而且更强有力。他把计划递交给美国原子能委员会作试验，又再经改进，这台加速器为美国节省了7000万美元。尼古拉得到了1万美元的奖励，还被聘请到加州大学放射实验室工作。 富兰克林·罗斯福在战争最艰苦的年代里，时常强迫自己挤出一小时集邮，借以摆脱周围的一切。已故的吉妮太太曾告诉我，总统那时经常去她管的那幢房子，把自己关在里面，摆弄着各色邮票。总统的时候脸色阴沉，心情忧郁，疲惫不堪。等到他走出屋子离去时，精神状态完全变了，变好了，似乎整个世界都变得明亮了。 要得到这样的收益，无论多大年纪的人都可以马上做起。我认识一位老人，他从78岁起每天抽出一小时学习欣赏音乐。他说：我很快就养成了这种习惯，每天听一小时的音乐。我要掌握欣赏音乐的能力，随着年岁增高，等到我不得不靠静坐度日时，就用得上它了。 一天安排出一小时静心，排除疲劳，即使看没有做出多大的事情，但我深信大多数人还是会觉得有收益的。至少他们在这段时间里可以理清头
阅读全文

教您如何认识植柔皮，头层皮革，修面皮革，油蜡皮、水染皮、摔纹皮、纳帕皮、打蜡皮、压花皮、修面皮、漆光皮、磨砂皮、贴膜皮

#wiki 植柔皮：皮质的术语。   从皮革的档次来分：全粒面皮>半粒面皮>轻修面皮>重修面皮   从皮革的软硬来分：铬鞣皮>半植鞣皮>全植鞣皮(烤皮)   从皮革的风格做法来分：油蜡皮、水染皮、摔纹皮、纳帕皮、打蜡皮、压花皮、修面皮、漆光皮、磨砂皮、贴膜皮、印花皮、裂纹皮、反绒皮等。 真皮：真皮又有头层皮和二层皮区分。 头层皮是指带有粒面（真皮层）的牛、羊、猪皮等，皮面有自然特殊的纹路效果。二层皮没有真皮层，是纤维组织（网状层），经化学材料喷涂或覆上 PVC 、 PU 薄膜加工而成,因此，区分头层皮和二层皮的有效方法，是观察皮的纵切面纤维密度。头层皮由又密又薄的真皮层及与其紧密连在一起的稍疏松的网状层共同组成，具有良好的强度、弹性和工艺可塑性等特点。 再生皮：国外又名皮糠纸。将各种动物的费皮及真皮下脚料粉碎后，调配化工原料加工制作而成。其表面加工工艺同真皮的修面皮、压花皮一样，其特点是皮张边缘较整齐、利用率高、价格便宜；但皮身一般较厚，强度较差，只适宜制作平价公文箱、拉杆袋、球杆套等定型工艺产品和平价皮带，其纵切面纤维组织均匀一致，可辨认出流质物混合纤维的凝固效果。 人造革：也叫仿皮或胶料，是PVC和 PU 等人造材料的总称。它是在纺织布基或无纺布基上，由各种不同配方的 PVC 和 PU 等发泡或覆膜加工制作而成，可以根据不同强度、耐磨度、耐寒度和色彩、光泽、花纹图案等要求加工制成，具有花色品种繁多、防水性能好、边幅整齐、利用率高和价格相对真皮便宜的特点，但绝大部分的人造革，其手感和弹性无法达到真皮的效果；它的纵切面，可看到细微的气泡孔、布基或表层的薄膜和干干巴巴的人造纤维。 购买皮货防骗绝招，消费者须知 一 认准皮层：好多商家都理直气壮的对您承诺：“不是真皮的皮货，假一赔十”。这句话确实是真的，因为确实是真皮的，但不是头层皮的，所以他不敢说：“不是头层真皮的皮货，假一赔十”。因为市场上为了竞争，90%是二层皮，因为头层皮原料价格要贵的多，利润空间太小，所以利益驱使，都卖二层皮皮货。      小知识：一张原皮，可以剖若干层来用，不过，高贵、美观、耐用只属于头层皮，其它层皮无法比拟。国外市场高价大量收购头层皮，二层皮因为价格低廉，所有盛销国内 二 认轻修饰皮：皮革需要上浆，在浆的下面，就大有文章了。残皮修补术
阅读全文