Prevent Robot Indexing with Response Headers

你们经常有网站的部件,这些部件最好不通过搜索引擎进行索引。 环保署的APIC电话、搜索结果页、PDF文件——所有可能没有现用户价值的答复实例。 我们都知道,我们无法向搜索引擎发出信号,不要使用 META标签对网页进行索引,但服务电话和文件常常得不到 META的奢侈品。 很幸运的是,你可以增加一个头盔,防止这些答复指数化。

标题是X-Robots-Tag,应当易于使用你喜欢的服务器边语言添加。 例如,用购买力平价添加这一头盔可能考虑:

header( X-Robots-Tag: noindex );

如果你重新使用基于Django的假冒点,那么可以考虑:

response[ X-Robots-Tag ] =  noindex 

该负责人也可在您的查阅或编目档案中确定:

<Files ~ ".pdf$">
  Header set X-Robots-Tag "noindex"
</Files>

事实是,没有保证贵服务器所服务的东西被搜索引擎指数化,但像这样的小型拖网能够确保你的搜索引擎功能能够改善,而且用户不会通过搜索引擎找到通往网站“dead”部分的道路。