网站优化总结网站抓取和索引知识干货
页面不应该具有一般用途:在本例中，对于特定的web站点，搜索引擎爬行站点的长度是固定的，因此我们应该将抓取时间放在页面的核心位置。
为一些大的网站,这是特别重要的,因为这个网站太大,如果你把所有的抓取时间一些过滤页面上,很容易结合数百万数千万的页面,搜索引擎没有机会也没有时间去想要访问该页面。
因此，有时你可能希望搜索引擎不要抓取一些页面。所以，尽量不要把链接发布到你不想去的页面上。您可以使用JavaScript隐藏，或者添加nofollow，或者使用机器人文件来禁用这些文件的搜索引擎。
在另一种情况下，您可以让搜索引擎获取，但是您不希望对搜索引擎进行索引，这是将信息放在其数据库中的页面上。有时，这两个，不要让取回，不要让索引走另一种方式，比方说上面提到的过滤页面。
有时,事实上,如果你的网站不是那么大,你还没有达到搜索引擎抓取的时间分配给你的极限,可以使这些页面抓取,但是你不想被包括在内,因为这些页面往往是重复的内容,因为它不改变搜索条件,改变过滤条件,重排,产品还是一样的,所以它往往是大量的重复内容。如果页面过于重复，搜索引擎可能会认为站点出现了问题，或者整体质量不太高。因此，你可以让搜索引擎不索引这些页面。在您的页面上使用no index选项卡，在您输入no索引之后，这些页面将不会被索引。因此，在搜索这些页面时，没有结果。但是这些页面实际上是被捕获的，因为如果它们没有被捕获，你就不能看到没有索引标记，但是你不希望它被索引。
所以“抓取”和“索引”是两种不同的东西，以及不同的处理方式。您需要根据站点的具体情况确定要实现哪些技术。
阅读"[搜索引擎优化]网站抓取和索引的工作原理是怎样的"的人还阅读
