杭州SEO最专业的网站优化公司

网站优化总结网站抓取和索引知识干货

浏览:/ 2017-08-14

网站优化总结网站抓取和索引知识干货
页面不应该具有一般用途:在本例中,对于特定的web站点,搜索引擎爬行站点的长度是固定的,因此我们应该将抓取时间放在页面的核心位置。
为一些大的网站,这是特别重要的,因为这个网站太大,如果你把所有的抓取时间一些过滤页面上,很容易结合数百万数千万的页面,搜索引擎没有机会也没有时间去想要访问该页面。
因此,有时你可能希望搜索引擎不要抓取一些页面。所以,尽量不要把链接发布到你不想去的页面上。您可以使用JavaScript隐藏,或者添加nofollow,或者使用机器人文件来禁用这些文件的搜索引擎。

1.jpg
在另一种情况下,您可以让搜索引擎获取,但是您不希望对搜索引擎进行索引,这是将信息放在其数据库中的页面上。有时,这两个,不要让取回,不要让索引走另一种方式,比方说上面提到的过滤页面。
有时,事实上,如果你的网站不是那么大,你还没有达到搜索引擎抓取的时间分配给你的极限,可以使这些页面抓取,但是你不想被包括在内,因为这些页面往往是重复的内容,因为它不改变搜索条件,改变过滤条件,重排,产品还是一样的,所以它往往是大量的重复内容。如果页面过于重复,搜索引擎可能会认为站点出现了问题,或者整体质量不太高。因此,你可以让搜索引擎不索引这些页面。在您的页面上使用no index选项卡,在您输入no索引之后,这些页面将不会被索引。因此,在搜索这些页面时,没有结果。但是这些页面实际上是被捕获的,因为如果它们没有被捕获,你就不能看到没有索引标记,但是你不希望它被索引。
所以“抓取”和“索引”是两种不同的东西,以及不同的处理方式。您需要根据站点的具体情况确定要实现哪些技术。
 

阅读"网站优化总结网站抓取和索引知识干货"的人还阅读

上一篇:网站建设过程是成功的基本技能

下一篇:返回列表

  • =