判断新链接的重要性

嗯，我们上面说过影响。Baiduspider正常抓取的原因如下Baiduspider一些判断原则。建库前，Baiduspider将对页面进行初步的内容分析和链接分析，通过内容分析决定页面是否需要建立索引库，通过链接分析找到更多的页面，然后抓取更多的页面——分析——是否建库&找到新链接的过程。理论上，Baiduspider所有的能力都将在新页面上使用“看到”所有的链接都被抓回来了，所以面对许多新的链接，Baiduspider根据什么判断哪个更重要呢?两方面：

一是对用户的价值：

1.百度搜索引擎喜欢独特的内容unique的内容

2.主体突出，不要出现网页主体内容不突出，被搜索引擎误判为空页不抓取

3，内容丰富

4，广告适当

第二，链接的重要性：

1，目录层级——浅层优先

2.链接在站内的受欢迎程度

百度优先建设重要库的原则

Baiduspider抓取多少页面并不是最重要的，重要的是建立了多少页面索引库，我们常说“建库”。众所周知，搜索引擎的索引库是分层的，高质量的网页将被分配到重要的索引库，普通的网页将留在普通的库中，更糟糕的网页将被分配到低级数据库作为补充材料。众所周知，搜索引擎的索引库是分层的。高质量的网页将被分配到重要的索引库中。普通网页将留在普通数据库中，更糟糕的网页将被分配到低级数据库中作为补充材料。目前，60%的搜索需求只能通过调用重要索引库来满足，这就解释了为什么一些网站的超高流量不理想。

那么，哪些网页可以进入高质量的索引库呢？事实上，一般原则是：对用户的价值。包括但不止于:

1.有时效性和有价值的页面:在这里，时效性和价值并列，缺一不可。为了产生及时性内容页面，一些网站做了大量的收集工作，产生了一堆无价值的页面，百度不想看到.

2.高质量内容的特殊页面：特殊页面的内容不一定是完全原创的，也就是说，你可以很好地整合各方的内容，或者添加一些新的内容，如观点和评论，给用户更丰富和全面的内容。

3.高价值原创内容页面：百度将原创定义为文章，经过一定的成本和大量的经验积累。不要问我们伪原创是不是原创。

4.重要的个人页面：这里只举一个例子。科比在新浪微博上开户。即使他不经常更新，它仍然是百度的一个非常重要的页面。

哪些网页不能进入索引库？

上述高质量的网页进入索引库，事实上，大多数互联网网站根本没有被百度收录。并非百度没有找到它们，而是在建库前的筛选环节被过滤掉了。在最初的链接中过滤掉了什么样的网页：

1， 网页重复内容：百度不需要包含互联网上现有的内容。

2， 网页的主要内容是空的

1)百度使用了一些内容spider无法分析的技术，如JS、AJAX等等，虽然用户访问可以看到丰富的内容，但仍然会被搜索引擎抛弃

2)加载速度过慢的网页也可以作为短页处理，注意网页整体加载时间内的广告加载时间。

3)即使抓取了很多主体不突出的网页，在这个环节也会被抛弃。

3， 一些作弊网页