何为百度蜘蛛
百度蜘蛛，是百度搜索引擎的一个自动程序。它的作用是访问收集整理互联网上的网页、图片、视频等内容，然后分门别类建立索引数据库， 使用户能在百度搜索引擎中搜索到您网站的网页、图片、视频等内容。
工作机制
（1）通过百度蜘蛛下载回来的网页放到补充数据区，通过各种程序计算过后才放到检索区，才会形成稳定的排名，所以说只要下载回来的东西都可以通过指令找到，补充数据是不稳定的，有可能在各种计算的过程中给k掉，检索区的数据排名是相对比较稳定的，百度目前是缓存机制和补充数据相结合的，正在向补充数据转变，这也是目前百度收录困难的原因，也是很多站点今天给k了明天又放出来的原因。
（2）深度优先和广度优先，百度蜘蛛抓页面的时候从起始站点（即种子站点指的是一些门户站点）是广度优先抓取是为了抓取更多的网址，深度优先抓取的目的是为了抓取高质量的网页，这个策略是由调度来计算和分配的，百度蜘蛛只负责抓取，权重优先是指反向连接较多的页面的优先抓取，这也是调度的一种策略，一般情况下网页抓取抓到40%是正常范围，60%算很好，100%是不可能的，当然抓取的越多越好。
百度蜘蛛的工作要素。
百度蜘蛛在从首页登陆后抓取首页后调度会计算其中所有的连接，返回给百度蜘蛛进行下一步的抓取连接列表，百度蜘蛛再进行下一步的抓取，网址地图的作用是为了给百度蜘蛛提供一个抓取的方向，来左右百度蜘蛛去抓取重要页面，如何让百度蜘蛛知道那个页面是重要页面？可以通过连接的构建来达到这个目的，越多的页面指向该页，网址首页的指向，副页面的指向等等都能提高该页的权重，地图的另外一个作用是给百度蜘蛛提供更多的连接来达到抓去更多页面的目的，地图其实就是一个连接的列表提供给百度蜘蛛，来计算你的目录结构，找到通过站内连接来构建的重要页面。
百度蜘蛛原理的应用
补充数据到主检索区的转变：在不改变板块结构的情况下，增加相关连接来提高网页质量，通过增加其他页面对该页的反向连接来提高权重，通过外部连接增加权重。如果改变了板块结构将导致seo的重新计算，所以一定不能改变板块结构的情况下来操作，增加连接要注意一个连接的质量和反向连接的数量的关系，短时间内增加大量的反向连接将导致k站，连接的相关性越高，对排名越有利。
抓取规则
一、整点式爬行，这种爬行争对新站或即将要被降权的网站，指的是每天24小时，每小时百度蜘蛛都会对你网站首页进行爬行，并且爬行数量基本一致。这是新站当中最常见的，也只对新站才会出现，这种怕行百度一定不会收录，并且快照也不会更新。这是百度对你网站的一种考察，这类爬行是百度对你电脑屋网站首页内容的分析，网站是否有更新，更新的力度如何，内容是否充实等等，顺便也会爬一些首页上的数据回去对比分析，并带回文章的URL路径，安排蜘蛛的下次爬取目标。 另一种就是对于百度认为你站已经正常了的，或因网站出现问题，如服务器不稳定，网页经常无法打开，网页有违法问题等等，就会出现类似的爬行方式，那么你就要小心了，出现这种爬行方式，你的站多半会被降权。其表现为次日首页的快照日期未更新或回滚到之前的日期，收录停止，甚至严重的会删除掉一些已收录的网页。那么做为站长的你就要检查下网站看那方面出了问题，并且及时修正问题就不严重了，在两三天内就是恢复。
二、 确认收录爬行，如：www.dnwfb.com有点类似于谷歌蜘蛛爬虫，各个爬虫分工明确，有条不紊，各司其职。这种爬行方式若出现在你的网站日志里，那么恭喜你，你的电脑屋网站已通过审核期，百度开台正式收录你的网页了。确认收录爬行就是指你网站有新的内容出现后，百度蜘蛛第一次爬行过后，收录是一定不会给你放出来的，这时百度还有很多因素不能确定，如果百度蜘蛛认为有必要进行对比计算的话，那么百度蜘蛛就还需要再进行第二次爬行，对爬取的内容与存在于索引库中的内容进行对比运算、比较计算的。
文章内容是否新鲜，与索引库中内容是否重复等，如果认为你这个文章内容是有必要收录，百度蜘蛛会进行第三次爬行，爬行后会立即放出收录页面。
如若网站权重高，百度就不会重复如些动作，即一次通过，直接先放出来，然后进行排名的运算，最后根据运算结果得出与索引库中有高度重复文章将会慢慢删除掉，这就是为何有些网站头天收录第二天就没有了，头天收录排名第一，次日就见不到踪影了，正是这个原因。
如何吸引百度蜘蛛的抓取
1.原创内容
这是唯一的最为重要的点，百度蜘蛛在每天每天的运作它会记录起所有的内容性质，那么在爬取的时候就会进行筛选，而第一无二的原创文章则是百度蜘蛛最喜欢的被称为“蜘蛛食量”。由于百度蜘蛛对内容是没有理解能力的，它只对词语进行判断，那么在题目与文章内容里我们就要增加词语的密度与联系。作为现在的百度来说相关度高的文章容易被收录。建议：如伪原创文章前200个字是蜘蛛判断是否原创的关键。
2.蜘蛛通道的建设
百度每天会发出很多的蜘蛛去收集内容供应搜索引擎的更新，那么百度蜘蛛的通道就是URL。蜘蛛通过搜索引擎的URL进行行动，那么我们网站就要给出大量的门让蜘蛛进入到网站来，尽量多的让蜘蛛带走我们的内容，那么那些地方才是蜘蛛喜欢去的呢？我们在选择做外链引蜘蛛的时候要考虑到，蜘蛛喜欢的是一些内容更新多，活跃度高的网站：例如（论坛，门户，社区等）。
3.养蜘蛛
这是很多SEO做的工作，养蜘蛛就是让百度蜘蛛喜欢网站，从而经常来网站，这样就能很好的收录网站内容。具体怎么做呢？根据蜘蛛的规则：原创文章、外部URL之外，这个更新时间与更新频率尤其重要，我自己的经验是每天早上8:30-10:30之间发布文章是非常好的，因为这样一天里就有尽量多的时间让蜘蛛接触新内容，方便蜘蛛抓取。更新的时候不要过于不定时的发，在更新时段里进行发布。在收录的快慢情况下，进行下一时段的发布，如果前面发布的文章很快被收录之后再下午3:00-5:00之后时在进行发布。我的了解是，一次性增加10-20篇文章是会出现漏洞的，就是蜘蛛只抓取一部分。坚持一段时间蜘蛛的抓取就能得以控制。在第一时段更新之后，发现没有被收录的文章，在第2时段前，我们可以进行修改，增取在第2时段被收录。
本文链接：https://www.dnwfb.com/18.html，转载请注明出处。
评论0