为了处理成百万的包含在万维网上的网页，搜索引擎公司已经几乎完全使得这个程序自动化了。搜索引擎有一个强盛的网页收集器，一般称为“蜘蛛”。

蜘蛛技术并不是一项十分高深的技术，但要做一个强盛的蜘蛛，却非易事。那么蜘蛛又是如何工作的呢？情况是这样，每隔一段时间，蜘蛛就会沿着自己的路线搜索一次，就像在网上爬行。蜘蛛爬到某一个网页后，它的内容要变成一个模板，当使用者询问搜索引擎的时候，会很轻易找到，那么蜘蛛就可以用这个原理把互联网上所有的网页都抓取下来，把整个互联网很像蜘蛛网，蜘蛛所行路线我们无法百分之百猜测，只能是做好一切预备工作，守株待兔，等待蜘蛛的光临。还有良多别的方法蜘蛛不喜欢。

好比，相同网址上的网页有超过一百个超链接会使得他们看一眼就累了。蜘蛛不会追随这些链接。作为一个站长，假如想进步提高网站权重，必需要了解蜘蛛的行踪，蜘蛛只能读懂文本内容，flash、图片等非文本内容它是看不到的。当我们和搜索引擎逐渐培养起感情之后，它就会天天光临我们网站，常常抓取我们的网页。但是需要提醒大家一点，蜘蛛很希奇，就像人一样，可谓是“明察秋毫”，眼里不揉沙子。建议大家多多增加原创的文章，增加网站权重，到更新快的地方发布围绕关键字相关内容的信息网站发你网站链接，让百度蜘蛛能够从多个地方找到你的网站上去。蜘蛛会先抓取起始网页中链接的所有网页，然后再选择其中的一个链接网页，继承抓取在此网页中链接的所有网页。

另外我想告诉大家的是，就算是我们百分之百了解蜘蛛，也不可能是安枕无忧、稳操胜券。由于蜘蛛是我们无法掌控的，它随时在变，我们只有紧跟，才能受益。