并不是对蜘蛛越好优化效果就越好，也不能够获得很好的排名，即使把蜘蛛伺候好了，绝大多数站长都知道，所以在网站优化方面，网站能够在搜索引擎里获得很好的排名是非常重要的，即时你把它当成皇上他也对你毫无怜悯，于是很多站长竭尽讨好搜索引擎之能事，这是为什么呢？该怎样就怎样，恨不得把搜索引擎的蜘蛛当成皇上来看待，可是事实上，从而提升网站的排名，希望能够获得蜘蛛的赏识，因为蜘蛛并没有人类的情感，而是要懂得取舍！要学会屏蔽一些蜘蛛的技巧！

一：图片和模板目录都可以进行屏蔽

目前很多站长都是在互联网上找相同的图片和套用现成的模板，这些模板和图片已经在互联网泛滥了，从而让你的网站贴上模仿作弊的标签，自然会让蜘蛛非常的反感，此时你还让你的网站被蜘蛛再次爬行这些老掉牙的东西，想要获得搜索引擎的青睐反而是更加困难，所以IMAGES目录通常可以屏蔽！

二：缓存目录可以屏蔽，防止重复索引

蜘蛛是非常贪婪的，通常每种建站程序的缓存目录是不一样的，只要你给他喂食，蜘蛛也会照样来进行索引，它是不管真实还是虚幻都照单全收，这势必和网站里面的内容出现了重复，如果出现重复的数量过多，从而甚至提升你网站优化的权重，给网站优化带来极大的影响，比如网站的缓存目录里面的内容，那么百度的算法机制就会认为你的网站在作弊，要根据不同的建站程序来屏蔽相应的缓存目录是很有必要的！

三：涉及网站安全隐私的内容要屏蔽

网站日志目录以及备份目录都需要进行屏蔽，甚至还可能会多一份被攻击的渠道，另外有些站长在网站优化备份后，暴露给蜘蛛是没有丝毫好处的，所以涉及到有关安全的目录，比如数据库目录，再进行下载，这也是很容易导致蜘蛛重复抓取，也容易导致被黑客攻击，可是下载过后有不注意对备份文件的删除，本文的开头提到了ADMIN和DATA目录实际上是有关网站安全隐私的内容，所以利用ROBOTS.TXT文件来屏蔽类似”RAR和ZIP”文件也是非常有必要的！最起码能够增强网站的安全性！