网站地图的作用非常重要，它不仅要满足访问用户的需求，还要取悦搜索引擎蜘蛛。在设计上也有一些技巧来让用户和蜘蛛都获得满意： 　　

1. 网站地图要包含最重要的一些页面 　　如果网站地图包含太多链接，人们浏览的时候就会迷失。因此如果网站页面总数超过了100个的话，就需要挑选出最重要的页面。建议挑选下面这些页面放到网站地图中去： 　　　

2. 网站地图布局一定要简洁，所有的链接都是标准的HTML文本，并且要尽可能多的包含关键字 　　不要使用图片来做网站地图里的链接，这样蜘蛛就不能跟随了。一定要使用标准的HTML文本来做链接，链接中要包括尽可能多的目标关键字。

3. 尽量在站点地图上增加文本说明 　

4. 在每个页面里面放置网站地图的链接 　　　

5. 确保网站地图里的每一个链接都是正确、有效的 　　　　

6. 可以把sitemap写进robot里在引擎爬虫进来抓取网页的时候，会首先查看robot，如果首先把sitemap写进robot里那么在效率上大大提高很多，从而获得SE的好感。

网站地图生成与提交

网上有很多sitemap地图生成的方法，比如在线生成、软件生成等，sitemap地图可以提交给各大搜索引擎，从而使搜索引擎更好的对网站页面进行收录,我们也可以通过robots.txt来告诉搜索引擎地图的位置
robots.txt是搜索引擎中访问网站的时候要查看的第一个文件。Robots.txt文件告诉蜘蛛程序在服务器上什么文件是可以被查看的。

当一个搜索蜘蛛访问一个站点时，它会首先检查该站点根目录下是否存在robots.txt，如果存在，搜索机器人就会按照该文件中的内容来确定访问的范围；如果该文件不存在，所有的搜索蜘蛛将能够访问网站上所有没有被口令保护的页面。

robots.txt必须放置在一个站点的根目录下，而且文件名必须全部小写。
语法：最简单的 robots.txt 文件使用两条规则：
? User-Agent: 适用下列规则的漫游器
? Disallow: 要拦截的网页

下面是西安弈聪网里的robots.txt文件：
User-agent: *
Disallow: /system/
Disallow: /inc/
Disallow: /templet/
Disallow: /HotKwd/
Disallow: /SeoTest/
Sitemap: http://www.xaecong.com/sitemap.xml
Sitemap: http://www.xaecong.com/sitemap1.xml
Sitemap: http://www.xaecong.com/sitemap2.xml
Sitemap: http://www.xaecong.com/sitemap3.xml
Sitemap: http://www.xaecong.com/sitemap4.xml
Sitemap: http://www.xaecong.com/sitemap5.xml

如果你的网站是动态网页，并且你为这些动态网页创建了静态副本，以供搜索蜘蛛更容易抓取。那么你需要在robots.txt文件里设置避免动态网页被蜘蛛索引，以保证这些网页不会被视为含重复内容。
 robots.txt文件里还可以直接包括在sitemap文件的链接。就像这样：
Sitemap: http://www.xaecong.com/sitemap.xml
目前对此表示支持的搜索引擎公司有Google, Yahoo, Ask and MSN。而中文搜索引擎公司，显然不在这个圈子内。这样做的好处就是，站长不用到每个搜索引擎的站长工具或者相似的站长部分，去提交自己的sitemap 文件，搜索引擎的蜘蛛自己就会抓取robots.txt文件，读取其中的sitemap路径，接着抓取其中相链接的网页。