一、网站层次结构
要利于蜘蛛爬行，首先得有一个清晰的层次结构。树形结构是比较理想的网站结构，蜘蛛能够很好的理解并爬行。采用首页-索引页-内容页的形式有利于用户在最短的时间内找到需求的信息。而且由于相关性极强的内容在同一栏目下，提高了聚合度，这样更有利于蜘蛛的爬行整合。同时，树形结构应该遵循层数尽可能少的原则。
二、网站导航、次导航、面包屑
网站导航是网站不可或缺的重要组成部分。采用统一的导航栏不仅有助于用户体验，更有助于蜘蛛识别。由于蜘蛛能有效识别并爬行css。因此，对于导航栏字体属性是有效的。但切勿因为追求效果而采用js、ajax、inframe、flash等蜘蛛无法有效爬行的技术。次导航同样可以使用font-weight属性表明重要性，而面包屑导航也是必不可少的，要注意尽量避免使用url链接，而更多采用锚文本链接。
三、内容页
新的内容应尽量出现在蜘蛛频繁更新的地方。因此，内容页应按ID或发布时间排序。而每篇内容页应和其他页面有效链接。
