“蜘蛛陷阱”是什么？它是阻止蜘蛛爬行网站的障碍物，并且这些蜘蛛陷阱会对蜘蛛程序造成障碍，如果消除这些陷阱，可以使蜘蛛程序收录更多的收录您网站的网页。谁都不能保证说让搜索引擎100%收录你网站的所有网页，但通过长期的努力，我们可以做的更好。只有最大限度的避免这些蜘蛛陷阱，才能让搜索引擎收录您更多的网页。
1、登陆要求。有些企业站和个人站的设置一定要注册登陆后才能看到相关的文章内容，这种对搜索引擎蜘蛛不是很友好，搜索引擎蜘蛛不会注册、也不会登陆。
2、动态URL。什么叫动态URL？简单的说就是带有问号、等号等参数的网址就是动态URL，动态URL不利于搜索引擎蜘蛛的爬行和抓取。
3、强制使用Cookies。有些网站为了让用户记住登录信息，强迫用户使用Cookies。如果未开启，则无法进行访问，访问页面显示的也不会正常，这种方式同时也会导致让蜘蛛无法进行访问。
4、框架结构。框架结构对搜索引擎来说是一个很大的问题，因为大多数的搜索引擎都无法识别网站框架，并且有些浏览器对框架结构页面也不支持。
5、各种跳转。对搜索引擎来说只对301跳转相对来说比较友好，对其他形式的跳转都是比较敏感，例如：JavaScript跳转、MetaRefresh跳转、Flash跳转、302跳转等等，这些都不推荐使用，因为很多的占用其他转向欺骗用户和搜索引擎，也是黑帽SEO的一种手段，很容易被搜索引擎惩罚。
6、Flash。有的网站页面使用Flash视觉效果是很正常的，比如用Flash做的Logo、广告、图表等，这些对搜索引擎抓取和收录是没有问题的，但如果你网站的首页是一个大大的Flash文件，虽然看上去很漂亮，但最终搜索引擎蜘蛛无法识别这些内容。
