对于网站优化老手来说，蜘蛛陷阱肯定是不陌生的，但是对于一些刚刚从事网站优化工作的新手来说，可能还不知道什么是蜘蛛陷阱。根据百度百科对蜘蛛陷阱的介绍：蜘蛛陷阱是阻止蜘蛛程序爬行网站的障碍物，通常是那些显示网页的技术方法，目前很多浏览器在设计的时候考虑过这些因素，所以可能网页界面看起来非常正常，但这些蜘蛛陷阱会对蜘蛛程序造成障碍，如果消除这些蜘蛛陷阱，可以使蜘蛛程序收录更多的网页。

那么常见的蜘蛛陷阱有哪些呢？

今天微勤广州网站优化就告诉你必须知道的蜘蛛陷阱：

1、Flash动画

有的朋友会问，为什么Flash是蜘蛛陷阱的一种，其实这个问题很简单，就是因为蜘蛛识别不了Flash，很多网站喜欢在首页做一个Flash动画然后再跳向HTML页面，用户可以访问网站看完片头后被转向得真正的HTML网页。但搜索引擎蜘蛛呢?蜘蛛是不能通过这个Flash跟踪到HTML版本页面的。这就是一个陷阱，阻挡了蜘蛛继续抓取网站。如果Flash效果是必需的，微勤广州网站优化建议在首页Flash文件之外加上一个通往HTML版本的链接，这样蜘蛛可以跟踪这个链接抓取后面得HTML页面。

2、JS链接

Javascript可以创造出很多吸引人得视觉效果，有些网站喜欢使用Javascript脚本生成导航系统。这也是比较严重得蜘蛛陷阱之一。蜘蛛对于js也是识别不了的，对于js特效可以加入网站，也可以将不需要被抓取的链接放入js，但是需要进行爬行抓取的链接一定不能放入JS，这会造成蜘蛛不能继续爬行，同时js也不要太多，可以专门建一个js文件。

3、 动态URL

我们说现在蜘蛛是可以抓取部分URL链接的，但是动态URL是数据库直接生成的，有的带了问号、等号等多个参数。这类网址不仅不利于搜索引擎蜘蛛爬行，而且还可能造成蜘蛛的死循环，这是一个致命的蜘蛛陷阱。所以大多数情况都是建议大家网址静态化。

4、Session ID

有些网站为了跟踪用户访问使用Session ID，每个用户访问网站时都会生成独特唯一得Session ID，也即ID。这个ID都是加在URL中，搜索引擎蜘蛛的每一次访问也会被当成一个新得用户在URL中会加上一个不同的ID,这样蜘蛛每次来访问时所得到的同一个页面会是一个不一样的URL。结果就很明显，这样一来会产生复制内容页面，造成了高度重复的内容页。

5、Frame框架

框架结构对蜘蛛来说和Flash、js一样都是一道墙，框架结构也会阻碍搜索引擎蜘蛛的爬行和抓取，让蜘蛛掉进陷阱。

6、要求登录

这个是很常见的，有些网站内容放在需要用户登录之后才能看到得到，设置有的整个网站只能登陆进入后才能看，这对于用户当然没什么，而对于蜘蛛就造成陷阱，为什么？因为蜘蛛不能填写用户名、密码、也不会注册，自然而然，蜘蛛不能进来抓取你的内容，所以除非是VIP内容或者是不需要蜘蛛抓取的内容，其它的应该对蜘蛛公开，这样才能抓取。

7、强制使用Cookies

有些网站为了实现某种功能、如记住用户登录信息、跟踪用户访问路径等、强制用户使用Cookies、用户浏览器如果没有启用Cookies、页面显示不正常。搜索引擎蜘蛛就相当于一个禁用Cookies得浏览器、强制使用Cookies只能造成搜索引擎蜘蛛无法正常访问

8、各种跳转

目前比较建议的网站跳转就是301、302重定向，而其它跳转，蜘蛛是非常的敏感。因为黑帽最喜欢用跳转这种手段了，黑了别人的网站，然后在别人的网站上挂上一个指向自己网站的跳转。像js跳转、代码跳转等都不建议大家随便用，特别是如果在做404页面一定要用代码跳转，那建议时间在5秒以上。

9、网站链接结构

对于蜘蛛而言，我们主要说的就是网站的链接结构，其实网站的链接结构就等于一个房子，链接就是门，而蜘蛛就是我们邀请而来的朋友，网站链接结构槽糕混乱就相当于朋友来到你家后根本就分不清楚东南西北，找不到入口出口。连对应的链接都找不到，蜘蛛怎么进行抓爬？所以链接结构还是需要呈扁平树状结构。

本文由广州网站建设团队微勤网络整编而成，如需了解更多网站建设技巧、案例、各种网站建设知识可以联系广州网站建设公司微勤网络专业项目经理进行一对一问答

本文地址：广州网站优化告诉你必须知道的蜘蛛陷阱：http://www.gzweiqin.cn/article/93.html