十大总结 让避免蜘蛛陷阱
　什么是蜘蛛陷阱，如何知道你的站点中有没有蜘蛛陷阱?蜘蛛陷阱是在站点中的某些环节嵌入一些代码，为了防止搜索引擎蜘蛛不索引你的这哪是您的网页上的地区，防止不断扫描你的页面的所有部分搜索机器人，因此不能按照里面的代码嵌入某处的某些环节。为了防止一些蜘蛛陷阱，

　　做SEO的童鞋都知道，网站被搜索引擎收录是关键，如果你的站点没有被搜索引擎收录，那么seo就无从谈起。所以要想网站能够被搜索引擎发现且网页能够被搜索引擎正常收录，那么首先就得使自己的站点便于蜘蛛的爬行。搜索引擎爬取网页的工具被称之为蜘蛛或爬虫机器人，英文名即robot。这些蜘蛛沿着超链接爬取我们的众多页面，但是有些页面是爬不到的，有的是因为网站自身存在一些不利于蜘蛛爬行，导致其对应的页面很难被搜索引擎收录，这样就形成了蜘蛛陷阱，一般指的是对搜索引擎不友好的网站制作技术，这些技术不利于蜘蛛爬取我们的页面，为了避免这种情况，小无名总结了如下因素，防止蜘蛛进入陷阱。

　　1：采用session id的页面，有的销售类站点为了分析用户的某些信息会采用会话ID来跟踪用户，访问站点的时候每个用户访问都会增加一次session id而加入到URL中，同样蜘蛛的每一次访问也会被当做为一个新用户,每次蜘蛛来访问的URL中都会加入一个session id，这样就会产生了同一个页面但URL不同的情况，这种的一来会产生复制内容页面，造成了高度重复的内容页，同时也是最常见的蜘蛛陷阱之一。比如说有的网站的为了提高销售业绩，而进行弹窗会话等，比如说您好来自XXX地的朋友等。

　　2：常识性的蜘蛛陷阱，采用强制注册或登录才能访问的页面，这种的对于蜘蛛来说就相当为难了，因为蜘蛛无法提交注册更无法输入用户名和密码登录查看内容，对于蜘蛛来说我们直接点击查看到的内容也是蜘蛛所能看到的内容。

　　3：喜欢采用flash的站点，之所以说是喜欢采用flash的站点是因为对于一些中小型企业来说，因为flash本身可以做很多种效果，尤其是放在导航上视觉效果强，所以不少企业站喜欢弄个flash来展示自己公司的实力，文化，产品等，甚至一些企业站点的网站首页就是一个flash，要么是在多长时间后通过flash跳转到另外一个页面，要么就是通过flash上的链接让用户自己点击后进入一个新的页面，但是对于蜘蛛来说一来是很难读取flash中的内容，所以蜘蛛也很难点击flash上的链接。

　　4：动态URL，在url中加入过多的符号或者网址参数等，这种蜘蛛陷阱我在url优化中曾经有提到，虽然说随着搜索引擎的的技术发展，动态url对于蜘蛛的抓取已经越来越不是问题了，但是从搜索引擎友好度上来讲，静态哪怕是伪静态url相对来说都比动态url要好，可以看下很多SEO同行对于url中的处理方式。

　　5：框架，在早期框架到处被泛滥使用，而现在框架网页很多网站已经很少使用了，一是因为现在随着各大CMS系统的开发问世，网站维护相对也越来越简单了，早期网站使用框架是因为对网站页面的维护有一定的便利性了，现在已经大可不必了，而且不利于搜索引擎收录也是框架越来越少被使用的原因之一。

　　6：JS，虽然现在搜索引擎对于javascript里的链接是可以跟踪甚至在尝试拆解分析的，但是我们最好不要寄望于搜索引擎自己克服困难，虽然说通过js可以做一些效果不错的导航，但是css同样可以做到;为了提高网站对搜索引擎的友好度建议使网页能够更好的蜘蛛爬行，就尽量不要采用js，当然在seo中，js有一个好处就是站长不希望被收录的页面或者友情链接可以采用js。还有一种方法可以消除JavaScript 蜘蛛程序陷阱，即使用< noscript >标签。< noscript >标签是为不支持JavaScript 的浏览器提供备选的代码。蜘蛛程序不会执行JavaScript, 因此他们通过处理< noscript >代码来代替。

　　7：深层次的网页，有的网页没有入口，而且距离网站的首页又很远，这种页面就相对较难被蜘蛛爬行到，当然对于那些权重高的网站可能会另当别论了。网站的页面要被收录，首先要需要基本的权重，首页的权重一般是最高的，然后首页的权重是可以传递到内页的，当内部页面的权重上升到可以被收录的门槛，页面就会被收录，按照这种理论，页面之间的权重传递是会递减的，因此，内页和首页的点击距离越近，越容易得到更多的首页权重传递。良好的网站结构可以让网站更多的页面被收录。

　　8：强制使用cookies，对于搜索引擎来说是相当于直接禁用了cookies的，而有些网站为了实现某些功能会采取强制cookies，比如说跟踪用户访问路径，记住用户信息，甚至是盗取用户隐私等，如果用户在访问这类站点时没有启用cookies，所显示的页面就会不正常，所以对于蜘蛛来讲同样的网页无法正常访问。

　　9：各种形式的跳转，对于301重定向相信很多seo童鞋已经非常熟悉了，但是对于其他302，或者meta refresh，javascript，flash等跳转，蜘蛛是很反感的，而且301也是不到万不得已的时候采用，任何跳转都会在一定程度上给蜘蛛的爬行带来障碍，所以你你懂得。

　　10：robots.txt书写错误和各种各样的作弊手法，比如说隐藏文字，隐藏链接等，采用伪装网页在判断来访者是蜘蛛还是普通浏览器者而显示不同的网页，使用默认错误的404页面等，同样会给蜘蛛带来爬行障碍。本文来源：深圳SEO 网址：http://lf.ioice.com/ 请尊重原创，转载请注明，谢谢!

可以使用以下一些方式：

　　1、检查链接

　　检查链接这一环节能有助于帮助您在网页中找到正确的url，只有这些正确的url才能帮助蜘蛛正确索引站点，并能正确遵循它，并给蜘蛛相应的机会检查网页中的网页标题和内容，如果站点链接被打破，那么蜘蛛就不能正常爬行站点，检索其中的内容，这对搜索引擎优化而言是一大弊端。

　　2、仔细检查您的robots.txt文件

　　robots.txt文件是站长通过一定的技术手段，阻止蜘蛛爬行站点中的某些文件，它是一个文本文件，放在网站的根目录中，包含了两个执行参数，一个是允许蜘蛛抓取页面一个则是禁止蜘蛛访问，下面我们来看看一些每个页面之间的差距是什么?

　　索引内页链接(一个理想的页面，可以让搜索引擎索引页面中的所有链接);索引内页但不索引内页中的链接;不索引内页找中的链接(和前面一个命令相似这两个有了部分限制);不索引内页页面也不索引内页链接(完全设置页面禁地，类似于禁止指令)。

　　3、避免使用弹出窗口

　　弹出窗口不仅惹恼很多人访问您的网站，它也隔离蜘蛛访问某些网页，当蜘蛛访问一个页面，有一个弹出窗口的链接，蜘蛛可能就无法识别标签的链接，但是如果一定要使用的话，你可以尝试在网站地图页面中加上弹出窗口的相关链接。

　　4、消除使用“条件”访问页面

　　某些网页启用Cookie，在访问页面之前会出现一个ID会话页面，很显然蜘蛛不嫩跟在键盘上输入，只有通过链接进入网页，如果在一个页面中出现了这样的“条件”页面，那么就好比跟蜘蛛说“禁止入内”的消息。

　　蜘蛛只能根据程序的相关指示爬行站点，并不能像人类一样可以随机进行交互，随意他们访问站点是凭借站长对站点优化的相关知识进行的，如果站点中出现上面的一些蜘蛛陷阱就会阻止他们访问您的站点
文章由威盟科技整理，转载请注明出处：

站内文章：均为188bet博彩体育app下载方式 各部门原创内容如需转载请著名本文网站链接：//www.mcissock.com/new/1401.html未经允许转载要受法律责任,如需转载请联系269247937@qq.com

[避免蜘蛛陷阱]