网站优化必看蜘蛛陷阱不利于蜘蛛爬取的网页

网站运营 2024/12/25 佚名

2 0 1

蝙蝠岛资源网 Design By www.hbtsch.com

　　1、搜索引擎能不能找到网页。

　　1)要让搜搜引擎发现网站首页，网站推广就必须有良好的外部链接链接到首页，就找到了首页，然后蜘蛛会沿着链接爬的更深。

　　让蜘蛛通过简单的html页面的链接到达，javascript链接，flash链接都是蜘蛛的陷阱。这点要注意。

　　2)找到网页后能不能抓去内容。

　　被发现的蜘蛛是可以被爬取的，数据库动态生成，带过很多的参数url、sessionID、整个页面都是flash、框架结构、大量的转向，和大量的复制内容都可能把蜘蛛拦截在门外。这也也是要注意的

　　2、flash

　　1)在网页某一个部分使用flash来增强视觉效果很正常网络推广，比如现在很多的flash广告、图标等。但是这是一个html页面的一部分。不会有太大的影响

　　2)但是有的网站就是一个很大的flash文件，这就构成了蜘蛛的陷阱，这时候蜘蛛爬取的只有一个flash链接，没有其他的内容，所以这点尽量要避免。

　　3、sessionID

　　1)有些网站使用sessionID(会话ID)跟踪用户的访问，用户的没一次访问都会生成一个独立的ID，然后加在url里，这是蜘蛛每一次抓取网站都会把蜘蛛当作一个新的用户网络营销，造成蜘蛛不能正常爬取，这也是蜘蛛的一大陷阱。

　　2)通常建议跟踪用户访问应该使用cookies而不要生存sessionID 。

　　4、各种的跳转

　　1)除了大家熟悉的301转向之外，其他的转向对搜索蜘蛛都比较敏感的，比如302暂时转向，javascript转向，flash转向，meta refresh跳转，所以建议大家不要做其他不利于网页的转向，301也包括，不到万不得已的时候也不要用301转向。这是个建议。谢谢阅读，希望能帮到大家，请继续关注，我们会努力分享更多优秀的文章。

网站优化,蜘蛛

标签：

网站优化,蜘蛛

蝙蝠岛资源网 Design By www.hbtsch.com

广告合作：本站广告合作请联系QQ：858582 申请时备注：广告合作（否则不回）
免责声明：本站文章均来自网站采集或用户投稿，网站不提供任何软件下载或自行开发的软件！如有用户或公司发现本站内容信息存在侵权行为，请邮件告知！ 858582#qq.com

蝙蝠岛资源网 Design By www.hbtsch.com

评论“网站优化必看蜘蛛陷阱不利于蜘蛛爬取的网页”

暂无网站优化必看蜘蛛陷阱不利于蜘蛛爬取的网页的评论...

更新日志

2024年12月25日

网站优化必看蜘蛛陷阱不利于蜘蛛爬取的网页

网站优化,蜘蛛

百度推出自动竞价工具：排名倾向自动出价

那些容易被人忽视的流量来源分析

评论“网站优化必看蜘蛛陷阱不利于蜘蛛爬取的网页”

更新日志

友情链接

网站优化必看 蜘蛛陷阱 不利于蜘蛛爬取的网页

网站优化,蜘蛛

百度推出自动竞价工具：排名倾向自动出价

那些容易被人忽视的流量来源分析

评论“网站优化必看 蜘蛛陷阱 不利于蜘蛛爬取的网页”

更新日志

友情链接

网站优化必看蜘蛛陷阱不利于蜘蛛爬取的网页

评论“网站优化必看蜘蛛陷阱不利于蜘蛛爬取的网页”