404死链如何产生的?对网站有什么影响及解决办法


404死链如何产生的?对网站有什么影响及解决办法

文章插图

大量404死链接对网站会有什么影响?
1、死链接对于网站来说是避免不了的 , 但如果死链接过多 , 会影响搜索引擎对于网站的评分;
2、搜索引擎每天对于每个站点的抓取频次是有限制的 , 如果站点死链接太多 , 是会流费掉搜索蜘蛛每天抓取配额的 , 还会影响正常页面的抓取 。
【404死链如何产生的?对网站有什么影响及解决办法】 3、太多有404死链接对于用户来说 , 体验也是不好的 。
网站404死链接如何产生的?
1、网站内部错误链接
由于网站编辑或程序员的大意 , 导致网站产生不存在的链接页面 。
2、网站短暂无法访问
由于网站程序、空间或服务器的问题 , 导致网站产生大量以5开头的错误状态码页面 。
3、外部链接错误
用户或站长自己在站外发布了错误链接页面 , 搜索蜘蛛在抓取了这些页面后产生了404错误页面 , 别人采集复制了你站点含有错误链接的页面 , 还有就是有些垃圾站点自动生成静态页面搜索结果 , 这些都会导致网站产生404错误页面 。
4、抓取了不完整URL链接
有些搜索蜘蛛在抓取网站URL链接时 , 只抓取部分URL链接或者将正常URL链接后面的文字也抓取进去了 。
5、网站改版
在网站改版过程中 , 将老页面删除后未做301跳转到对应页面 , 或者在做了301跳转后 , 部分老页面仍然无法正常访问 。
6、管理员删除页面
站长删除被黑、广告、过时、灌水页面时 , 未做301跳转 , 导致网站产生了大量死链接 。
7、下架过期商品页面
电商网站平台 , 下架过期商品信息产生的404死链接 。
大量网站404死链接该如何去解决
1、修复错误页面
由于网站编辑或程序员的大意产生的错误页面 , 此种情况 , 我们要及时对程序进行修复 , 来保证本应该是正常的页面恢复访问 。
2、提交死链接
网站404错误链接页面URL地址该如何获取?大兵给大家分享以下三种方法:
(1) 使用百度站长工具 , 点击数据统计中的“抓取异常-找不到的页面” , 复制下面的所有链接地址 , 这就是近段时间我们网站的404死链接 , 此处链接不需要我们另外向百度提交了 , 百度已经自动帮我们提交了;
(2) 在删除网站页面时 , 手动保存好被删除的页面URL地址;
(3) 使用爬虫软件 , 例如Xenu , 爬取网站中所有链接地址获取死链接 。
通过HTTP状态码来批量筛选网站所有链接中的404死链接 , 排除非404状态码的页面 。
整理好所有404状态码的链接页面 , 将保存为一个TXT格式的文件文件 , 将此文本文件上传至网站根目录中 , 再将此文本文档提交给百度站长平台 。 如何将死链接提交给百度 , 可参考《如何将404死链接提交给百度》这篇文章 。
3、在robots中屏蔽抓取
如果你的网站存在大量404死链接 , 而且还具有一定的规律 , 那么你可以在robots文件中写一个规则禁止蜘蛛抓取此类链接 , 前提是不要把正常页面给误伤了 , 例如你的网站全部是html静态页面 , 如果错误页面链接中含有?的话 , robots文件规则可以写成Disallow:/*?* , 如果错误页面链接中含有/id…html , 则robots规则可以写成Disallow:/*…* 。

相关经验推荐