重复收录新闻栏目页,是蜘蛛抓取的链接是重复累加的链接吗

2024-10-29 09:34:10 102
摘要:蜘蛛一直抓取的URL,是否有通道,如果有通道,这就是URL规划存在问题

1、蜘蛛一直抓取的URL,是否有通道,如果有通道,这就是URL规划存在问题;

2、如果这个URL,是不存在URL,那么势必是需要返回码变404,做死链接提交删除,返回码404,后期蜘蛛也不会再抓取;

3、Robots封禁,只能是用robots文件,再网页里面写的代码不管用,用robots,你封禁那个页面,写好就行,能测试是否已封禁,如果害怕误封禁某个页面,可以在站长平台robots哪里进行测试,随时可调整;

4、屏蔽admin,,这种无影响;

5、首先要确保前端没有给蜘蛛留不想被抓取爬行的页面URL通道,其次robots问题,可操作后去检测下。

你觉得这篇文章怎么样?

36 0
扫描二维码与小二CMS创始人沟通

7*24小时为您服务

小二CMS专注于高端网站定制、系统开发、商城开发、外贸网站建设、公众号开发、小程序开发、网站优化推广、安全运维等技术领域。是高端定制网站领域著名服务商!

本文标题:重复收录新闻栏目页,是蜘蛛抓取的链接是重复累加的链接吗
免责声明:文章《重复收录新闻栏目页,是蜘蛛抓取的链接是重复累加的链接吗》来至网络,文章表达观点不代表本站观点,文章版权属于原作者所有,若有侵权,请联系本站站长处理!
不忘初心,方得始终
中高端网站定制开发服务商
与我们取得联系
198-1095-0281 460623785

好作品自己会说话,

我们敬畏您给予的点滴信任 !

期待携手合作,请立即咨询我们:
QQ咨询
微信咨询
198-1095-0281
我们用心,期待您成为我们的客户
联系QQ客服

QQ扫码联系客服

联系微信客服

微信扫码联系客服

微信号: 198-1095-0281
添加微信好友, 详细咨询相关信息。

复制并跳转微信
19810950281