怎样减少无效URL的爬行和索引 – 无完美解

jin85231 Lv0 发表于2019-09-20 14:39:14  
623 0

少年老成的云晨守望同学(题外话:少年老成是好事哈。我20多岁时人家说我像40岁,我40多岁时好多人说我像30多,男人20到50岁可以做到基本一个样子)在网络营销实战密码网站贴了个帖子:透过京东商城看国内一线B2C网站SEO通病。建议先看那个帖子再回来看本帖,不然不容易明白下面在说什么。

简单说,帖子指出一个严重而且现实的SEO问题:很多网站,尤其是B2C,产品条件过滤系统(如选择产品的品牌、价格、尺寸、性能、参数等)会产生大量无效URL,之所以称为无效只是从SEO角度看的,这些URL并不能产生SEO作用,反倒有负面作用,所以这些URL不收录为好,原因包括:

大量过滤条件页面内容重复或极为类似(大量复制内容将使网站整体质量下降)

大量过滤条件页面没有对应产品,页面无内容(如选择“100元以下42寸LED电视”之类的)

绝大部分过滤条件页面没有排名能力(排名能力比分类页面低得多)却浪费一定权重

这些过滤条件页面也不是产品页面收录的必要通道(产品页面应该有其它内链帮助爬行和收录)

爬行大量过滤条件页面极大浪费蜘蛛爬行时间,造成有用页面收录机会下降(过滤条件页面组合起来是巨量的)

那么怎样尽量使这些URL不被爬行和索引、收录呢?前几天的一篇帖子如何隐藏内容也可能成为SEO问题讨论的是类似问题,这种过滤页面就是想隐藏的内容种类之一。不过可惜,我目前想不出完美的解决方法。云晨守望提出两个方法,我觉得都无法完美解决。

一是将不想收录的URL保持为动态URL,甚至故意越动态越好,以阻止被爬行和收录。但是,搜索引擎现在都能爬行、收录动态URL,而且技术上越来越不是问题。虽然参数多到一定程度确实不利于收录,但4、5个参数通常还可以收录。我们无法确认需要多少参数才能阻止收录,所以不能当作一个可靠的方法。而且这些URL接收内链,又没有什么排名能力,还是会浪费一定权重。

第二个方法,robots禁止收录。同样,URL接收了内链也就接收了权重,robots文件禁止爬行这些URL,所以接收的权重不能传递出去(搜索引擎不爬行就不知道有什么导出链接),页面成为权重只进不出的黑洞。

连向这些URL的链接配合nofollow也不完美,和robots禁止类似,nofollow在Google的效果是这些URL没有接收权重,权重却也没有被分配到其它链接上,所以权重同样浪费了。百度据称支持nofollow,但权重怎么处理未知。

将这些URL链接放在Flash、JS里也没有用,搜索引擎已经可以爬行Flash、JS里的链接,而且估计以后越来越擅长爬。很多SEO忽略了的一点是,JS中的链接不仅能被爬,也能传递权重,和正常连接一样。

也可以将过滤条件链接做成AJAX形式,用户点击后不会访问一个新的URL,还是在原来URL上,URL后面加了#,不会被当成不同URL。和JS问题一样,搜索引擎正在积极尝试爬行、抓取AJAX里的内容,这个方法也不保险。

还一个方法是在页面head部分加noindex+follow标签,意即本页面不要索引,但跟踪页面上的链接。这样可以解决复制内容问题,也解决了权重黑洞问题(权重是可以随着导出链接传到其它页面的),不能解决的是浪费蜘蛛爬行时间问题,这些页面还是要被蜘蛛爬行抓取的(然后才能看到页面html里的noindex+follow标签),对某些网站来说,过滤页面数量巨大,爬行了这些页面,蜘蛛就没足够时间爬有用页面了。

再一个可以考虑的方法是隐藏页面(cloaking),也福州网络推广就是用程序检测访问者,是搜索引擎蜘蛛的话返回的页面拿掉这些过滤条件链接,是用户的话才返回正常的有过滤条件的页面。这是一个比较理想的解决方法,唯一的问题是,可能被当作作弊。搜索引擎常跟SEO讲的判断是否作弊的最高原则是:如果没有搜索引擎,你会不会这么做?或者说,某种方法是否只是为了搜索引擎而采用?显然,用cloaking隐藏不想被爬行的URL是为搜索引擎做的,不是为用户做的。虽然这种情况下的cloaking目的是美好的,没有恶意的,但风险是存在的,胆大的可试用。

还一个方法是使用canonical标签,最大问题是百度是否支持未知,而且canonical标签是对搜索引擎的建议,不是指令,也就是说这个标签搜索引擎可能不遵守,等于没用。另外,canonical标签的本意是指定规范化网址,过滤条件页面是否适用有些存疑,毕竟,这些页面上的内容经常是不同的。

目前比较好的方法之一是iframe+robots禁止。将过滤部分代码放进iframe,等于调用其它文件内容,对搜索引擎来说,这部分内容不属于当前页面,也即隐藏了内容。但不属于当前页面不等于不存在,搜索引擎是可以发现iframe中的内容和链接的,还是可能爬行这些URL,所以加robots禁止爬行。iframe中的内容还是会有一些权重流失,但因为iframe里的链接不是从当前页面分流权重,而只是从调用的那个文件分流,所以权重流失是比较少的。除了

精彩评论
    回复:怎样减少无效URL的爬行和索引 – 无完美解
    推荐阅读 更多
    阅读排行 更多
    • 免费观看!!!

      ===============================由于文章直接放资 源 容易被删除……关 注 薇 xin 公..众..号:丫丫剧按照流程操作即可观看微信也可以扫下方二维码因部分影片版权原因,可能暂时无法观看次日再搜索即可。==============================

      阅读:57478|点赞:17
    • 免费观看(1)!!!!!!!!!!!

      ===============================由于文章直接放资 源 容易被删除……关 注 薇 xin 公..众..号:丫丫剧按照流程操作即可观看微信也可以扫下方二维码因部分影片版权原因,可能暂时无法观看次日再搜索即可。==============================

      阅读:31511|点赞:13
    • 免费观看!!!

      ===============================由于文章直接放资 源 容易被删除……关 注 薇 xin 公..众..号:丫丫剧按照流程操作即可观看微信也可以扫下方二维码因部分影片版权原因,可能暂时无法观看次日再搜索即可。==============================

      阅读:931|点赞:0
    • 如何对GIF动图进行裁剪?GIF怎么裁剪大小?

      相信小伙伴有很多图片裁剪的处理方法,现在随便一款智能手机都可以进行裁剪,但是GIF动图裁剪就需要专门的操作工具了。现在市面上GIF动图工具有很多,到底哪款才好用?今天小编给大家强烈推荐的一款GIF裁剪(https://www.gif.cn/tools/cut)工具,无需下载软件,简单操作,保证裁剪之后图片依然是动态的,感兴趣的小伙伴赶紧看过来!1、打开网站,点击导航栏中的gif工具,选择gif裁剪功能。2、点击选择图片,从本地选择需要裁剪的gif图片。也可以将网上的图片地址粘贴到文本框中,添加网络图片。3、图片上传之后,可以输入裁剪尺寸或者拖动裁剪框来选择裁剪的位置,点击裁剪按钮,然后点击下载即可完成操作。好啦,一张GIF动图只需三步就裁剪完成了,小伙伴是不是觉得非常简单,那就赶紧动手试试。如果需要裁剪GIF动图就可以按照小编的步骤进行编辑,而且下载之后图片依然是动态的。如果裁剪的图片过大,可以使用GIF压缩功能,具体步骤请看:怎么快速缩小GIF文件大小(https://www.gif.cn/help/504)。更多精彩GIF编辑内容,就关注GIF中文网吧!

      阅读:141|点赞:0
    • 滤筒除尘器吸风量变小可以从这4个方面找找原因

      随着环保要求越来越严格,所以各种工业除尘器设备也应时而生,特别是干式除尘器设备布袋除尘器和滤筒除尘器。今天昊阳环保就滤筒除尘器使用过程中出现吸风量变小的问题可以从这4个方面找找原因,以及怎么解决这些问题。 图:滤筒除尘器 滤筒除尘器吸风量变小可以从使用过程中出现吸风口吸入不完全,排风口有灰尘排出很容易就能判断出来。那么造成滤筒除尘器吸风量变小的原因是什么呢? 1. 滤筒除尘器的密封不严 滤筒除尘器同布袋除尘器一样,也是由各部件组装而成的,一些缝隙会用一些密封条或密封胶进行密封。滤筒除尘器长期使用会造成密封条老化,密封胶脱落,特别是像风机、积灰斗、检修门、进风口、管道甚至于吸气臂软管等处都有可能出现这样情况。 解决办法:及时检找并修复。 2. 管道堵塞 如果前期对工况,粉尘特性了解不是特别清楚,特别是粉尘中含有油性或者易吸潮,选型设计的风量又不够,或者选用的风机不是原装合格风机,是翻新机,则滤筒除尘器在使用过程中,会发现风量越来越小,吸尘能力越来越弱,则可能就是管道被堵塞了。 解决办法:管道应选用专门定制的内壁光滑的管道,选型设计的风量是否够,风机风量是否正常?及时定期清理管道,如果确实是滤筒除尘器风量设计不对,则应更换滤筒除尘器设备,重新选型设计了。 图:除尘滤筒 3. 除尘滤筒长时间未及时清理,除尘滤筒堵塞了 滤筒除尘器的核心部件就是除尘滤筒,如果除尘滤筒清灰效果不好,会造成除尘滤筒堵塞,表现出滤筒除尘器吸风量越来越小了。 解决办法:及时对滤筒除尘器的除尘滤筒进行清理,后期的使用中要多留意,根据实况缩短清理周期。 4. 滤筒除尘器风机维护不当或者质量不过关 风机是滤筒除尘器非常重要的组成部分,滤筒除尘器能不能吸走粉尘,能不能排出净化后的气体都是靠风机提供动力的,所以风机日常维护还是非常重要的,如果风机日常维护不当,或者长时间未做维护,就会造成吸风量较小等问题。 解决办法:定期为风机加注机油,定期对风机连接件进行紧固和维护。 还有一点是就是滤筒除尘器选用的风机质量不过关。 现在一些客户一味的要求价格便宜,有些滤筒除尘器厂家也会为了拿下订单大大价格战,有些滤筒除尘器厂家就会动一起歪心思,比如回一些旧风机然后翻新,价格自然也会便宜很多,但是质量却无法保障。 解决办法:不可一味的追求价格便宜,一定要选择有实力靠谱的滤筒除尘器厂家合作,选用的风机选有一定的品牌知名度的,或者风机可以自行采用,不用滤筒除尘器厂家提供的风机,毕间滤筒除尘器提供的风机也是外面采购的。 图:昊阳环保 杭州昊阳环保设备有限公司——我们不是简单卖一台设备给您,而是系统的帮您“提供完整粉尘、烟雾净化解决方案!”原文来自:http://www.chuchenqi168.com/news_content_1987.html浅谈布袋除尘器的压力测试方法也谈谈布袋除尘器施工方案技术要求做好这2点监控+1规范操作可保证布袋除尘器安全有序运行再谈布袋除尘器正常工作温度问题滤筒除尘器除尘滤芯烧毁可以从这里找原因 这样解决选用滤筒除尘器作为除尘设备 这3点缺点你一定要清楚布袋除尘器时刻关注这5个部件 让你真正省心寒冬来临 布袋除尘器“防寒”你准备好了吗?揭秘布袋除尘器运行过程中易受损的部件揭秘进气方式对布袋除尘器的影响提升锅炉除尘器除尘效率需做好1个原则

      阅读:123|点赞:0
    • 怎么修改图片到规定的大小?怎么改变图片KB大小?

      出现图片需要被压缩的情况一般有两个原因,一是上传受到限制二是存储空间大小的问题。想要处理这两个问题,直接使用压缩啦的图片压缩功能就能一键解决。可是,有时候图片在上传平台的时候,需要我们将图片压缩到指定大小多少KB,或者不超过多少KB,如果使用图片压缩就没有那么精确了,需要小伙伴反复进行压缩非常麻烦。那针对如何图片压缩指定大小(https://www.yasuola.com/imagesize)这个问题,小编给大家想到了一个解决的的方法,不妨一起来了解下!1、打开压缩啦网站,选择图片压缩指定大小功能。2、点击选择上传图片,输入期望大小值,可以调整图片的宽、高等数值以及整体尺寸缩小,默认图片尺寸缩小0.7,有要求的话可以自行修改,修改完成后,点击开始压缩。3、压缩完成后点击预览,无误后点击保存图片下载。怎么修改图片到规定的大小,小伙伴对于小编的解决方法还满意吗?只需三步即可完成图片压缩指定大小,现在小编不但告诉大家可以使用什么样的工具,还告诉了使用的方法,还不知道怎么压缩图片的小伙伴快快动手试试吧,希望以上内容可以帮助到有需要的小伙伴!

      阅读:105|点赞:0
    • 手机如何将图片缩小到20k?怎么指定压缩图片大小?

      如何将照片缩小到20K(https://www.yasuotu.com/imagesize)?在平时工作中小伙伴使用电脑图片压缩工具就可以将图片压缩到指定大小,如果是手机上的图片需要压缩到多少KB,再上传到电脑上操作就会非常麻烦,其实手机就可以完成。但很多小伙伴表示对手机压缩图片的操作不是很清楚,接下来,小编以“压缩图片到20K”为例,给大家详细介绍一下手机压缩图片大小的具体操作流程,希望这篇文章可以帮助到有需要的朋友!1、打开压缩图网站,点击更多功能—图片压缩指定大小功能。2、点击选择上传图片,输入期望大小值,可以调整图片的宽、高等数值以及整体尺寸缩小,默认图片尺寸缩小0.7,如果不需要修改尺寸设置为1,修改完成后,点击开始压缩。3、压缩完成后点击预览,无误后点击保存图片下载。手机压缩图片20K的操作流程小编已经给到大家了,现在登录手机端压缩图就可以使用了。通过这款在线图片压缩工具(https://www.yasuotu.com/),只需要设置一下期望大小,就可以自动压缩图片到指定大小,画质不变体积减半,需要压缩图片就来试一下吧!

      阅读:104|点赞:0
    • 隔膜压滤机特点及优势

          禹州华德环保科技有限公司(原名为“禹州双发化工机械有限公司”)始创于1988年,是一家专业生产研发压滤机的公司。所研制的隔膜压滤机的滤板具有以下优势: 提高整机的处理效率、极大的降低滤饼的含水率、缩短过滤周期提高过滤效率、滤板寿命高;www.yzhdhb.com    普通板框过滤机过滤时,如果要想加高滤饼含固率,需要增加过滤时间,外力或以其它方式增加压力。但是对于隔膜滤板来说,不仅控制滤饼的厚度,可以随时控制进料时间和压榨时间,大幅度将过滤周期缩短,提高工作效率。在某些行业下,由于物料加热干燥的费用大约是机械脱水的十倍,因此对机械脱水的充分利用就显得格外重要。

      阅读:95|点赞:0
    • 小程序商家必备:2022年1月份小程序营销日历来了!

        2021年已正式步入尾声    明天就将迎来2022年元旦    大家去年定下的目标都实现了吗    不要急!距离过年还有一个月    这份营销必备《1月份营销日历》来了    快来看看1月份都有哪些重要营销节点    这里也祝所有朋友们    新年快乐,假期愉快!

      阅读:94|点赞:0
    • 昊阳环保谈滤筒除尘器的排气量是指什么?

      选型设计得当的滤筒除尘器一种非常高效的除尘器设备,在工业干式除尘领域有着非常广泛的应用,滤筒除尘器具有除尘效率高、占地面积小、更换除尘滤筒方便等特点。但是你知道吗?滤筒除尘器的设计又不同于一般除尘器设备,它是根据不同的排风量来设计的,选用的除尘滤筒规格型号也不同的。 图:滤筒除尘器 滤筒除尘器由进风管、排烟管、壳体、灰库、除尘装车系统、导流装置系统、旋风分离器配电盘、除尘滤筒、电控装置等组成。 滤筒除尘器在工作时,风机工作产生风量,滤筒除尘器的风量并不是越大越好,也不是越小越好,一定是一个合理的风量才比较好。对于不同的粉尘工况,粉尘粒径、粉尘浓度不同所需要的风量大小也不尽相同,我们在选型设计滤筒除尘器取风量值时,是结合理论风量+风损,再放一定的余量来取值的,就像汽车车速样,我们跑的蕞高时速是120码,但设计时速可达220码,所以滤筒除尘器风量亦是如此,比如测算出的风量只要15KW风量即可,我们在实际应用中可能选用17-20KW的风机。这样留有一定的余量,以确保不同的粉尘可以正常使用。 在实际应用中,对于颗粒物粒径较大的粉尘浓度,应该适当增加风量;反之亦然,这也是为什么很多滤筒除尘器风机都是选用变频式的风机,可根据实况调节风机频率,从而保证除尘效果。 图:昊阳环保 杭州昊阳环保设备有限公司——我们不是简单卖一台设备给您,而是系统的帮您“提供完整粉尘、烟雾净化解决方案!”原文来自:http://www.chuchenqi168.com/news_content_1988.html浅谈布袋除尘器的压力测试方法也谈谈布袋除尘器施工方案技术要求做好这2点监控+1规范操作可保证布袋除尘器安全有序运行再谈布袋除尘器正常工作温度问题滤筒除尘器除尘滤芯烧毁可以从这里找原因 这样解决选用滤筒除尘器作为除尘设备 这3点缺点你一定要清楚布袋除尘器时刻关注这5个部件 让你真正省心寒冬来临 布袋除尘器“防寒”你准备好了吗?揭秘布袋除尘器运行过程中易受损的部件揭秘进气方式对布袋除尘器的影响提升锅炉除尘器除尘效率需做好1个原则

      阅读:92|点赞:0

    Powered by HadSky 7.7.15

    IP 3.85.80.239,2022-01-21 05:41:28,Processed in 0.20548 second(s).