解剖屎山,寻觅黄金之第二弹
大家好,我3y啊。由于去重逻辑重构了几次,好多股东直呼看不懂,于是我今天再安排一波对代码的解析吧。austin支持两种去重的类型:N分钟相同内容达到N次去重和一天内N次相同渠道频次去重。
在最开始,我的第一版实现是这样的:
publicvoidduplication(TaskInfotaskInfo){//配置示例:{"contentDeduplication":{"num":1,"time":300},"frequencyDeduplication":{"num":5}}JSONObjectproperty=JSON.parseObject(config.getProperty(DEDUPLICATION_RULE_KEY,AustinConstant.APOLLO_DEFAULT_VALUE_JSON_OBJECT));JSONObjectcontentDeduplication=property.getJSONObject(CONTENT_DEDUPLICATION);JSONObjectfrequencyDeduplication=property.getJSONObject(FREQUENCY_DEDUPLICATION);//文案去重DeduplicationParamcontentParams=DeduplicationParam.builder().deduplicationTime(contentDeduplication.getLong(TIME)).countNum(contentDeduplication.getInteger(NUM)).taskInfo(taskInfo).anchorState(AnchorState.CONTENT_DEDUPLICATION).build();contentDeduplicationService.deduplication(contentParams);//运营总规则去重(一天内用户收到最多同一个渠道的消息次数)Longseconds=(DateUtil.endOfDay(newDate()).getTime()-DateUtil.current())/1000;DeduplicationParambusinessParams=DeduplicationParam.builder().deduplicationTime(seconds).countNum(frequencyDeduplication.getInteger(NUM)).taskInfo(taskInfo).anchorState(AnchorState.RULE_DEDUPLICATION).build();frequencyDeduplicationService.deduplication(businessParams);}
【资料图】
那时候很简单,基本主体逻辑都写在这个入口上了,应该都能看得懂。后来,群里滴滴哥表示这种代码不行,不能一眼看出来它干了什么。于是怒提了一波pull request重构了一版,入口是这样的:
publicvoidduplication(TaskInfotaskInfo){//配置样例:{"contentDeduplication":{"num":1,"time":300},"frequencyDeduplication":{"num":5}}Stringdeduplication=config.getProperty(DeduplicationConstants.DEDUPLICATION_RULE_KEY,AustinConstant.APOLLO_DEFAULT_VALUE_JSON_OBJECT);//去重DEDUPLICATION_LIST.forEach(key->{DeduplicationParamdeduplicationParam=builderFactory.select(key).build(deduplication,key);if(deduplicationParam!=null){deduplicationParam.setTaskInfo(taskInfo);DeduplicationServicededuplicationService=findService(key+SERVICE);deduplicationService.deduplication(deduplicationParam);}});}
我猜想他的思路就是把构建去重参数和选择具体的去重服务给封装起来了,在最外层的代码看起来就很简洁了。后来又跟他聊了下,他的设计思路是这样的:考虑到以后会有其他规则的去重就把去重逻辑单独封装起来了,之后用策略模版的设计模式进行了重构,重构后的代码 模版不变,支持各种不同策略的去重,扩展性更高更强更简洁
确实牛逼。
我基于上面的思路微改了下入口,代码最终演变成这样:
publicvoidduplication(TaskInfotaskInfo){//配置样例:{"deduplication_10":{"num":1,"time":300},"deduplication_20":{"num":5}}StringdeduplicationConfig=config.getProperty(DEDUPLICATION_RULE_KEY,CommonConstant.EMPTY_JSON_OBJECT);//去重ListdeduplicationList=DeduplicationType.getDeduplicationList();for(IntegerdeduplicationType:deduplicationList){DeduplicationParamdeduplicationParam=deduplicationHolder.selectBuilder(deduplicationType).build(deduplicationConfig,taskInfo);if(Objects.nonNull(deduplicationParam)){deduplicationHolder.selectService(deduplicationType).deduplication(deduplicationParam);}}}
到这,应该大多数人还能跟上吧?在讲具体的代码之前,我们先来简单看看去重功能的代码结构(这会对后面看代码有帮助)
去重的逻辑可以统一抽象为:在X时间段内达到了Y阈值,还记得我曾经说过:「去重」的本质:「业务Key」+「存储」。那么去重实现的步骤可以简单分为(我这边存储就用的Redis):
通过Key从Redis获取记录判断该Key在Redis的记录是否符合条件符合条件的则去重,不符合条件的则重新塞进Redis更新记录为了方便调整去重的参数,我把X时间段和Y阈值都放到了配置里{"deduplication_10":{"num":1,"time":300},"deduplication_20":{"num":5}}。目前有两种去重的具体实现:
1、5分钟内相同用户如果收到相同的内容,则应该被过滤掉
2、一天内相同的用户如果已经收到某渠道内容5次,则应该被过滤掉
从配置中心拿到配置信息了以后,Builder就是根据这两种类型去构建出DeduplicationParam,就是以下代码:
DeduplicationParamdeduplicationParam=deduplicationHolder.selectBuilder(deduplicationType).build(deduplicationConfig,taskInfo);
Builder和DeduplicationService都用了类似的写法(在子类初始化的时候指定类型,在父类统一接收,放到Map里管理)
而统一管理着这些服务有个中心的地方,我把这取名为DeduplicationHolder
/***@authorhuskey*@date2022/1/18*/@ServicepublicclassDeduplicationHolder{privatefinalMapbuilderHolder=newHashMap<>(4);privatefinalMap serviceHolder=newHashMap<>(4);publicBuilderselectBuilder(Integerkey){returnbuilderHolder.get(key);}publicDeduplicationServiceselectService(Integerkey){returnserviceHolder.get(key);}publicvoidputBuilder(Integerkey,Builderbuilder){builderHolder.put(key,builder);}publicvoidputService(Integerkey,DeduplicationServiceservice){serviceHolder.put(key,service);}}
前面提到的业务Key,是在AbstractDeduplicationService的子类下构建的:
而具体的去重逻辑实现则都在LimitService下,{一天内相同的用户如果已经收到某渠道内容5次}是在SimpleLimitService中处理使用mget和pipelineSetEX就完成了实现。而{5分钟内相同用户如果收到相同的内容}是在SlideWindowLimitService中处理,使用了lua脚本完成了实现。
LimitService的代码都来源于@caolongxiu的pull request,建议大家可以对比commit再学习一番:https://gitee.com/zhongfucheng/austin/pulls/19
1、频次去重采用普通的计数去重方法,限制的是每天发送的条数。
2、内容去重采用的是新开发的基于redis中zset的滑动窗口去重,可以做到严格控制单位时间内的频次。
3、redis使用lua脚本来保证原子性和减少网络io的损耗
4、redis的key增加前缀做到数据隔离(后期可能有动态更换去重方法的需求)
5、把具体限流去重方法从DeduplicationService抽取出来,DeduplicationService只需设置构造器注入时注入的AbstractLimitService(具体限流去重服务)类型即可动态更换去重的方法 6、使用雪花算法生成zset的唯一value,score使用的是当前的时间戳
针对滑动窗口去重,有会引申出新的问题:limit.lua的逻辑?为什么要移除时间窗口的之前的数据?为什么ARGV[4]参数要唯一?为什么要expire?
A: 使用滑动窗口可以保证N分钟达到N次进行去重。滑动窗口可以回顾下TCP的,也可以回顾下刷LeetCode时的一些题,那这为什么要移除,就不陌生了。
为什么ARGV[4]要唯一,具体可以看看zadd这条命令,我们只需要保证每次add进窗口内的成员是唯一的,那么就不会触发有更新的操作(我认为这样设计会更加简单些),而唯一Key用雪花算法比较方便。
为什么expire?,如果这个key只被调用一次。那就很有可能在redis内存常驻了,expire能避免这种情况。
推荐项目最后再叨叨吧,很多人可能会发一段截图,跑来问我为什么要这样写,为什么要以这种方式实现,能不能以这种方式实现。这时候,我更想看到的是:你已经实现了第二种方式了,然后探讨你写的这种方案好不好,现有的代码差在哪里。
毕竟问问题很简单,我又不是客服,总不能没诚意的问题我都得一一回答吧。
如果想学Java项目的,我还是强烈推荐我的开源项目消息推送平台Austin,可以用作毕业设计,可以用作校招,可以看看生产环境是怎么推送消息的。
仓库地址(可点击阅读原文跳转):https://gitee.com/zhongfucheng/austin
我开通了股东服务内容,感兴趣可以点击下方看看,主要针对的是项目哟
VIP服务
标签:
精彩推送
生化危机4重制版热成像瞄准镜在哪里-热成像瞄准镜位置攻略:世界新消息
在生化危机4重制版这款游戏中,玩家可以获得许多装备来帮助自己对抗敌人,很多玩家想知道生化危机4重制...
有一种叫云南的生活∣感受初夏的“梅”好时光!卡场吾呀的野杨梅熟啦!_每日热讯
“乡村四月芳菲尽, 唯有杨梅挂满枝” 近日,卡场镇草坝村吾呀村民小组的野杨梅正值采摘时节。那股杨...
当前讯息:杭州成全国“最能花钱”城市,人均消费“十强”浙江占了三席
据杭州市商务局4月12日发布,综合各地统计局2022年统计数据,杭州以人均年消费46440元位居中国人均消费...
世界看热讯:MLXG是什么世界冠军?当UZI看到“世界冠军MLGX”后的反应亮了!
前言:在英雄联盟LPL赛区未能拿到世界赛全球总冠军之前,如果请你说出谁是LPL最强打野,你会怎么想呢?...
当前观点:4月13日 10:22分 方盛制药(603998)股价快速拉升
分时图快速拉升意味此时存在大单买入,在大单的推动下,股价快速地上涨。截止发稿,方盛制药(603998)...
中山:目前存量住宅用地总面积超1.2万亩 普通商品房项目有183个:每日聚焦
目前,中山存量住宅项目共有1521个,存量住宅用地总面积为804 1公顷(折合约12061 5亩);1521个存量...
新闻快讯
X 关闭
X 关闭
新闻快讯
- 解剖屎山,寻觅黄金之第二弹
- 成都3宗宅地土拍吸引超50家房企报名,3地块全部“熔断”成交
- 首都在线:算力支撑技术及能力已获行业专业认可 天天观天下
- 天天快看点丨青岛中程:截至2023年4月10日,公司股东人数约3.2万户
- 首搭1080°女性安全架构 2023款欧拉芭蕾猫14.98万元起 全球快讯
- 2023年中级会计职称报考5个重要时期!:世界资讯
- 2022脱毛十大品牌排行榜_脱毛哪个牌子好
- 资本圆桌快讯 | 方旭东:长租公寓留给险资、外资去搏杀_全球热资讯
- 夏天感冒能吹空调吗_夏天感冒可以吹空调吗
- 焦点速讯:国海证券给予吉祥航空买入评级
- 海南发布高温四级预警!明日海南多地将现37℃以上高温天气_环球速递
- 江丰电子:目前公司原材料的供应情况正常 部分原材料已实现国产替代
- 环球短讯!对话思考乐:直播电商如何实现爆发式增长
- 昆明专业割包皮男科医院 昆明做包皮手术多少钱?
- 观天下!财政部:一季度全国一般公共预算收入62341亿 同比增长0.5%
- 今日热搜:金价白盘震荡回升 关注美联储加息迹象
- 环球时讯:5月上市!全新蔚来ES6上海车展亮相 基于最新平台打造
- 环球热议:kicked的意思_kicked
- 【世界新视野】广西南丹:举办壮族敬牛节 保护传承非遗文化
- 【跨国企业在中国】达索系统许善淞:我们在中国市场找到发展新天地
- 2023款哈弗赤兔上市,价价比提升
- 2023上海车展:新款Cayenne开启预售|每日热议
- 国家统计局:一季度国内生产总值284997亿元 同比增长4.5%_全球热资讯
- 全球聚焦:预售70万元-160万元 东方豪华电动越野猛士917全球首发
- 天天播报:日语姐姐怎么说谐音(日语姐姐的中文谐音是啊捏、哦捏)
- 如何进厦大参观怎么预约_全球聚焦
- 今日卫星天线能收多少个台(平板卫星天线收多少台各是什么):世界速看
- 【畅游陇原】伏羲画卦第一山——卦台山
- 伊洛纳手游怎么催吐
- 山西:坚决扛起增产保供政治责任 不折不扣落实各项目标任务
- 图解丨聊聊“人造太阳”:做这个很难,也很燃!-天天新动态
- 工程师技术交流群
- 速讯:中德产业园一年走出38家“专精特新”企业
- 兰江河畔换新颜 全球简讯
- 世界热文:应声虫指的是什么类的人_应声虫分别指哪一类人
- 环球最新:美国死于枪支未成年人激增:种族差异明显 非裔受影响最严重
- 当日快讯:吉祥航空:2022年净亏损扩至41.48亿元
- 天天热文:九里香香吗 九里香香吗?
- “五一”旅游热度提前升温 旅行团预订火爆
- 契约锁与多家软件行业伙伴达成战略合作,携手助力组织数字化转型|全球报资讯
- 当前信息:五大发电:业绩分化,差异也在加大
- 痛经布洛芬一次吃几粒_布洛芬隔几小时吃一次 世界热门
- 环球快报:主发起行竞拍村镇银行股权占据天时地利人和——访浙江义乌农商银行纪委书记、监事长葛小平
- 怎么把快手的音乐保存到手机_怎么把快手的音乐保存 快看点
- 小米13 Ultra外观正式公布:圆盘徕卡四摄、橄榄绿素皮|全球新动态
- 世界热文:星云股份拟不超12亿投向储能系统及电池关键部件制造和检测中心建设
- 全聚德“守正创新”出成效 净利同比大增 一季度业绩扭亏为盈
- 新强联:4月14日融资买入1623.44万元,融资融券余额3.85亿元
- 南方本周将迎两轮降水 中东部气温继续攀升
- 每日速递:宁德时代钠离子电池花落奇瑞车型,有望成为锂电池重要补充