CNTXJ.NET | 通信界-中国通信门户 | 通信圈 | 通信家 | 下载吧 | 说吧 | 人物 | 前瞻 | 智慧(区块链 | AI
 国际新闻 | 国内新闻 | 运营动态 | 市场动态 | 信息安全 | 通信电源 | 网络融合 | 通信测试 | 通信终端 | 通信政策
 专网通信 | 交换技术 | 视频通信 | 接入技术 | 无线通信 | 通信线缆 | 互联网络 | 数据通信 | 通信视界 | 通信前沿
 智能电网 | 虚拟现实 | 人工智能 | 自动化 | 光通信 | IT | 6G | 烽火 | FTTH | IPTV | NGN | 知本院 | 通信会展
您现在的位置: 通信界 >> 互联网络 >> 技术正文
 
网络波动背景下的数据稳定性传输的探讨
[ 通信界 | 王超 | www.cntxj.net | 2022/10/30 23:12:13 ]
 

一、引言

在通信系统或者多系统协同的软件系统里,网元或系统之间经常需要进行信息同步或者信息查询。系统间的消息查询一般为长链接,如果遇到网络异常或者对端系统处理不过来的情况,会在短时间内产生大量的查询消息。反复查询反复失败,前面失败的消息以及新到达的查询消息大量积压,反复的查询和大量的消息处理使得系统性能急剧下降,甚至影响到其他无关的业务。因此,为保障系统的稳定可靠,对于异常情况的处理至关重要。尤其是适用“5个9”要求的通信系统,导致服务出问题的往往是一些异常情况,需要有充足的逻辑来保障出现异常情况时,系统仍然能够稳定、可靠地处理业务。

下面我们就沿着是什么,怎么做,为什么这样做的思路逐步讨论分析。

二、是什么产生网络信息波动

如上图,我们看到大部分业务的开展都是三方系统之间的服务应用在交互,这样在很大程度上就有多种因素会导致消息传输的波动,以上业务的逻辑,我将它归纳为两点一线。

两点指的是起始端和目的端,一线指的是传输介质:

1)两点间的服务中断或者异常就会导致信息传输的不可达,直接导致信息的丢失,造成业务失败。

2)传输介质的网络质量不行,例如丢包率过大,也会导致信息传输异常,造成业务失败。

基于以上两点,让我们大致了解业务中网络信息波动产生的原因,接下来我们阐述一下该如何应对。

三、怎么做降低信息传输失败的概率

1)设计方案

针对系统间信息同步时的异常情况,基于消息队列+Redis缓存,采用退避算法,实现了消息延迟消费。当出现网络波动或者对端网元响应缓慢时,失败的消息按照退避算法进行合理退让。这样,不仅减少了消息的无效尝试,降低了无效的系统开销,而且保障了其他正常业务的顺利运行,确保了即使在网络波动或者对端系统回复延迟的异常情况下,也不会因为大量堆积的查询消息消耗过多的系统资源,系统性能的稳定可靠得到保障。

2)技术架构

(1)消息通过Kafka或其他消息中间件进入正常的消费队列进行生产和消费,如果都成功,则完成信息处理。

(2)消息如果在经过Kafka等消息中间件发生异常,根据消息失败的情况,根据规避算法,计算出该消息需要延迟的时间,写入消息的延迟时间里,将消息按照一定的格式(sortedSet)存储到Redis中。

(3)通过每秒级别的定时轮询,通过reverseRangeByScore获取到消息。根据消息的延迟时间判断该消息是否达到消费时间,如果达到消费时间,将再次进入kafka的中间件进入重试消费队列进行生产和消费。如果没有达到消费时间,继续排队,优先处理其他延迟时间已到的消息。这样的机制减少了无效的消息重试,保障了队列中其他消息能够得到及时处理。

(4)此外,系统在高并发的情况下,会继续产生大量查询消息。为避免队列中的消息堆积,消息的重复消费具有次数限制。根据测试,3次重试是一个有效的保障值,如果3次重试还是没有响应,该消息将落库DB数据库,不再占用队列资源。最后定时任务会每小时对DB里的堆积消息进行轮询,轮询到的消息会再次进入Kafka的重试队列进行消费。

四、为什么这样做,好处是什么?

(1)从业务上讲:

从图一,我们可知我们对接的业务都是彼此分离的三方业务系统,在产生网络信息波动的情况下,我们从两点一线中能尽快解决的就是属于自己业务服务侧的一点,其他的一点和传输介质都需要耗费较大的人力去沟通解决。我们需要尽可能地将消费失败的信息传输到三方,但同时也要保证自己服务的消息不被积压,致使自己系统的服务崩溃,以上架构很好地解决了磁力问题

(2)从先进性上讲:

本方案的消息中间件探索了一条在高并发场景下,减少堆积消息的有效路径。在传统设计模式下,系统间的查询消息均是等间隔地进行查询,在网络稳定和并发量低的情况下,这样的技术方案可以表现稳定。但是一旦网络波动或者并发量加大,等间隔的消息查询会造成大量的堆积消息,从而影响到系统的稳定性和可靠性。在解决堆积消息方面,网上较多的方案是进行队列的消息预警,这样的解决方案相当于一种事后补救方案。但是本方案消息中间件从消息的源头进行有效的算法设计,保障了从源头上减少无效的重复消息。这样的解决方案弥补了主流技术设计上的不足,是一种比较先进的设计思路,填补了公司在处理高并发、高稳定性要求的业务上的技术空白。

(3)从兼容性上讲:

在本架构中,采用了多种技术的组合设计,不拘泥于某一种特定的技术。现在市场上流行的消息中间件如:ActiveMQ、RabbitMQ、Kafka、RocketMQ、ZeroMQ等,都可以在架构中使用。本方案消息中间件的架构设计具有很强大的兼容性。

(4)从灵活性上讲:

在本架构中,消息的延时消费等级可以根据自己项目的需要自由设定,消息的延时消费次数也可以根据自己项目的需要自由设定,系统灵活性强。

(5)从可复用性上讲:

本消息中间件采用常用的消息队列+Redis缓存,是一种可复用性很强的消息中间件,可广泛应用于各类高并发、高可靠性要求的业务系统。

(6)从性能的角度讲:

redis可以作为一个高性能的存储db,性能要比MySQL好很多,并且支持持久化,稳定性好。redis SortedSet队列天然支持以时间作为条件排序,完美满足我们选出要推送记录的需要。为保障消息均能得到及时处理,一次从队列中取出执行的数量可以设置得大一点或启动多个推送的服务。假设一次从队列中取出执行的数量设置为:2000,推送的服务节点为:3个,定时任务执行间隔为:1秒,一分钟内可以实际推送的数量为:2000 * 60 * 3 = 360000(理想情况下:多个推送队列subscribe-queue的推送任务分布均匀)。这个数量已经可以满足绝大部分的需求。

五、总结

本文探讨的方案是从三方系统的消息稳定性出发设计的,其实这一套设计也可适用于本系统多个模块的营运服务,随着技术的迭代更新,相信会有更好、更加完善的解决方案问世。本文方案仅做抛砖引玉,希望相关问题能够得到大家更多的关注和讨论,期待各位提供更好的思路和建议,谢谢大家。

 

1作者:王超 来源:通信界 编辑:顾北

 

声明:①凡本网注明“来源:通信界”的内容,版权均属于通信界,未经允许禁止转载、摘编,违者必究。经授权可转载,须保持转载文章、图像、音视频的完整性,并完整标注作者信息并注明“来源:通信界”。②凡本网注明“来源:XXX(非通信界)”的内容,均转载自其它媒体,转载目的在于传递更多行业信息,仅代表作者本人观点,与本网无关。本网对文中陈述、观点判断保持中立,不对所包含内容的准确性、可靠性或完整性提供任何明示或暗示的保证。请读者仅作参考,并请自行承担全部责任。③如因内容涉及版权和其它问题,请自发布之日起30日内与本网联系,我们将在第一时间删除内容。 
热点动态
普通新闻 中信科智联亮相2023中国移动全球合作伙伴大会
普通新闻 全球首个基于Data Channel的新通话商用网络呼叫成功拨通
普通新闻 中国联通:以优质通信服务 助力“一带一路”共建繁华
普通新闻 杨杰:未来五年,智算规模复合增长率将超过50%
普通新闻 长沙电信大楼火灾调查报告发布:系未熄灭烟头引燃,20余人被问责
普通新闻 邬贺铨:生态短板掣肘5G潜能发挥,AI有望成“破局之剑”
普通新闻 工信部:加大对民营企业参与移动通信转售等业务和服务创新的支持力
普通新闻 摩尔线程亮相2023中国移动全球合作伙伴大会,全功能GPU加速云电脑体
普通新闻 看齐微软!谷歌表示将保护用户免受人工智能版权诉讼
普通新闻 联想王传东:AI能力已成为推动产业升级和生产力跃迁的利刃
普通新闻 APUS李涛:中国的AI应用 只能生长在中国的大模型之上
普通新闻 外媒:在电池竞赛中,中国如何将世界远远甩在后面
普通新闻 三星电子预计其盈利能力将再次下降
普通新闻 报告称华为5G专利全球第1 苹果排名第12
普通新闻 党中央、国务院批准,工信部职责、机构、编制调整
普通新闻 荣耀Magic Vs2系列正式发布,刷新横向大内折手机轻薄纪录
普通新闻 GSMA首席技术官:全球连接数超15亿,5G推动全行业数字化转型
普通新闻 北京联通完成全球首个F5G-A“单纤百T”现网验证,助力北京迈向万兆
普通新闻 中科曙光亮相2023中国移动全球合作伙伴大会
普通新闻 最高补贴500万元!哈尔滨市制定工业互联网专项资金使用细则
通信视界
邬贺铨:移动通信开启5G-A新周期,云网融合/算
普通对话 中兴通讯徐子阳:强基慧智,共建数智热带雨
普通对话 邬贺铨:移动通信开启5G-A新周期,云网融合
普通对话 华为轮值董事长胡厚崑:我们正努力将5G-A带
普通对话 高通中国区董事长孟樸:5G与AI结合,助力提
普通对话 雷军发布小米年度演讲:坚持做高端,拥抱大
普通对话 闻库:算网融合正值挑战与机遇并存的关键阶
普通对话 工信部副部长张云明:我国算力总规模已居世
普通对话 邬贺铨:我国互联网平台企业发展的新一轮机
普通对话 张志成:继续加强海外知识产权保护工作 为助
普通对话 吴春波:华为如何突破美国6次打压的逆境?
通信前瞻
亨通光电实践数字化工厂,“5G+光纤”助力新一
普通对话 亨通光电实践数字化工厂,“5G+光纤”助力新
普通对话 中科院钱德沛:计算与网络基础设施的全面部
普通对话 工信部赵志国:我国算力总规模居全球第二 保
普通对话 邬贺铨院士解读ChatGPT等数字技术热点
普通对话 我国北方海区运用北斗三号短报文通信服务开
普通对话 华为云Stack智能进化,三大举措赋能政企深度
普通对话 孟晚舟:“三大聚力”迎接数字化、智能化、
普通对话 物联网设备在智能工作场所技术中的作用
普通对话 软银研发出以无人机探测灾害被埋者手机信号
普通对话 AI材料可自我学习并形成“肌肉记忆”
普通对话 北斗三号卫星低能离子能谱仪载荷研制成功
普通对话 为什么Wi-Fi6将成为未来物联网的关键?
普通对话 马斯克出现在推特总部 收购应该没有悬念了
普通对话 台积电澄清:未强迫员工休假或有任何无薪假
普通对话 新一代载人运载火箭发动机研制获重大突破
推荐阅读
Copyright @ Cntxj.Net All Right Reserved 通信界 版权所有
未经书面许可,禁止转载、摘编、复制、镜像