课程咨询: 400-996-5531 / 投诉建议: 400-111-8989
认真做教育 专心促就业
实时计算技术随着互联网的不断按照而被广泛应用到了不同行业,而今天我们就一起来了解一下,实时计算技术应用都有哪些方法。
在互联网领域,实时计算被广泛实时监控分析、流控、风险控制等领域。电商平台系统或者应用对日常产生的大量日志和异常信息,需要经过实时过滤、分析,以判定是否需要预警;
同时需要对系统做自我保护机制,比如对模块做流量的控制,以防止非预期的对系统压力过大而引起的系统瘫痪,流量过大时,可以采取拒绝或者引流等机制;有些业务需要进行风险的控制,比如彩票中有些业务需要根据系统的实时销售情况进行限号与放号。
原始基于单节点的计算,随着系统信息量爆炸式产生以及计算的复杂度的增加,单个节点的计算已不能满足实时计算的要求,需要进行多节点的分布式的计算,分布式实时计算平台就出现了。
这里所说的实时计算,其实是流式计算,概念前身其实是CEP复杂事件处理,相关的开源产品如Esper,业界分布式的流计算产品YahooS4,Twitterstorm、flink、blink等,以storm和blink和flink开源产品使用为广泛。
对于实时计算平台,从架构设计上需要考虑以下几个因素:
伸缩性
随着业务量的增加,计算量的增加,通过增加节点处理,就可以处理。
高性能、低延迟
从数据流入计算平台数据,到计算输出结果,需要性能高效且低延迟,保证消息得到快速的处理,做到实时计算。
可靠性
保证每个数据消息得到一次完整处理。
容错性
系统可以自动管理节点的宕机失效,对应用来说,是透明的。
整个集群的管理是通过zookeeper来进行的。客户端提交拓扑到nimbus。
Nimbus针对该拓扑建立本地的目录根据topology的配置计算task,分配task,在zookeeper上建立assignments节点存储task和supervisor机器节点中woker的对应关系。
【免责声明】:本内容转载于网络,转载目的在于传递信息。文章内容为作者个人意见,本平台对文中陈述、观点保持中立,不对所包含内容的准确性、可靠性与完整性提供形式地保证。请读者仅作参考。更多内容请加danei0707学习了解。欢迎关注“达内在线”参与分销,赚更多好礼。