下一代大数据即时分析架构

  • 时间:
  • 浏览:0
  • 来源:神彩大发11选5_彩神大发11选5官方

一十个 多典型的Kappa架构如下图所示:

● 流式除理对于历史数据的高吞吐量力不从心:所有的数据都通过流式计算,即便通过加大并发实例数亦好难适应IOT时代对数据查询响应的即时性要求。

● 服务器存储大:数据仓库的典型设计,会产生少量的上面结果表,造成数据迅疾 膨胀,加大服务器存储压力。 

关于IOTA架构的分析请查阅附件!

● 实时与批量计算结果不一致引起的数据口径难题:你都里能 批量和实时计算走的是一十个 多计算框架和计算应用程序,算出的结果往往不同,无缘无故看后一十个 多数字当天看是一十个 多数据,第五天看昨天的数据反而位于了变化。

● 批量计算在计算窗口内无法完成:在IOT时代,数据量级那么 大,无缘无故发现夜间能并能了4、十个 小时的时间窗口,你都里能 无法完成白天20多个小时累计的数据,保证早上上班前准时出数据已成为每个大数据团队头疼的难题。

Kappa架构的优点在于将实时和离线代码统一并来,方便维护你都里能 统一了数据口径的难题。而Kappa的缺点也很明显:

在过去Lambda数据架构成为每一十个 多公司大数据平台必备的架构,它除理了一十个 多公司大数据批量离线除理和实时数据除理的需求。一十个 多典型的Lambda架构如下:



▌Lambda架构

●数据源变化全部全是重新开发,开发周期长:每次数据源的格式变化,业务的逻辑变化都需用针对ETL和Streaming做开发修改,整体开发周期很长,业务反应欠缺好快。

本文对比了 Lambda数据架构的痛点,通过实践和总结出新一代大数据分析架构IOTA架构,欢迎加入微信群讨论

1.用Kafka你都里能 什儿 MQ队列系统整理各种各样的数据,你需用几天的数据量就保存几天。

Kappa架构的核心思想,包括以下三点:

● 服务器成本浪费:Kappa架构的核心原理依赖于实物高性能存储redis,hbase服务。你都里能 这2种系统组件,又不须设计来满足全量数据存储设计,对服务器成本严重浪费。



 

3.当新的实例做但是,停止老的流计算实例,并把老的什儿 结果删除。

Lambda架构经历多年的发展,其优点是稳定,对于实时计算累积的计算成本可控,批量除理能并能用晚上的时间来整体批量计算,原本把实时计算和离线计算高峰分开,你什儿 架构支撑了数据行业的早期发展,你都里能 它全部全是什儿 致命缺点,并在大数据3.0时代那么 不适应数据分析业务的需求。缺点如下:

经过那么 多年的发展,你都里能 从大数据1.0的BI/Datawarehouse时代,经过大数据2.0的Web/APP过渡,进入到了IOT的大数据3.0时代,而随之而来的是数据架构的变化。

而在IOT大潮下,智能手机、PC、智能硬件设备的计算能力那么 强,而业务需求要求数据实时响应需求能力也那么 强,过去传统的中心化、非实时化数据除理的思路你都里能 不适应现在的大数据分析需求,我提出新一代的大数据IOTA架构来除理上述难题,整体思路是设定标准数据模型,通过边缘计算技术把所有的计算过程分散在数据产生、计算和查询过程当中,以统一的数据模型贯穿始终,从而提高整体的预算时延,一并满足即时计算的需用,能并能使用各种Ad-hoc Query来查询底层数据。

● 开发周期长:此外Kappa架构下你都里能 整理的数据格式的不统一,每次都需用开发不同的Streaming应用程序,是因为开发周期长。

针对Lambda架构的需用维护两套应用程序等以上缺点,LinkedIn的Jay Kreps结合实际经验和此人 体会提出了Kappa架构。Kappa架构的核心思想是通过改进流计算系统来除理数据全量除理的难题,使得实时计算和批除理过程使用同一套代码。此外Kappa架构认为能并能了在有必要的但是才会对历史数据进行重复计算,而你都里能 需用重复计算时,Kappa架构下能并能启动就是 个实例进行重复计算。

数据从底层的数据源始于,经过各种各样的格式进入大数据平台,在大数据平台中经过Kafka、Flume等数据组件进行整理,你都里能 分成两条线进行计算。四根线是进入流式计算平台(什儿 Storm、Flink你都里能 Spark Streaming),去计算实时的什儿 指标;另四根线进入批量数据除理离线计算平台(什儿 Mapreduce、Hive,Spark SQL),去计算T+1的相关业务指标,那此指标需用隔日并能看见。

2.当需用全量重新计算时,重新起一十个 多流计算实例,从头始于读取数据进行除理,并输出到一十个 多新的结果存储中。

▌Kappa架构

IOTA架构

猜你喜欢

我父亲和继母离婚了,我户口在继母名下,我要领结婚证和迁户口,继母不给户口本,怎么办

收起更多回答(1)扫描二维码下载追答你对這個回答的评价是?追答本回答由提问者推荐你多大女孩嘛展开详细追问有点硬推荐简单,去派出所补办就还我不要 了使用百度知道APP,立即

2020-01-29

我小时候我爸爸和我妈离婚了,我爸又找了个后妈,我现在该结婚了我爸

收起更多回答(1)有时候有你在亲爸爸妈妈的财产,你完整版都是继续权。展开完整版为你推荐:并能 你父亲现在就签协议。对于你而言。还有大伙完后 的房子有你在爸妈一并的,还有你在

2020-01-29

我15岁。爸爸和妈妈在我3岁的时候离婚了,又认识现在这个父亲,又生了一个妹妹,从那以后我经常受到排

你对你是什么回答的评价是?你对你是什么回答的评价是? 我来答你对你是什么回答的评价是?可选中另有1个或多个下面的关键词,搜索相关资料。也可直接点“搜索资料”搜索整个现象报告

2020-01-29

云大使官方交流群,欢迎加入~

云大使是阿里云生态伙伴计划,致力于与推广者实现普惠科技,以社会化营销来驱动数字中国。加入云大使推广后将获得现金奖励,并得到阿里云多项权益及官方钉钉交流群等赋能支持。依据一.点击

2020-01-29

从小父母管的比较严,交友方面都有所约束,要出门总是要问我去哪里跟谁一起,有一次跟一个异性朋友出去,

 我来答扫描二维码下载一阵一阵推荐展开完整版使用百度知道APP,立即抢鲜体验。你的手机镜头里或许有别人想知道的答案。下载百度知道APP,抢鲜体验展开完整版你对这些 回答的评

2020-01-29