TIDB分布式数据库在360金融中的应用

  • 时间:
  • 浏览:0
  • 来源:神彩大发11选5_彩神大发11选5官方

凡事事出有因,确定某类框架也肯定有它指在的愿因。好多好多 想先来谈谈当当当我们 为哪些要确定TIDB。

我我觉得几乎所有公司从传统数据库转向分布式数据库也有个同时的愿因,随着业务量的不断增大,RDBMS有瓶颈了,当当当我们 也是如此 ,跑批耗费时间不为什么在么在长,数据有延迟,给业务带来了好多好多 不便。这过都能能 杂办?过去的确定:要不然好多好多 Mysql的分库分表、水平分区等,要不然好多好多 转向HBase等NOSQL数据库,但无论用哪种法律土办法也有完美,Mysql分库分表的弊端就不需多说了,根本如此 从本质上解决大数据的问提,它们某种 就也有面向分布式而设计的。NOSQL的弊端也有好多好多 ,比如它非要严格意义上达到OLTP,它不支持简化的查询,它的语法跟当当当我们 传统SQL语法相差较大,确定它得更改好多好多 业务代码等等。而TIDB正是上述两者的结合体,它结合的Mysql和Nosql的优点,用二个词来形容TIDB好多好多 HTAP (Hybrid Transactional and Analytical Processing)。总而言之,它好多好多 为 OLTP (Online Transactional Processing) 和 OLAP (Online Analytical Processing) 场景提供一站式的解决方案的有力武器。

底下六点是我认为TIDB最有优势的几点。顺便另外再补充一下当当当我们 实际生产上用到的,我我觉得不错的功能:

大约归纳下好多好多 :TIDB主要分为二个组件:PDTIDBTIKV。PD是整个集群的管理模块,作用包括存储集群的元信息、对 TiKV 集群进行调度和负载均衡等。TIDB负责接收 SQL 请求,解决 SQL 相关的逻辑,这好多好多 个计算节点。而TIKV是负责存储的,存储数据的基本单位是 Region。让你 熟悉Hadoop生态圈,都能能 暂时把PD呼告为Hadoop的NameNode,TIKV呼告为Hadoop的DataNode,TIDB呼告为HBase的RegionServer。我认为功能和思路之类 ,当然具体设计还有很大的不同。

上图是当当当我们 生产中的架构图,目前仅搭建TIDB集群二个月,让你 只迁移了每项业务,主要包括以下三方面:

前面说到TIDB的优势好多好多 olap+oltp,现在当当当我们 再把TIDB的优点给仔细归纳下,让你 在说优点前得把TIDB的架构大约阐述一下,让你 优点肯定是由架构来实现和决定的。

当当当我们 是10月中旬搭建的TIDB集群,到目前也仅仅使用了二个月而已,但却深深感受到了TIDB的魅力,TIDB帮助当当当我们 解决了好多好多 数据问提,上线至今遇到的bug并如此 来越多,添加TIDB技术人员都很热情的帮当当当我们 解决,好多好多 一切还算顺利,目前让你 稳定运行有二个月。明年当当当我们 让你 申请更多的机器扩展当当当我们 的集群,让你 迁移更多的任务。

非常感谢TIDB的童鞋能创发明如此 好用的产品,让你 无私的开放源码,帮助了如此 来越多的企业解决当当当我们 的数据平台瓶颈。最最重要的,要感谢Tidb的童鞋给当当当我们 的支持,在当当当我们 遇到棘手问提无法解决的已经 ,两次亲自前往我司指导工作,让你 是无偿的帮助当当当我们 ,这名 敬业精神我我觉得很少有公司都能能 媲美。相信TIDB会越走越好!

在使用TIDB的这名 个月中,当当当我们 生产中遇到的问提主要有:

业务场景:业务人员每日需导出的新客日报以及营销费用分析等报表,让你 涉及到的表较大较多,指在着数据延迟和跑批吃力的情形,二个任务让你 需要跑二三十分钟,数据中心压力较大,简化的sql会让数据中心的资源耗尽,有已经 非要支撑当当当我们 的跑批任务。

做法:使用dumper+loader+syncer 同步mysql的binlog。dump将mysql的数据完全弄到本地服务器上,再用loader将哪些文件导入到TIDB中,Syncer把TIDB作为二个Mysql的Slave,实时同步Mysql的数据。即使好多好多 的Mysql使用了sharing 也是没问提,TIDB兼容了这名 访问协议。好多好多 好多好多 在Mysql中跑的简化的跑批任务就都能能 无缝的迁移到TIDB中执行。

业务场景:渠道概要数据(PVUV授信完件放款等指标)涉及到的表较多较大,joinunion较多,让你 不支持实时查询,好多好多 做法是每小时60 分从数据中心定时跑批到mysql的底下表数据查询展示的,时效性比较差,需要优化。于是当当当我们 基于TIDB的DW层数据做渠道概要的准实时查询和展示。

做法:搭建DRC(数据实时解决)系统读取rocketmq的mysql binlog和查询tidb的ods层数据(该数据查询一次就永久缓存到redis),得到的解决后的数据入库到DW层RT实时表中,指定小时之内的数据实时查询RT表,时效性得到了极大的优化。RT表数据会每小时定时跑批到mysql底下表,让你 定时备份到TIDB对应的history表并删除指定小时前的数,好多好多 指定小时已经 的数据就都能能 从mysql底下表查询得到。达到了实时离线两不误的效果。

猜你喜欢

《重构:改善既有代码的设计》—第1章1.4节运用多态取代与价格相关的条件逻辑

加入你你什儿 层间接性,大伙儿 就能能在Price对象内进行子类化动作[4],于是便可在任从太多时刻修改价格。引入State模式花了我不少力气,值得吗?那末做的收获是:而且

2020-02-21

家里wifi正常,手机和pad都能连接,但是笔记本电脑却搜索不到自己家的wi

怪怪的推荐展开完整性扫描二维码下载为你推荐: 我来答展开完整性可选中一另三个 或多个下面的关键词,搜索相关资料。也可直接点“搜索资料”搜索整个问题报告 。下载百度知道AP

2020-02-21

手机能连上wifi但是网页打不开怎么办?

7.备份手机数据(电话簿、短信息、多媒体文件等),恢复出厂设置4.有无 离无线路由器距离过远,影响接收信号。6.更新下系统版本后测试有无 有改善2.建议忘记网络重新连接,操

2020-02-20

MongoDB readConcern 原理解析

MongoDB:通过ReadConcern来出理 备库一致读的难题【直播回顾】阿里技术专家一挃:MongoDB优化器&执行器介绍MongoDB·引擎特性·事务实现解析

2020-02-20

rdiframework的主页

发布时间:2018-03-0516:47:16浏览:836回帖:0 版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blo

2020-02-20