download:Vue3+Nuxt3打造SSR网站应用,0到1实现服务端渲染含源码ppt
数据异构简单
何谓数据异构,上周买卖部门商品的同事过来做分享,又看到这个词,他的PPT里面是 数据库异构。其实我们以前做的事情,也是能够称之为数据异构。比方我们将DB里面的数据耐久化到Redis里面去,就是一种数据异构的方式。
假如要下个定义的话:把数据按需(数据构造、存取方式、存取方式)异地构建存储。
常见应用场景
分库分表中有一个最为常见的场景,为了提升数据库的查询才能,我们都会对数据库做分库分表操作。比方订单库,开端的时分我们是依照订单ID维度去分库分表,那么后来的业务需求想依照商家维度去查询,比方我想查询某一个商家下的一切订单,就十分费事。
数据异构总结起来大约有以下几种场景
- 数据库镜像
- 数据库实时备份
- 多级索引
- search build(比方分库分表后的多维度数据查询)
- 业务cache刷新
- 价钱、库存变化等重要业务音讯
数据异构方向
在日常业务开发中大致能够分为以上几种数据去向,DB-DB这种方式,普通常见于分库分表后,聚合查询的时分,比方我们依照订单ID去分库分表,那么这个时分我们要依照用户ID去查询,查询这个用户下面的订单就十分不便当了,当然能够运用统一加到内存中去,但这样不太好。
所以我们就能够用数据库异构的方式,重新依照用户ID的维度来分一个表,像在上面常见应用场景中引见的那样。把数据异构到redis、elasticserach、slor中去要处理的问题跟依照多维度来查询的需求差不多。这些存储天生都有聚合的功用。当然同时也能够进步查询性能,应对大访问量,比方redis这种抗量银弹。
数据异构的常用办法
1. 完好克隆
这个很简单就是将数据库A,全部拷贝一份到数据库B,这样的运用场景是离线统计跑任务脚本的时分能够。缺陷也很突出,不适用于持续增长的数据。
2. 标志同步
这个是业务场景比拟简单的时分,理想状况下数据不会发作改动,比方日志数据,这个时分能够去标志,比方时间戳,这样当发作毛病的时分还能够回溯到上一次同步点,开端重新同步数据。
3. binlog方式
经过实时的订阅MySQL的binlog日志,消费到这些日志后,重新构建数据构造插入一个新的数据库或者是其他存储比方es、slor等等。订阅binlog日志能够比拟好的能保证数据的分歧性。
4. MQ方式
业务数据写入DB的同时,也发送MQ一份,也就是业务里面完成双写。这种方式比拟简单,但也很难保证数据分歧性,对简单的业务场景能够采用这种方式。
binlog方式
binglog是数据的日志记载方式,每次对数据的操作都会有binlog日志。如今开源的订阅binlog日志的组件,比方运用比拟普遍的canal,它是阿里开源的基于mysql数据库binlog的增量订阅和消费组件。
由于cannal效劳器目前读取的binlog事情只保管在内存中,并且只要一个canal客户端能够停止消费。所以假如需求多个消费客户端,能够引入activemq或者kafka。如上图绿色虚线框局部。
我们还需求确保全量比照来保证数据的分歧性(canal+mq的重试机制根本能够保证写入异构库之后的数据分歧性),这个时分能够有一个全量同步WORKER程序来保证,如上图深绿色局部。
canal的工作原理
先来看下mysql主备(主从)复制原理
mysql主备(主从)复制原理,从上层来看,复制分红三步:
-
master将改动记载到二进制日志(binary log)中(这些记载叫做二进制日志事情,binary log events,能够经过show binlog events停止查看);
-
slave将master的binary log events拷贝到它的中继日志(relay log);
-
slave重做中继日志中的事情,将改动反映它本人的数据。
-
canal模仿mysql slave的交互协议,假装本人为mysql slave,向mysql master发送dump协议
-
mysql master收到dump恳求,开端推送binary log给slave(也就是canal)
-
canal解析binary log对象(原始为byte流)
我们在部署canal server的时分要部署多台,来保证高可用。但是canal的原理,是只要一台效劳器在跑处置,其它的效劳器作为热备。canal server的高可用是经过zookeeper来维护的。
留意点
- 确认MySQL开启binlog,运用show variables like ‘log_bin’; 查看ON为已开启
- 确认目的库能够产生binlog,show master status 留意Binlog_Do_DB,Binlog_Ignore_DB参数
- 确认binlog格式为ROW,运用show variables like ‘binlog_format’; 非ROW形式登录MySQL执行 set global binlog_format=ROW; flush logs; 或者经过更改MySQL配置文件并重启MySQL生效。
- 为保证binlake效劳能够获取Binlog,需添加受权,执行 GRANT SELECT, REPLICATION SLAVE, REPLICATION CLIENT ON . TO ‘admin’@’%’ identified by ‘admin’; FLUSH PRIVILEGES;
MQ方式
mq的方式,就相对简单,实践上是在业务逻辑中写DB的同时去写一次MQ,但是这种方式不可以保证数据分歧性,就是不能保证跨资源的事务。注:调用第三方远程RPC的操作一定不要放到事务中。
总结
本文主要叙说了数据异构的运用场景,办法。这里面触及到的activemq以及canal并没有深化剖析,关于这块的内容能够直接参考相关详细文档,文中已给了链接地址。
依据数据异构的定义,将数据异地构建存储,我们能够应用的中央就十分多,文中说的分库分表之后依照其它维度来查询的时分,我们想脱离DB直接用缓存比方redis来抗量的时分。数据异构这种方式都可以很好的协助我们来处理诸如此类的问题。