rds for mysql如何对MySQL数据库中的数据进行实时同步

rds for mysql  时间:2022-02-17  阅读:()

如何对MySQL数据库中的数据进行实时同步

前提条件 您需要在您RDS for MySQL所在的云账号下开通阿里云数据传输服务。并 点击此处 下载dts-ads-writer插件到您的一台服务器上并解压(需要该服务器可以访问互联网,建议使用阿里云ECS以最大限度保障可用性)。服务器上需要有Java 6或以上的运行环境(JRE/JDK)。 操作步骤 1. 在分析型数据库上创建目标表,数据更新类型为实时写入,字段名称和MySQL中的建议均相同; 2. 在阿里云数据传输的控制台上创建数据订阅通道,并记录这个通道的ID; (见: /document_detail/dts/Getting-Started/data-subscription.html), 3. 配置dts-ads-writer/app.conf文件,配置方式如下: 所有配置均保存在app.conf中,运行前请保证配置正确;修改配置后,请重启writer 基本配置: { "essId": "", // 拥有数据订阅通道的云账号的essId, 必须配置 "essKey": "", // 拥有数据订阅通道的云账号的essKey, 必须配置 "dtsTunnelId": "", // 数据订阅通道的id, 必须配置; 注意是id,不是通道名称 "adsUserName": "", // 访问您的分析型数据库的用户名(essId), 必须配置 "adsPassword": "", // 访问您的分析型数据库的密码(essKey), 必须配置 "adsJdbcUrl": "", // 访问分析型数据库的jdbc连接串, 必须配置(格式jdbc:mysql://ip:port/dbname) "tables": [ { "source": { "primaryKeys": [""] // 主键定义, 必须配置; 注意RDS和分析型数据库中的主键定义必须一致 "db": "", // 源头RDS的db名称, 必须配置 "table": "", // 源头RDS的table名称, 必须配置 "skipColumns": ["col1"] // 可选,若在此配置了RDS表某列名,则该列不会同步 }, "target": { "table": "" // 分析型数据库表的table名称, 必须配置 }, "columnMapping": { "": "" // rds表和ads表的列对应关系:key为rds的列名, value为分析型数据库的列名,选填,不填则按照列名一一对应 } } ] } tables节点的配置示例, 表示rds_db库下的rds_table表对应ads_table表,并且rds_table表的col1列对应ads_table表的col1_ads列, rds_table表的col2列对应ads_table表的col2_ads列 "tables": [ { "source": { "primaryKeys": [ "col1", "col2" ], "db": "rds_db", "table": "rds_table" }, "target": { "table": "ads_table" }, "columnMapping": { "col1": "col1_ads", "col2": "col2_ads" } } ] 注意事项: 1)RDS for MySQL表和分析型数据库中表的主键定义必须完全一致;如果不一致会出现数据不一致问题。如果需要调整RDS/分析型数据库表的主键,建议先停止writer进程; 2)一个插件进程中分析型数据库db只能是一个,由adsJdbcUrl指定; 3)一个插件进程只能对应一个数据订阅通道;如果更新通道中的订阅对象时,需要重启进程 4)RDS for MySQL中DDL操作不做同步处理; 5)更新app.conf需要重启插件进程才能生效; 6)如果工具出现bug或某种其它原因需要重新同步历史数据,只能回溯最近24小时的数据(在阿里云数据传输的控制台中修改消费位点); 7)插件的最大同步性能与运行插件的服务器的互联网带宽和磁盘IOPS成正比。 4. 运行dts-ads-writer/bin/startup.sh(sh bin/startup.sh); 5. 配置监控程序监控进程存活和日志中的常见错误码。 logs目录下的日志中的异常信息均以ErrorCode=XXXX ErrorMessage=XXXX形式给出,可以进行监控

新注册NameCheap账户几天后无法登录原因及解决办法

中午的时候有网友联系提到自己前几天看到Namecheap商家开学季促销活动期间有域名促销活动的,于是就信注册NC账户注册域名的。但是今天登录居然无法登录,这个问题比较困恼是不是商家跑路等问题。Namecheap商家跑路的可能性不大,前几天我还在他们家转移域名的。这里简单的记录我帮助他解决如何重新登录Namecheap商家的问题。1、检查邮件让他检查邮件是不是有官方的邮件提示。比如我们新注册账户是需...

舍利云:海外云服务器,6核16G超大带宽vps;支持全球范围,原价516,折后价200元/月!

舍利云怎么样?舍利云推出了6核16G超大带宽316G高性能SSD和CPU,支持全球范围,原价516,折后价200元一月。原价80美元,现价30美元,支持地区:日本,新加坡,荷兰,法国,英国,澳大利亚,加拿大,韩国,美国纽约,美国硅谷,美国洛杉矶,美国亚特兰大,美国迈阿密州,美国西雅图,美国芝加哥,美国达拉斯。舍利云是vps云服务器的销售商家,其产品主要的特色是适合seo和建站,性价比方面非常不错,...

legionbox:美国、德国和瑞士独立服务器,E5/16GB/1Gbps月流量10TB起/$69/月起

legionbox怎么样?legionbox是一家来自于澳大利亚的主机销售商,成立时间在2014年,属于比较老牌商家。主要提供VPS和独立服务器产品,数据中心包括美国洛杉矶、瑞士、德国和俄罗斯。其中VPS采用KVM和Xen架构虚拟技术,硬盘分机械硬盘和固态硬盘,系统支持Windows。当前商家有几款大硬盘的独立服务器,可选美国、德国和瑞士机房,有兴趣的可以看一下,付款方式有PAYPAL、BTC等。...

rds for mysql为你推荐
虚拟主机云服务器云服务器和虚拟主机的区别在哪里?360虚拟主机xbox360是破解版的还可以怎样联机云服务器云虚拟主机云虚拟主机和云服务器哪个好?免费web虚拟主机哪个网站可以申请免费的虚拟主机?虚拟主机搭建网站虚拟主机技术通过什么来架设网站免费虚拟主机博客建个人博客,用什么虚拟主机好?虚拟主机apacheapache2.4怎么配置虚拟主机switch 虚拟主机外部以太网已绑定到虚拟交换机n点虚拟主机 连接网络失败...虚拟机连接不上网络虚拟主机的功能是有谁知道虚拟主机的作用呢?它都有什么种类呢?
云服务器租用 国外域名 腾讯云盘 hawkhost优惠码 omnis 免备案cdn 哈喽图床 鲜果阅读 dropbox网盘 河南服务器 ibox官网 dux 789电视网 静态空间 免费申请网站 卡巴斯基破解版 上海服务器 银盘服务 购买空间 双十二促销 更多