欢迎您访问 最编程 本站为您分享编程语言代码,编程技术文章!
您现在的位置是: 首页

推荐的数据同步中间件 DBSyncer

最编程 2024-04-25 13:10:12
...
【直播预告】大模型会取代程序员吗?”

DBSyncer是一款开源的数据同步中间件,提供Mysql、Oracle、SqlServer、Elasticsearch(ES)、SQL等同步场景。支持上传插件自定义同步转换业务,提供监控全量和增量数据统计图、应用性能预警等。访问地址:https://gitee.com/ghi/dbsyncer

界面预览

连接器支持Mysql、Oracle、SqlServer、Elasticsearch(ES),SQL类型。

驱动可以是由不同的连接器组合而成。

连接器和驱动

比如mysql同步到mysql

数据源和目标源都选择为mysql连接器

默认模式是全量同步(复制库数据),也可切换为增量同步(数据源变化的数据同步到目标源),具体看使用需求

这里我添加一张表同步关系

如果源表数据量比较大时,我们可以优化一下参数,提高写入性能,比如修改单次写入数等。

如果需要转换同步的数据,可以通过转换配置处理。

当自带的转换配置也不能满足业务时,可以开发插件特殊处理同步数据(上传插件菜单可查看使用说明),保证数据格式满足目标源入库标准。

接着可以调整一下同步表字段映射关系

添加数据源表字段同步到目标源字段关系,保存

启动驱动

当任务执行完后,会显示执行结果,也可以通过监控页面查看同步的详细数据

失败的话,也有日志记录,点链接可以查看详细

监控界面

个性化插件

作者原创设计,灵感源自于日常开发工作中,由于需要频繁同步不同数据库之间的数据,开发全量或增量同步任务,增加了很多重复的工作任务,也不便于运维管理维护。故此研发一套软件DBSyncer,统一数据库的schema规范,实现mysql同步到mysql,mysql同步oracle,sqlserver等使用场景,支持不同连接器之间任意组合,双向同步,只需要简单的同步配置就可以实现同步场景,提供更直观的监控页面。

推荐阅读