数据同步

跨数据库对库表结构进行同步与数据传输,支持全量/增量同步、OLAP 分片合并、定时调度、实时监控

支持的数据库

覆盖主流关系型数据库和分布式数据库

My
MySQL
Pg
PostgreSQL
Ti
TiDB
SR
StarRocks
SS
SQL Server
Or
Oracle

核心功能

从数据源管理到同步监控,完整的数据管道解决方案

1数据源管理

统一管理所有数据库连接,支持一键测试连通性,密码加密存储保障安全。

  • 支持 6 种数据库类型的连接配置
  • JDBC URL 和自定义参数设置
  • 连接测试与状态实时反馈
  • 密码加密存储,保障数据安全
数据源管理界面

2表结构同步

一键同步源库的表结构到目标库,支持模糊匹配和精确匹配两种模式。

  • Schema 和表名通配符模式匹配
  • 目标表已存在时可选跳过或重建
  • 同步进度实时监控
  • 支持定时自动执行
表结构同步界面

3数据传输

灵活的数据行级同步,支持全量初始化和增量同步两种模式,字段级精准控制。

  • 全量同步:一次性完整数据复制
  • 增量同步:基于时间戳的增量数据捕获
  • 可控制 INSERT / UPDATE / DELETE 操作
  • 可配置批次大小以优化性能
  • 删除保护窗口进行性能保护
数据传输界面

4分片合并同步

面向 StarRocks 等 OLAP 数仓场景,将多个分库、分片表的数据合并写入统一的目标库表,并保留来源标识。

  • 支持源 Schema 和源表名通配符匹配
  • 同名分片表自动汇入目标 OLAP 库中的同名目标表
  • 目标表不存在时可基于源表 DDL 自动创建并追加来源列
  • 支持初始化同步、增量同步、表级时间戳查看与刷新
  • 提供合并预览、实时进度、停止任务和合并日志
erp_1001.tb_order
erp_1002.tb_order
erp_1003.tb_order
erp_1004.tb_order
合并同步
olap_dw.tb_order
source_table = 库名.表名

5定时调度

内置 Quartz 调度引擎,通过 Cron 表达式灵活配置同步计划,任务可随时启停。

  • Cron 表达式灵活定义执行时间
  • 任务启用 / 停用一键切换
  • 失败自动记录,支持手动重试
  • 执行历史日志完整保存
定时调度界面

6仪表盘监控

全局数据看板,实时掌握数据源状态、同步趋势和执行日志。

  • KPI 卡片:数据源总数、任务数、今日同步统计
  • 近 7 天同步趋势图(成功 / 失败)
  • 数据源类型分布饼图
  • 最近同步记录明细表
仪表盘界面

技术架构

基于成熟技术栈构建,稳定可靠

Spring Boot

后端基于 Spring Boot 2.x,MyBatis 持久层,开箱即用

Vue.js + Element UI

前端 Vue 2 + Element UI,响应式管理界面

Quartz

企业级任务调度引擎,Cron 表达式灵活配置

JDBC 多驱动

统一抽象层适配多种数据库驱动,MERGE/UPSERT 语法兼容

OLAP 合并同步

面向 StarRocks 分库分表场景,按来源列和表级时间戳追踪合并进度