1.概述编辑
1.1 版本说明
FineDataLink 版本 | 功能变动 |
---|---|
4.0.27 |
|
点击展开更多 | ||||||||||||||||||
|
完成数据源、数据库环境、管道任务环境准备配置后,可创建管道任务,将多种类型的数据源输入输出链路进行组合,进行单表或整库数据的实时同步。
本文介绍如何创建数据实时同步任务,并在创建完成后查看任务运行情况。
2. 前提条件编辑
3. 操作步骤编辑
示例以 MySQL 数据同步为例。
将 test_1 数据库中的「S订单」、「hd_xiaoshou」、「hn_xiaoshou」、「hb_xiaoshou」数据表实时同步至 demotest 数据库中。
3.1 配置传输队列
配置传输队列,其实就是配置暂存来源库数据,方便目标库写入数据的「数据管道」,目前是通过 Kafka 实现的。
详情参见:配置传输队列
3.2 新建任务
点击数据管道,新建文件夹管理管道任务,如下图所示:
在文件夹下创建管道任务,如下图所示:
注:创建的任务可自由移动至指定文件夹,如下图所示:
3.3 选择数据来源
首先选择需要数据同步的来源数据。
进入任务设置界面,选择来源数据库,由于在开发管道任务的过程中想要批量选择多张表,可以使用「快速选表」,批量选择需要同步的数据表,将已经存在的「S订单」、「hd_xiaoshou」、「hn_xiaoshou」、「hb_xiaoshou」数据表选到「要同步的表」中,如下图所示:
注:默认先对所有存量数据同步,然后持续同步新增变化。
3.4 选择数据去向
详情请参见:配置管道任务-选择数据去向
3.5 设置表字段映射
详情请参见:配置管道任务-表字段映射
3.6 设置管道控制
详情请参见:配置管道任务-管道控制
3.7 保存和运行任务
点击「保存并运行」,即可保存并运行管道任务,如下图所示:
注:历史版本升级至 4.0.27 后,原先暂存列表中的任务兼容方式如下:
兼容的内容 | 策略 | |
---|---|---|
原先暂存列表中的任务 | 若任务列表中有对应暂存列表的任务 | 升级上来原先任务名加后缀「-暂存」,任务为「草稿」状态,排在已运行过的任务后 |
若任务列表中没有对应暂存列表的任务 | 升级上来为「草稿」状态,排在列表最后 |
3.6 其他负面影响声明
此时点击管道任务,即可看到任务执行情况,如下图所示:
3.8 效果查看
此时即可在目标数据库 已经实现了数据表的实时同步,如下图所示: