1、背景
2、预期效果
将Oracle数据库中的所有表,原样同步到SQL Server数据库中。
3、实现步骤
新建管道任务: 数据管道>管道任务>创建管道任务
3.1基本信息
在基本信息页面,主要分为三大部分:①任务名称、② 数据源、③ 目标库
数据连接信息,需要提前进行配置,若不存在,需要定义新的数据连接,请点击下拉框旁的添加按钮④和⑤,会跳转到 定义数据连接 页面。
3.2任务设置——数据源
此页面可以默认选项,若需要根据实际情况有所区别,可以对其进行调整。
管道任务,必须配置kafka服务器地址,如“192.168.1.123:9092”,可点击测试连接,具体kafka安装配置可查看详情 kafka安装配置
①读取方式:数据管道任务目前仅支持基于日志的读取方式
Oracle: LogMiner模式
② 读取起点(增量数据读取部分):
任务激活为起点:完成任务配置后开始进行同步。
自定义起点:点击后,可自由选择日期以及具体时分秒。
提示:读取起点为日志的读取起点,注意如果指定的解析时间在任务激活时间之前, 且在任务激活时间之前发生过对于所选择的数据源表的 DDL 操作,那么任务会报错并停止。
③ 存量读取:
开启:任务启动时,记录当前时间节点,将会先同步所有存量数据后,再通过日志模式从开始增量数据同步。
关闭:存量数据则从读取起点开始读取。
④ 读取并发数:在日志读取模式 (非批量读取模式)下,为存量同步时的并发线程数;批量读取模式下是每次读取数据时的并发线程数。
一般为默认为 5,最大建议不超过 FT 服务器最大 CPU 数量。
⑤ 读取速率:若为空,则不进行限制。
⑥ Kafka服务器地址:信息消息列队处理系统,点击测试连接,可确认是否连接成功。
⑦ Kafka高级设置:可默认,若有其他需求,支持自由配置。
2.3任务设置——目标库
必须配置 ,目标库或者Schema,其余选项可默认。
① 配置对应的目标库或者Schema。
② 写入并发数:设置任务最高能同时写入的表数量;写入速率限制:每秒最大行数 和 最大流量限制。
③ 表和名称字段:提供原表原样,以及规范大小写两种方式。
④ FDLoad设置:只有当目标库类型选择了FD之后,才会出现FDLoad配置,此处需要确保FD数据库和FT服务器通讯正常。
3.4预警信息
设置邮件通知,针对对错误队列设置,进行通知
若不需要通知,则可关闭。
3.5读取设置
选取数据源中的对应的表,可批量选取
3.6写入设置
① 实时同步更新主要根据表的主键进行,若选取的表没有主键,则会出现如①所示的提醒。
② 目的地表名称,默认源表名称,支持自定义修改。
③ 主键一定是Not Null,勾选了主键后,则被设置为“一定同步”,如最后一列。
④ 若存在无需同步,去掉勾选即可,此时目标表的此字段数据为空。
4、查看任务详情
在 数据管道>管道任务 中,当鼠标悬浮在某一行的任务上时,可选择右侧的 查看任务详情,详情页看到任务设置、读取设置、写入设置 以及 错误队列、消息列表、运行监控。
其中:
错误队列:错误类型可以查看其具体原因的日志,以及相关原始数据。
消息列表:启动任务记录。
运行监控:分为检测数据同步差异监控 和 内存变量情况。