反馈已提交

网络繁忙

第一个数据库同步任务

  • 文档创建者:FineTube
  • 历史版本:3
  • 最近更新:FineTube 于 2021-09-24
  • 1、背景

    将业务系统的所有表数据,希望进行一次性快速原表原样同步,作为数据仓库的ODS层,便于后期的数仓搭建或者数据分析。

    2、预期效果

    将Oracle数据库中的所有表,原样同步到SQL Server数据库中。

    3、实现步骤

    新建管道任务:  数据管道>管道任务>创建管道任务

    3.1基本信息

    在基本信息页面,主要分为三大部分:①任务名称、② 数据源、③ 目标库

    数据连接信息,需要提前进行配置,若不存在,需要定义新的数据连接,请点击下拉框旁的添加按钮④和⑤,会跳转到 定义数据连接 页面。


    3.2任务设置——数据源

    此页面可以默认选项,若需要根据实际情况有所区别,可以对其进行调整。

    管道任务,必须配置kafka服务器地址,如“192.168.1.123:9092”,可点击测试连接,具体kafka安装配置可查看详情 kafka安装配置

    ①读取方式:数据管道任务目前仅支持基于日志的读取方式

                Oracle: LogMiner模式

    ② 读取起点(增量数据读取部分):

                任务激活为起点:完成任务配置后开始进行同步。

                自定义起点:点击后,可自由选择日期以及具体时分秒。

                提示:读取起点为日志的读取起点,注意如果指定的解析时间在任务激活时间之前, 且在任务激活时间之前发生过对于所选择的数据源表的 DDL 操作,那么任务会报错并停止。

    ③ 存量读取:

                开启:任务启动时,记录当前时间节点,将会先同步所有存量数据后,再通过日志模式从开始增量数据同步。

                关闭:存量数据则从读取起点开始读取。

    ④ 读取并发数:在日志读取模式 (非批量读取模式)下,为存量同步时的并发线程数;批量读取模式下是每次读取数据时的并发线程数。

                             一般为默认为 5,最大建议不超过 FT 服务器最大 CPU 数量。

    ⑤ 读取速率:若为空,则不进行限制。

    ⑥ Kafka服务器地址:信息消息列队处理系统,点击测试连接,可确认是否连接成功。

    ⑦ Kafka高级设置:可默认,若有其他需求,支持自由配置。


    2.3任务设置——目标库

    必须配置 ,目标库或者Schema,其余选项可默认。

    ① 配置对应的目标库或者Schema。

    ② 写入并发数:设置任务最高能同时写入的表数量;写入速率限制:每秒最大行数 和 最大流量限制。

    ③ 表和名称字段:提供原表原样,以及规范大小写两种方式。

    ④ FDLoad设置:只有当目标库类型选择了FD之后,才会出现FDLoad配置,此处需要确保FD数据库和FT服务器通讯正常。


    3.4预警信息

    设置邮件通知,针对对错误队列设置,进行通知

    若不需要通知,则可关闭。

    3.5读取设置

    选取数据源中的对应的表,可批量选取

    3.6写入设置

    ① 实时同步更新主要根据表的主键进行,若选取的表没有主键,则会出现如①所示的提醒。

    ② 目的地表名称,默认源表名称,支持自定义修改。

    ③ 主键一定是Not Null,勾选了主键后,则被设置为“一定同步”,如最后一列。

    ④ 若存在无需同步,去掉勾选即可,此时目标表的此字段数据为空。

    4、查看任务详情

    在 数据管道>管道任务 中,当鼠标悬浮在某一行的任务上时,可选择右侧的 查看任务详情,详情页看到任务设置、读取设置、写入设置 以及 错误队列、消息列表、运行监控。

    其中:

           错误队列:错误类型可以查看其具体原因的日志,以及相关原始数据。

           消息列表:启动任务记录。

           运行监控:分为检测数据同步差异监控 和 内存变量情况。


    附件列表


    主题: 模块介绍
    已经是第一篇
    已经是最后一篇
    • 有帮助
    • 没帮助
    • 只是浏览

    售前咨询电话

    400-811-8890转1

    在线技术支持

    热线电话:400-811-8890转2

    总裁办24H投诉

    热线电话:173-1278-1526

    文 档反 馈

    鼠标选中内容,快速反馈问题

    鼠标选中存在疑惑的内容,即可快速反馈问题,我们将会跟进处理。

    不再提示

    10s后关闭