历史版本8 :数据同步 返回文档
编辑时间: 内容长度:图片数:目录数: 修改原因:

目录:

1. 概述编辑

当用户需要将数据从一个数据库抽取到另一个数据库时，就可以使用离线同步节点

2. 示例编辑

2.1 创建任务

在数据平台中创建一个任务，创建完成后双击进入任务设计页面，如下图所示：

30.png

2.2 离线同步

通过离线同步，我们将数仓测试dwTest1中的数据抽取到数仓测试dwTest1中，如下图所示：

1）拖入离线同步节点，如下图所示：

31.png

2）双击「离线同步」进入它的详细设置页面，如下图所示：

32.png

设置数据来源

  1. 数据源类型：选择要被抽取的数据所在的来源，当前可选择的数据来源有：MySQL、SQL Server、Oracle、PostgreSQL、Rest API（注：RestAPI数据来源的设置方式不同于其他数据来源，可单独参考：数据来源类型为RestAPI）

  2. 数据连接：选择数据来源对应的数据连接；

  3. SQL语句：输入取数的 SQL 语句；

  4. 数据预览：点击数据预览，用户可查看当前语句对应的数据表内容，但预览数据行数不超过5行，可能会与实际数据存在差异。

35.png

设置数据去向

  1. 数据源类型：选择目标数据库用来存放抽取过来的数据，当前可选择的数据库类型有：MySQL、SQL Server、Oracle、PostgreSQL

  2. 数据连接：选择数据去向对应的数据连接；

  3. 目标表：选择具体的数据表用来放置被抽取过来的数据；

    注：在进行离线同步前，目标数据库中要存在一张和抽取过来的数据表结构相同的目标表。

  4. 写入策略：有 4 种写入策略：

策略
含义
清空目标表，再写入数据执行数据同步任务时，先将目标表中的数据清空，然后再将数据写入目标表中
遇主键冲突，忽略输入源的相同主键数据遇到写入的数据和目标表中的数据主键冲突时，忽略主键相同的数据行，插入主键不相同的数据。
遇主键冲突，更新目标表的相同主键数据遇到写入的数据和目标表中的数据主键冲突时，将写入的数据覆盖目标库中主键相同的数据。
遇主键冲突，停止写入并报错遇到写入的数据和目标表中的数据主键冲突时，报错并停止任务执行。

3）点击「下一步」后，进入字段映射界面。系统会自动将字段名和字段类型相同的字段匹配做映射，若用户需要匹配的字段名不同，可以手动调整匹配关系。如下图所示：

33.png

点击「确定」，离线同步设置完成。

2.3 运行离线同步

鼠标右击离线同步节点，选择「运行节点」。若运行日志无报错，即运行成功。如下图所示：

34.png