1. 概述编辑
1.1 版本
FineDataLink版本 | 功能变动 |
---|---|
4.2.7.4 |
|
1.2 应用场景
当前开发者在对接标准平台时,面临云上应用数据源对接不准确、效率低、运维成本高的问题。希望提供一种快速、精准、低运维的对接方案,简化开发流程,提升对接效率。
1.3 功能简介
FineDataLink 支持使用定时管道任务对接云上应用数据源。如下图所示:
2. 前提条件编辑
1)需要先配置定时管道来源端、目标端的数据连接;定时管道适配的数据源请参见:
2)用户需注册「定时管道」功能点才能使用定时管道功能。
3. 操作步骤编辑
3.1 新建定时管道任务
进入 FineDataLink 工程后,点击「数据管道>定时管道」,可新建定时管道任务。设置定时管道任务名称、所属目录后,点击「确定」按钮即可。如下图所示:
3.2 选择数据来源和数据去向
选择定时管道任务的来源端、目标端。如下图所示:
注:定时管道任务适配的来源端、目标端请参见:
3.3 添加表
1)点击「添加表」按钮,可在搜索框中输入表名称,快速选表,最后点击「处理表」按钮。如下图所示:
支持模糊搜索表名称。
下拉框中只展示当前任务未选择的表。
最多支持选择 300 张表。
2)若来源表包含子表,用户可设置子表输出方式、同步起点。如下图所示:
设置项 | 说明 |
---|---|
设置项出现场景 | 1)若来源表为全量表、无子表,则无法设置同步起点、子表处理 2)若来源表为全量表、有子表,则无法设置同步起点 3)若来源表为增量表、无子表,支持设置同步起点 4)若来源表为增量表、有子表,则可设置同步起点、子表处理 |
同步起点 | 1)默认值为当前日期前七天的日期值(粒度精确到秒) 2)为定时管道任务首次运行时每个表的同步起点 每次一个表同步成功后断点位置就会更新到最新位置,一个表同步失败则不更新断点位置(更新到失败前成功写入的位置),不同表之间相互不影响 |
子表处理 | 以字段输出: 1)最终输出效果:主表所有字段+子表的 JSON 字段 以子表输出: 1)最终输出效果:主表仅同步主表字段,子表同步主表的关键字段+子表所有字段 2)子表的表类型跟随主表 3)若删除主表,子表一起被删除,不支持单独删除子表 |
表类型 | 可对表类型进行筛选 |
批量操作 | 支持批量设置表的同步起点、子表处理;支持批量删除来源表 |
3.4 字段映射
添加完表后,界面如下图所示:
序号 | 说明 |
---|---|
1 | 添加表后,此处显示总表数+子表数(若没有子表,不显示) |
2 | 可对目标表的配置情况、表建立方式进行筛选。如下图所示: |
3 | 点击后,出现「删除」按钮,可删除主表;子表不支持单独删除 |
4 | 可选择同名映射、同行映射。详情请参见:数据同步-数据去向与映射 |
5 | 选中主表后,点击「表处理」按钮后,界面如下图所示:
|
6 | 目标表建立方式:已存在表、自动建表 |
7 | 可对目标表的映射情况进行筛选: |
8 | 目标表选择「自动建表」时,才显示「手动建表」功能。详情请参见:数据同步-数据去向与映射 |
9 | 点击「批量操作」按钮后,可对来源表批量修改同步起点、子表处理方式;可批量修改目标表建立方式;可批量删除来源表 |
10 | 支持为目标表添加备注 |
11 | 来源表-子表: 非来源表-子表: |
12 |