历史版本2 :配置定时管道任务 返回文档
编辑时间: 内容长度:图片数:目录数: 修改原因:
icon提示:
产品注册版本为「v5.0共创版时,才能使用定时管道功能;如需试用或者了解详细信息,请联系技术支持(技术支持联系方式:前往「服务」,选择「在线支持」、电话「400-811-8890」)。

目录:

1. 概述编辑

1.1 版本

FineDataLink版本
功能变动
4.2.7.4
  • 支持新建定时管道任务

  • 定时管道来源端适配:金蝶云星空、吉客云、聚水潭、美团管家智能版、旺店通(旗舰版)

1.2 应用场景

当前开发者在对接标准平台时,面临云上应用数据源对接不准确、效率低、运维成本高的问题。希望提供一种快速、精准、低运维的对接方案,简化开发流程,提升对接效率。

1.3 功能简介

FineDataLink 支持使用定时管道任务对接云上应用数据源。如下图所示:

2.png

2. 前提条件编辑

1)需要先配置定时管道来源端、目标端的数据连接;定时管道适配的数据源请参见:

2)用户需注册「定时管道」功能点才能使用定时管道功能。

3. 操作步骤编辑

3.1 新建定时管道任务

进入 FineDataLink 工程后,点击「数据管道>定时管道,可新建定时管道任务。设置定时管道任务名称、所属目录后,点击确定按钮即可。如下图所示:

3.png

3.2 选择数据来源和数据去向

选择定时管道任务的来源端、目标端。如下图所示:

注:定时管道任务适配的来源端、目标端请参见:

6.png

3.3 添加表

1)点击添加表按钮,可在搜索框中输入表名称,快速选表,最后点击处理表按钮。如下图所示:

  • 支持模糊搜索表名称。

  • 下拉框中只展示当前任务未选择的表。

  • 最多支持选择 300 张表。

7.png

2)若来源表包含子表,用户可设置子表输出方式、同步起点。如下图所示:

8.png

设置项
说明
设置项出现场景

1)若来源表为全量表、无子表,则无法设置同步起点、子表处理

2)若来源表为全量表、有子表,则无法设置同步起点

3)若来源表为增量表、无子表,支持设置同步起点

4)若来源表为增量表、有子表,则可设置同步起点、子表处理

同步起点

1)默认值为当前日期前七天的日期值(粒度精确到秒)

2)为定时管道任务首次运行时每个表的同步起点

每次一个表同步成功后断点位置就会更新到最新位置,一个表同步失败则不更新断点位置(更新到失败前成功写入的位置),不同表之间相互不影响

子表处理

以字段输出

1)最终输出效果:主表所有字段+子表的 JSON 字段

以子表输出:

1)最终输出效果:主表仅同步主表字段,子表同步主表的关键字段+子表所有字段

2)子表的表类型跟随主表

3)若删除主表,子表一起被删除,不支持单独删除子表

表类型

可对表类型进行筛

13.png

批量操作

支持批量设置表的同步起点、子表处理;支持批量删除来源表

14.png

3.4 字段映射

添加完表后,界面如下图所示:

16.png

序号
说明
1添加表后,此处显示总表数+子表数(若没有子表,不显示)
2

可对目标表的配置情况、表建立方式进行筛选。如下图所示

1750304054712495.png

3点击后,出现「删除按钮,可删除主表;子表不支持单独删除
4

可选择同名映射、同行映射。详情请参见:数据同步-数据去向与映射

5

选中主表后,点击「表处理按钮后,界面如下图所示

1750303913366320.png

  • 子表不显示「表处理按钮

  • 点击「表处理按钮,可修改主表的同步起点、子表处理方式

6目标表建立方式:已存在表、自动建表
7

可对目标表的映射情况进行筛选

1750304260515363.png

8目标表选择「自动建表」时,才显示「手动建表」功能。详情请参见:数据同步-数据去向与映射
9

点击「批量操作」按钮后,可对来源表批量修改同步起点、子表处理方式;可批量修改目标表建立方式;可批量删除来源表

1750304358575275.png

10支持为目标表添加备注
11

来源表-子表


非来源表-子表:


12