历史版本3 :数据连接页面说明 返回文档
编辑时间: 内容长度:图片数:目录数: 修改原因:

目录:

1. 概述编辑

本文将对数据连接页面通用功能进行说明,例如 取数开始时间/取数截止时间、自定义表等。

2. 取数开始时间/取数截止时间编辑

目前支持配置连接取数范围的数据源:旺店通(旗舰版)

2.1 功能说明

1)配置取数开始时间/取数截止时间后,某张表取数范围的判断链路为:上游支持的接口范围->用户配置的取数开始/截止时间,最终取交集。

eg: 美团的「查询订单详情(展示费率相关字段)」最早只能取到发起同步前7天的数据,用户在这里配置了3个月前,则实际只取到 7 天的数据。

1.png

2)取数开始/截止时间如果为空,则按照系统给定的默认范围(授权时间前1个月至今天)。

3)在这里只修改了接口请求参数中的值,依赖的字段不支持修改。如:旺店通旗舰版的订单查询表是按照start_time、end_time 请求的,这里只修改了请求的值

4)取数范围只改变了未来的请求参数,并不影响已经同步到的结果。编辑后需要重新同步数据。

2.2 使用场景

修改取数范围可用于多种场景,说明见下表:

场景
描述总结
获取历史数据

以旺店通旗舰版数据源为例,小明在 2023年5月1日 初次配置了连接A,试用一个月后,于 2023年6月1日 希望铺开使用。

铺开使用的第一步就是获取数据源的历史数据。因为小明的公司最早在2022年1月1日使用的旺店通,即历史数据是从2022年1月1日开始的,所以小明需要做的配置为:

  1. 编辑连接 A

  2. 修改「连接取数开始时间=2022年1月1日」,并保存

  3. 对所需的表(如订单查询)重新同步数据

这样配置后,连接A就开始同步2022年1月1日至2023年6月1日的数据了。

1、修改开始时间可以用于获取历史数据

2、如果配置了截止时间还希望保持增量更新,需要在执行同步后,把取数截止时间设置为空

这样的同步可能耗时较长,小明还可以再优化一次配置:

  1. 编辑连接A

  2. 修改并保存「连接取数开始时间=2022年1月1日」、「连接取数截止时间=2023年4月1日」

  3. 发起重新同步全部

  4. 编辑连接A,修改并保存「连接取数截止时间为空」

因为初次配置是按照默认范围执行的(即获取了2023年4月1日开始的数据),所以小明只需要获取从2022年1月1日到2023年4月1日之间的数据即可。

按时间范围分配连接

数据连接 A 历史数据量过大,通过拆分多个连接同步减少同步压力,可以用取数范围实现。配置如下:

  1. 新增连接 B、C、D

  2. 修改并保存:

    1. 连接B:「连接取数开始时间=2022年1月1日」、「连接取数截止时间=2022年6月1日」

    2. 连接C:「连接取数开始时间=2022年6月1日」、「连接取数截止时间=2022年11月1日」

    3. 连接D:「连接取数开始时间=2022年11月1日」、「连接取数截止时间=2023年5月1日」

  3. 分不同时间发起同步

这样可以减少一次性同步大量数据的压力。


3. 自定义表编辑

1)目前支持自定义表的数据源:金蝶云星空、Facebook

2)对于某些数据源的某些表有着特殊的请求参数,必须用户传入。针对这些表,可以通过新增自定义表实现配置。

3)配置自定义表不等于选表,这里 只配置入参,是否展示在数据连接管理页面是通过选表配置的。

2.jpg

4. 选表编辑

4.1 添加表

1)授权配置完成后进入选表页面,左侧列表为可以选择添加的数据表。勾选需要的数据表,点击「>」添加表。如下图所示:

1.png

2)那么选择的表将会展示在数据源界面。如下图所示:

2.png

3)若在上述选表界面时仅选择部分表,后期需要更多数据表,对数据连接进行编辑,可进入上述选表界面,添加更多表。如下图所示:

Group 9.png

4.2 删除表

如果不需要某张表,可以在数据源管理界面删除即可。如下图所示:

Group 10.png