1. 概述编辑
本文将对数据连接页面通用功能进行说明,例如 取数开始时间/取数截止时间、自定义表等。
2. 取数开始时间/取数截止时间编辑
目前支持配置连接取数范围的数据源:旺店通(旗舰版)
2.1 功能说明
1)配置取数开始时间/取数截止时间后,某张表取数范围的判断链路为:上游支持的接口范围->用户配置的取数开始/截止时间,最终取交集。
eg: 美团的「查询订单详情(展示费率相关字段)」最早只能取到发起同步前7天的数据,用户在这里配置了3个月前,则实际只取到 7 天的数据。

2)取数开始/截止时间如果为空,则按照系统给定的默认范围(授权时间前1个月至今天)。
3)在这里只修改了接口请求参数中的值,依赖的字段不支持修改。如:旺店通旗舰版的订单查询表是按照start_time、end_time 请求的,这里只修改了请求的值
4)取数范围只改变了未来的请求参数,并不影响已经同步到的结果。编辑后需要重新同步数据。
2.2 使用场景
修改取数范围可用于多种场景,说明见下表:
| 场景 | 描述 | 总结 |
|---|---|---|
| 获取两年内的历史数据 | 以旺店通旗舰版数据源为例,小明在 2023年5月1日 初次配置了连接A,试用一个月后,于 2023年6月1日 希望铺开使用。 铺开使用的第一步就是获取数据源的历史数据。因为小明的公司最早在2022年1月1日使用的旺店通,即历史数据是从2022年1月1日开始的,所以小明需要做的配置为:
这样配置后,连接A就开始同步2022年1月1日至2023年6月1日的数据了。 | 修改开始时间可以用于获取历史数据 |
| 获取更久的历史数据(5年及以上) | 假如小明公司的历史数据是从2016年开始的,一次性同步可能耗时较长,需要分多批次同步:
或者,小明可以分别建立3个连接,每个连接取2年的数据,最终在项目中把历史数据合并到一起 | 1、获取较长时间的历史数据可以通过截止时间实现同时分段同步(如果上游不限流的话,同步速度相比于在同一个连接上同步将显著提升) 2、如果配置了截止时间还希望保持增量更新,需要在执行同步后,把取数截止时间设置为空 |
| 按时间范围分配连接 | 数据连接 A 历史数据量过大,通过拆分多个连接同步减少同步压力,可以用取数范围实现。配置如下:
这样可以减少一次性同步大量数据的压力。 |
3. 自定义表编辑
1)目前支持自定义表的数据源:金蝶云星空、Facebook
2)对于某些数据源的某些表有着特殊的请求参数,必须用户传入。针对这些表,可以通过新增自定义表实现配置。
3)配置自定义表不等于选表,这里 只配置入参,是否展示在数据连接管理页面是通过 选表 配置的。

4. 选表编辑
4.1 添加表
1)授权配置完成后进入选表页面,左侧列表为可以选择添加的数据表。勾选需要的数据表,点击「>」添加表。如下图所示:

2)那么选择的表将会展示在数据源界面。如下图所示:

3)若在上述选表界面时仅选择部分表,后期需要更多数据表,对数据连接进行编辑,可进入上述选表界面,添加更多表。如下图所示:

4.2 删除表
如果不需要某张表,可以在数据源管理界面删除即可。如下图所示:


