1. 概述
本文将对数据连接页面通用功能进行说明,例如 取数开始时间/取数截止时间、自定义表等。
2. 取数开始时间/取数截止时间
目前支持配置连接取数范围的数据源:旺店通(旗舰版)、旺店通(慧经营)
2.1 功能说明
1)配置取数开始时间/取数截止时间后,某张表取数范围的判断链路为:上游支持的接口范围->用户配置的取数开始/截止时间,最终取交集。
eg: 美团的「查询订单详情(展示费率相关字段)」最早只能取到发起同步前7天的数据,用户在这里配置了3个月前,则实际只取到 7 天的数据。
2)取数开始/截止时间如果为空,则按照系统给定的默认范围(授权时间前1个月至今天)。
3)在这里只修改了接口请求参数中的值,依赖的字段不支持修改。如:旺店通旗舰版的订单查询表是按照start_time、end_time 请求的,这里只修改了请求的值
4)取数范围只改变了未来的请求参数,并不影响已经同步到的结果。
2.2 使用场景
修改取数范围可用于多种场景,说明见下表:
场景 | 描述 | 总结 |
---|---|---|
以时间参数请求的全量表,通过配置取数范围规定每次请求的数据范围 | 有些表即使是全量同步,但在请求时也是传入了时间参数的,比如聚水潭的「普通商品查询(按款查询)」,这张表的请求就是需要「modified_begin、modified_end」。 全量表的特性是,每次同步都删除已有数据,再把新数据同步进来。 对于这种表,为了保证数据全面,我们默认的请求范围是从授权时间前5年开始至今。但可能有的用户需要更久的范围(比如 A 用户有数据是从10年前开始的),这时候就可以通过修改单表的取数范围来获取。如果需要缩小取数范围也是同理。 | 1、通过时间参数请求的全量表,可以通过取数范围规定每次同步的数据范围。 2、只通过 id 请求的全量表(如旺店通旗舰版的「店铺查询」,查询的是所有有权限的数据,取数范围对其无效。 |
按时间范围分配连接 | 数据连接 A 历史数据量过大,通过拆分多个连接同步减少同步压力,可以用取数范围实现。配置如下:
这样可以减少一次性同步大量数据的压力。 |
3. 自定义表
1)目前支持自定义表的数据源:金蝶云星空、Facebook
2)对于某些数据源的某些表有着特殊的请求参数,必须用户传入。针对这些表,可以通过新增自定义表实现配置。
3)配置自定义表不等于选表,这里 只配置入参,是否展示在数据连接管理页面是通过 选表 配置的。
4. 选表
4.1 添加表
1)授权配置完成后进入选表页面,左侧列表为可以选择添加的数据表。勾选需要的数据表,点击「>」添加表。如下图所示:
2)那么选择的表将会展示在数据源界面。如下图所示:
3)若在上述选表界面时仅选择部分表,后期需要更多数据表,对数据连接进行编辑,可进入上述选表界面,手动添加更多表。如下图所示:
4.2 新增表自动勾选
由于数据源的不断迭代,可获取的数据表会逐渐增多。若用户希望自动获取新增的表,可在选表界面开启「新增表自动勾选」。如下图所示:
4.3 删除表
如果不需要某张表,可以在数据源管理界面删除即可。如下图所示: