1. 概述
本文将对数据连接页面通用功能进行说明,例如 取数开始时间/取数截止时间、自定义表等。
2. 取数开始时间/取数截止时间
2.1 功能说明
1)配置取数开始时间/取数截止时间后,某张表取数范围的判断链路为:上游支持的接口范围->用户配置的取数开始/截止时间,最终取交集。
eg: 美团的「查询订单详情(展示费率相关字段)」最早只能取到发起同步前7天的数据,用户在这里配置了3个月前,则实际只取到 7 天的数据。
2)取数开始/截止时间如果为空,则按照系统给定的默认范围(授权时间前1个月至今天)。
3)在这里只修改了接口请求参数中的值,依赖的字段不支持修改。如:旺店通旗舰版的订单查询表是按照start_time、end_time 请求的,这里只修改了请求的值
4)取数范围只改变了未来的请求参数,并不影响已经同步到的结果。
2.2 使用场景
修改取数范围可用于多种场景,说明见下表:
场景 | 描述 | 总结 |
---|---|---|
以时间参数请求的全量表,通过配置取数范围规定每次请求的数据范围 | 有些表即使是全量同步,但在请求时也是传入了时间参数的,比如聚水潭的「普通商品查询(按款查询)」,这张表的请求就是需要「modified_begin、modified_end」。 全量表的特性是,每次同步都删除已有数据,再把新数据同步进来。 对于这种表,为了保证数据全面,我们默认的请求范围是从授权时间前5年开始至今。但可能有的用户需要更久的范围(比如 A 用户有数据是从10年前开始的),这时候就可以通过修改单表的取数范围来获取。如果需要缩小取数范围也是同理。 | 1、通过时间参数请求的全量表,可以通过取数范围规定每次同步的数据范围。 2、只通过 id 请求的全量表(如旺店通旗舰版的「店铺查询」,查询的是所有有权限的数据,取数范围对其无效。 |
按时间范围分配连接 | 数据连接 A 历史数据量过大,通过拆分多个连接同步减少同步压力,可以用取数范围实现。配置如下:
这样可以减少一次性同步大量数据的压力。 |
3. 自定义表
1)仅部分数据源支持「自定义表」功能。
2)对于某些数据源的某些表有着特殊的请求参数,必须用户传入。针对这些表,可以通过新增自定义表实现配置。
3)配置自定义表不等于选表,这里 只配置入参,是否展示在数据连接管理页面是通过 选表 配置的。