1. 概述
2. 方案一
4.1.3 以及之后的版本支持的方案。
2.1 实现思路
FilterString 参数中使用日期区间作为参数，获取一段时间（开始时间和结束时间）作为日期参数，取出该段时间内的数据，后续通过定时调度任务进行追加。
如何取出该时间段数据：使用接口请求参数偏移量 StartRow 和每次的限制条数 Limit ，为 StartRow 赋值参数 ${offset}，以${offset} 0 为初始值，增长间隔也就是 Limit 设置为 30，进行取数并设置分页取数的结束条件，即如果最后一次取数返回的数据条数小于 Limit 限制 30，则此次数据就已经被取完，停止循环，取出所有数据。
2.2 操作步骤
给出的接口请求如下：
{
"data": {
"FormId": "SAL_QUOTATION",
"FieldKeys": "FID,FQUOTATIONENTRY_FEntryID,FMaterialId.Fnumber,FMaterialModel,FMaterialType,FUnitID,FPrice,FQty,FTaxPrice,FTaxRate,FTaxAmount,FAllAmount,FEntryNote,FAmount,FPriceUnitId,FPriceUnitQty,FBaseUnitQty,FBaseUnitId,FTaxCombination,FAuxPropId,FPriceCoefficient,FSysPrice,FDiscount,FDiscountRate,FTaxNetPrice,FBomId,FIsFree,FTaxAmount_LC,FAmount_LC,FAllAmount_LC,FStartQty,FLimitDownPrice,FMapId,FMapName,FMaterialName,FPriceBaseQty,FSetPriceUnitID,FStockUnitID,FStockQty,FStockBaseQty,FPriceListEntry,FChangeFlag,FRowType,FParentMatId,FRowId,FParentRowId,FSupplyOrgId,FSourceBillFormId,FLot,FEntryDiscountList,FPriceDiscount,FBOMEntryId,F_PYBU_RecomReferPrice,F_PYBU_CostPrice,F_PYBU_VolumeReferPrice,F_PYBU_VolumeCostPrice,F_PYBU_QuotCoefficient,F_PYBU_VarianceMoney,F_PYBU_differenceScale,F_PYBU_SuccessFlag,F_PYBU_SCXH,F_PYBU_YBJ,F_PYBU_JJBL,F_PYBU_JYHXJJB,F_PYBU_SQBJDJBWB,F_PYBU_BZGG,F_PYBU_BaseProperty3_VOCFL,F_PYBU_VOC,F_PYBU_CLMLB,F_PYBU_CLCBCYJE,F_PYBU_HXJHS,F_PYBU_CLCBCYJESR,F_PYBU_CLMLLSR,F_PYBU_JSJE,FDATE",
"FilterString": [
{
"Left":"(",
"FieldName":"FDATE",
"Compare":">=",
"Value":"${STARDATE}",
"Right":")",
"Logic":"AND"
},
{
"Left":"(",
"FieldName":"FDATE",
"Compare":"<",
"Value":"${ENDDATE}",
"Right":")",
"Logic":"AND"
}],
"OrderString": "",
"TopRowCount": 0,
"StartRow": "${startrow}",
"Limit": "${limit}",
"SubSystemId": ""
}
}
2.2.1 获取日期参数
本文示例设置日期区间为最近120天，使用 SQL 语句获取开始时间和截止到数据库当天的时间，作为日期参数，便于后续取出此时间段内的数据。
使用参数赋值，选择数据库并输入 SQL 语句，如下图所示：
SELECT
CONCAT(
DATE_FORMAT(DATE_SUB(NOW(), INTERVAL 120 DAY), '%Y-%m-%d'),
' ',
'00:00:00'
) AS STARDATE,
CONCAT(DATE_FORMAT(NOW(), '%Y-%m-%d'), ' ', '00:00:00') AS ENDDATE;
「数据预览」即可看到设置的开始时间 STARDATE 和结束时间 ENDDATE，如下图所示：
将其分别设置为参数。如下图所示：
2.2.2 设置分页取数
新增「数据同步」节点，输入 API 配置，如下图所示：
点击「高级配置」并勾选分页取数，分页取数逻辑为，使用接口请求参数偏移量 StartRow 和每次的限制条数 Limit ，为 StartRow 赋值参数 ${offset}，以 0 为初始值，增长间隔也就是 Limit 设置为 30，进行取数，也就是下一次循环则 offset 参数变为 30，如下图所示：
注1：取数限制为分页取数循环次数，可以根据实际情况设置。
注2：总数刚好是pageSize或limit的整数时，有可能会产生空数据，可以使用数据转换节点中的API输入算子，并在其后接一个算子过滤空数据，参见：API循环取数时取出数据为空
然后设置分页取数的结束条件，即如果最后一次取数返回的数据条数小于 Limit 限制 30，则此次数据就已经被取完。因此设置，解析接口返回值 Jsonpath 中数据的条数。如下图所示：
注：JsonPath 表达式说明请参见：JSONPath表达式
然后再设置接口的请求参数，将开始和结束时间参数写入接口，同时 StartRow 设置为偏移量 ${offset}，每次的限制条数 Limit 设置为 30，如下图所示：
然后可以解析返回值，如下图所示：
然后即可预览到取出的数据，并对数据进行处理和输出。
3. 方案二
4.1.3 之前的版本支持的方案。
3.1 实现思路
FilterString 参数中使用日期区间作为参数，获取一段时间（开始时间和结束时间）作为日期参数，取出该段时间内的数据，后续通过定时调度任务进行追加。
如何取出该时间段数据：先清空日期区间内的数据，然后通过循环容器循环次数来确定每次取数的开始行数，直到结果数据行数无法整除每次区数量，再跳出循环。
FineDataLink 中的数据处理过程，详情参见：https://demo.finedatalink.com/ 「API取数-金蝶云星空销售报价单单据查询」。
3.2 操作步骤
示例给出的接口请求示例如下：
{
"data": {
"FormId": "SAL_QUOTATION",
"FieldKeys": "FID,FQUOTATIONENTRY_FEntryID,FMaterialId.Fnumber,FMaterialModel,FMaterialType,FUnitID,FPrice,FQty,FTaxPrice,FTaxRate,FTaxAmount,FAllAmount,FEntryNote,FAmount,FPriceUnitId,FPriceUnitQty,FBaseUnitQty,FBaseUnitId,FTaxCombination,FAuxPropId,FPriceCoefficient,FSysPrice,FDiscount,FDiscountRate,FTaxNetPrice,FBomId,FIsFree,FTaxAmount_LC,FAmount_LC,FAllAmount_LC,FStartQty,FLimitDownPrice,FMapId,FMapName,FMaterialName,FPriceBaseQty,FSetPriceUnitID,FStockUnitID,FStockQty,FStockBaseQty,FPriceListEntry,FChangeFlag,FRowType,FParentMatId,FRowId,FParentRowId,FSupplyOrgId,FSourceBillFormId,FLot,FEntryDiscountList,FPriceDiscount,FBOMEntryId,F_PYBU_RecomReferPrice,F_PYBU_CostPrice,F_PYBU_VolumeReferPrice,F_PYBU_VolumeCostPrice,F_PYBU_QuotCoefficient,F_PYBU_VarianceMoney,F_PYBU_differenceScale,F_PYBU_SuccessFlag,F_PYBU_SCXH,F_PYBU_YBJ,F_PYBU_JJBL,F_PYBU_JYHXJJB,F_PYBU_SQBJDJBWB,F_PYBU_BZGG,F_PYBU_BaseProperty3_VOCFL,F_PYBU_VOC,F_PYBU_CLMLB,F_PYBU_CLCBCYJE,F_PYBU_HXJHS,F_PYBU_CLCBCYJESR,F_PYBU_CLMLLSR,F_PYBU_JSJE,FDATE",
"FilterString": [
{
"Left":"(",
"FieldName":"FDATE",
"Compare":">=",
"Value":"${STARDATE}",
"Right":")",
"Logic":"AND"
},
{
"Left":"(",
"FieldName":"FDATE",
"Compare":"<",
"Value":"${ENDDATE}",
"Right":")",
"Logic":"AND"
}],
"OrderString": "",
"TopRowCount": 0,
"StartRow": "${startrow}",
"Limit": "${limit}",
"SubSystemId": ""
}
}
3.2.1 获取日期参数
本文示例设置日期区间为最近120天，使用 SQL 语句获取开始时间和截止到数据库当天的时间，作为日期参数，便于后续取出此时间段内的数据。
使用参数赋值，选择需要落库的数据库并输入 SQL 语句，如下图所示：
SELECT
CONCAT(
DATE_FORMAT(DATE_SUB(NOW(), INTERVAL 120 DAY), '%Y-%m-%d'),
' ',
'00:00:00'
) AS STARDATE,
CONCAT(DATE_FORMAT(NOW(), '%Y-%m-%d'), ' ', '00:00:00') AS ENDDATE;
「数据预览」即可看到设置的开始时间 STARDATE 和结束时间 ENDDATE，如下图所示：
将其分别设置为参数。如下图所示：
3.2.2 设置Limit 参数
销售报价单的单据查询接口 需要使用请求参数 Limit 获取每次取数的数据量。
在参数设置中新增 limit 参数，如下图所示：
注：示例将参数值设置为 30，用户可根据实际情况进行设置。
3.2.3 清空目标表日期参数区间内的数据
为了保证本次取数的纯净，因此使用 SQL 脚本删除目标数据表中本次取数的日期参数区间内的数据。
使用「SQL脚本」，输入 SQL 语句，如下图所示：
DELETE from
ods_JDYXK
WHERE
订购日期 >= '${STARDATE}'
and 到货日期 <= '${ENDDATE}'
3.2.4 循环取数-判断目标表指定区间数据能否被Limit整除
接下来进行取数，因为数据量较大不能一次取完，因此循环取数就需要用到循环容器。
新增「循环容器」节点，后续的节点需要在循环容器中新增，如下图所示：
对目标表中设置的日期参数区间数据进行求余，如果余数为0，则表示目标表数据能被整除，表示还有未读取的接口数据，因此需要继续写入数据。
若余数不为 0，则表示已经取出了指定日期中的所有接口数据，需要停止取数。
在循环容器中新增「参数赋值」节点，计算指定日期区间中目标数据表数据除以 limit 参数的余数，如下图所示：
select count(*)%${limit} as tflag from `demotest`.`ods_JDYXK`
WHERE 订购日期 >= '${STARDATE}' and 到货日期 <='${ENDDATE}'
将余数结果设置为参数 tflag，如下图所示：
3.2.5 判断是否继续写入数据
判断是否继续写入数据。
如果余数为0，则表示目标表数据能被整除，表示还有未读取的接口数据，因此需要继续写入数据。
若余数不为 0，则表示已经取出了指定日期中的所有接口数据，需要停止取数。
新增「条件分支」节点，设置判断条件，如果余数 tflag为 0 则继续执行下个节点，否则停止执行，如下图所示：
因此对整个循环容器进行循环设置，选中循环容器，然后选择循环方式为「条件循环」，设置执行的条件为 tflag 参数属于 0，若满足条件，则继续执行，否则停止：
3.2.6 获取每次循环开始行数
获取每次循环请求参数 StartRow 的开始位置，因此新建参数赋值节点，使用 FineDataLink 内置的参数${loopTimes}——循环容器当前循环次数。
SQL语句：
select (${loopTimes}- 1 ) * ${limit};
由于 loopTimes 默认从 1 开始，因此 StartRow 的开始位置默认从 0 开始，如下图所示：
将其设置为参数 startrow，如下图所示：
3.2.7 API 取数
请求中参数 开始时间 STARDATE 和结束时间 ENDDATE、Limit、startrow 均已经定义好，因此就可以引用参数进行取数。
新增数据转换节点，编辑界面新增 API 输入算子，并输入 URL、和请求Body，如下图所示：
然后即可预览到取出的数据，并对数据进行处理和输出。
