历史版本2 :分页取数-按偏移量取数 返回文档
编辑时间: 内容长度:图片数:目录数: 修改原因:

目录:

1. 概述编辑

1.1 应用场景

公司内部使用金蝶云星空进行供应链管理。

希望将 销售报价单的单据查询接口 中的数据取出,以便进行数据分析。

1.2 接口说明

接口文档详情参见:销售报价单的单据查询接口

1.3 实现思路

FilterString 参数中使用日期区间作为参数,获取一段时间(开始时间和结束时间)作为日期参数,取出该段时间内的数据,后续通过定时调度任务进行追加。

如何取出该时间段数据:先清空日期区间内的数据,然后通过循环容器循环次数来确定每次取数的开始行数,直到结果数据行数无法整除每次区数量,再跳出循环。

FineDataLink 中的数据处理过程,详情参见:https://demo.finedatalink.com/ 「」。

2. 操作步骤编辑

示例给出的接口请求示例如下:

{
    "data": {
        "FormId": "SAL_QUOTATION",
        "FieldKeys": "FID,FQUOTATIONENTRY_FEntryID,FMaterialId.Fnumber,FMaterialModel,FMaterialType,FUnitID,FPrice,FQty,FTaxPrice,FTaxRate,FTaxAmount,FAllAmount,FEntryNote,FAmount,FPriceUnitId,FPriceUnitQty,FBaseUnitQty,FBaseUnitId,FTaxCombination,FAuxPropId,FPriceCoefficient,FSysPrice,FDiscount,FDiscountRate,FTaxNetPrice,FBomId,FIsFree,FTaxAmount_LC,FAmount_LC,FAllAmount_LC,FStartQty,FLimitDownPrice,FMapId,FMapName,FMaterialName,FPriceBaseQty,FSetPriceUnitID,FStockUnitID,FStockQty,FStockBaseQty,FPriceListEntry,FChangeFlag,FRowType,FParentMatId,FRowId,FParentRowId,FSupplyOrgId,FSourceBillFormId,FLot,FEntryDiscountList,FPriceDiscount,FBOMEntryId,F_PYBU_RecomReferPrice,F_PYBU_CostPrice,F_PYBU_VolumeReferPrice,F_PYBU_VolumeCostPrice,F_PYBU_QuotCoefficient,F_PYBU_VarianceMoney,F_PYBU_differenceScale,F_PYBU_SuccessFlag,F_PYBU_SCXH,F_PYBU_YBJ,F_PYBU_JJBL,F_PYBU_JYHXJJB,F_PYBU_SQBJDJBWB,F_PYBU_BZGG,F_PYBU_BaseProperty3_VOCFL,F_PYBU_VOC,F_PYBU_CLMLB,F_PYBU_CLCBCYJE,F_PYBU_HXJHS,F_PYBU_CLCBCYJESR,F_PYBU_CLMLLSR,F_PYBU_JSJE,FDATE",
        "FilterString": [
            {
                "Left":"(",
                "FieldName":"FDATE",
                "Compare":">=",
                "Value":"${STARDATE}",
                "Right":")",
                "Logic":"AND"
            },
            {
                "Left":"(",
                "FieldName":"FDATE",
                "Compare":"<",
                "Value":"${ENDDATE}",
                "Right":")",
                "Logic":"AND"
            }],
        "OrderString": "",
        "TopRowCount": 0,
        "StartRow": "${startrow}",
        "Limit": "${limit}",
        "SubSystemId": ""
    }
}


2.1 获取日期参数

本文示例设置日期区间为最近120天,使用 SQL 语句获取开始时间和截止到数据库当天的时间,作为日期参数,便于后续取出此时间段内的数据。

使用参数赋值,选择需要落库的数据库并输入 SQL 语句,如下图所示:

SELECT
  CONCAT(
    DATE_FORMAT(DATE_SUB(NOW(), INTERVAL 120 DAY), '%Y-%m-%d'),
    ' ',
    '00:00:00'
  ) AS STARDATE,
  CONCAT(DATE_FORMAT(NOW(), '%Y-%m-%d'), ' ', '00:00:00') AS ENDDATE;

「数据预览」即可看到设置的开始时间 STARDATE 和结束时间 ENDDATE,如下图所示:

将其分别设置为参数。如下图所示:

2.2 设置Limit 参数

销售报价单的单据查询接口 需要使用请求参数 Limit 获取每次取数的数据量。

在参数设置中新增 limit 参数,如下图所示:

注:示例将参数值设置为 30,用户可根据实际情况进行设置。

2.2 清空目标表日期参数区间内的数据

为了保证本次取数的纯净,因此使用 SQL 脚本删除目标数据表中本次取数的日期参数区间内的数据。

使用「SQL脚本」,输入 SQL 语句,如下图所示:

DELETE from
  ods_JDYXK
WHERE
  订购日期 >= '${STARDATE}'
  and 到货日期 <= '${ENDDATE}'

2.3 循环取数-判断目标表指定区间数据能否被Limit整除

接下来进行取数,因为数据量较大不能一次取完,因此循环取数就需要用到循环容器。

新增「循环容器」节点,后续的节点需要在循环容器中新增,如下图所示:

对目标表中设置的日期参数区间数据进行求余,如果余数为0,则表示目标表数据能被整除,表示还有未读取的接口数据,因此需要继续写入数据。

余数不为 0,则表示已经取出了指定日期中的所有接口数据,需要停止取数。

在循环容器中新增「参数赋值」节点,计算指定日期区间中目标数据表数据除以 limit 参数的余数,如下图所示:

select count(*)%${limit} as  tflag   from  `demotest`.`ods_JDYXK`
              WHERE 订购日期 >= '${STARDATE}' and 到货日期 <='${ENDDATE}'

将余数结果设置为参数 tflag,如下图所示:

2.4 判断是否继续写入数据

判断是否继续写入数据。

如果余数为0,则表示目标表数据能被整除,表示还有未读取的接口数据,因此需要继续写入数据。

若余数不为 0,则表示已经取出了指定日期中的所有接口数据,需要停止取数。

新增「条件分支」节点,设置判断条件,如果余数 tflag为 0 则继续执行下个节点,否则停止执行,如下图所示:

2.5 获取每次循环开始行数

获取每次循环请求参数 StartRow 的开始位置,因此新建参数赋值节点,使用 FineDataLink 内置的参数${loopTimes}——循环容器当前循环次数

SQL语句:

select (${loopTimes}- 1 ) * ${limit};

由于 loopTimes 默认从 1 开始,因此 StartRow 的开始位置默认从 0 开始,如下图所示:

将其设置为参数 startrow,如下图所示:

2.6 API 取数

请求中参数 开始时间 STARDATE 和结束时间 ENDDATE、Limit、startrow 均已经定义好,因此就可以引用参数进行取数。

新增数据转换节点,编辑界面新增 API 输入算子,并输入 URL、和请求Body,如下图所示:

然后即可预览到取出的数据,并对数据进行处理和输出。