1. 概述
定时管道运行成功后,云端应用系统数据已经同步到数据库,在正式使用数据前,建议用户按照本文档进行数据核对,确保数据的一致性和准确性。
2. 操作步骤
2.1 数据核对方案
2.1.1 方案一:记录总数核对
操作步骤:
确定时间范围:选取一个封闭的时间区间(例如上个月的1号到30号),客户后台和接口需要选择同一个时间字段进行核对,避免选取变动较大的近期数据。
系统后台取数:在业务系统后台导出该时间段的订单、单据等数据列表,或查看列表底部的“总记录数”。
数据库取数:使用 SQL 查询同步表在同一时间范围内的 count 数值。
示例(吉客云:补偿退款单)::
1)后台路径:服务 -> 补偿退款 -> 补偿退款单查询。

2)数据库表:在定时管道任务中选择“分页查询补偿退款单(新)”,运行同步近几个月的数据(数据范围需包含需要核对的时间段),同步到目标表“ass_business_refund_listRefundInfo”中。

3)核对口径:
后台筛选“登记时间”为上个月 -> 查看底部共32866条记录。

数据库查询登记时间为上个月的分页查询补偿退款单记录数,语句如下,得到记录数为32866,与后台记录一致。
select count(*)
from ass_business_refund_listRefundInfo
where gmtCreate between '2025-11-01' and '2025-12-01'
注:SQL 语句需替换为用户需要处理的表和字段名。

2.1.2 方案二:核心指标抽样核对
操作步骤:
随机抽样:在系统中随机选取 3-5 个不同状态的数据,比如状态为待发货、已完成、已取消的单据号。
比对字段:在数据库中查询对应记录进行比对。
举例(吉客云:补偿退款单):
1)后台路径:服务 -> 补偿退款 -> 补偿退款单查询,选取补偿退款单号为T******64、T******82、T******47的订单号。

数据库表:在数据库查询补偿退款单号为T******64、T******82、T******47的订单,并对各字段数值进行核对,SQL语句如下:
select * from ass_business_refund_listRefundInfo
where refundNo IN ('T******64','T******82','T******47')
注:SQL 语句需替换为用户需要处理的表和字段名。

2.1.3 聚合指标核对
操作步骤:
系统查看报表: 查看系统后台的“销售日报”或“库存汇总表”等数据表,记录一个封闭时间段内某个数值类字段的总额。
注:避免选取变动较大的近期时间,且选取的数值类字段计算逻辑较为清晰。数据库模拟计算: 在数据库中对明细表进行sum求和。
举例(吉客云:补偿退款单):
1)后台路径:服务 -> 补偿退款 -> 补偿退款单查询,后台筛选“登记时间”为上个月,导出数据后查看,应退合计共计927680.62。


2)数据库表:在数据库查询补登记时间为上个月的订单,SQL语句如下,得到应退合计为927680.6200001949,与后台数据一致。
select sum(`payInfo-returnTotal`)
from ass_business_refund_listRefundInfo
where gmtCreate between '2025-11-01' and '2025-12-01'
注:SQL 语句需替换为用户需要处理的表和字段名。

2.2 数据不准确问题排查
2.2.1 接口数据量与后台数据量不一致
| 现象 | 可能问题 | 排查 | 解决 |
|---|---|---|---|
| 数据库数据量<后台数据 | 未同步最新数据 | 检查定时管道任务最新断点
| 定时管道任务是定时运行的,如果任务设置每小时执行一次,那么最新一小时的数据尚未同步属于正常现象 建议点击“手动运行”,待任务结束后再次核对 |
| 权限不一致 |
| 数据连接授权账号与后台核对账号都使用更高权限的账号 | |
| 接口取数范围限制 | 检查该接口支持获取数据的时间范围,对比后台筛选时间是否在此范围内 举例:旺店通旗舰版发票信息查询接口
| 修改筛选范围检查数据是否能对上,范围不要包含接口取到的最小、最大时间 | |
| 接口少返回了某个状态的数据 | 后台可能展示了所有数据,但接口只返回了某个字段值的数据 举例:领星查询利润报表-MSKU接口返回的数据不包含已发放预结算数据
| 根据接口API文档对返回字段的说明,修改数据库查询范围与接口返回字段范围一致,再检查数据是否能对上 | |
| 增量同步逻辑 | 多数表增量同步范围的截止时间为触发同步的时间,如果数据发生变更的时间恰好在定时管道任务运行期间,这部分数据可能同步不到 | 重新增量同步一次再进行核对 | |
| 取数/筛选范围口径不一致 | 1)同步逻辑:确认定时管道任务同步时,增量更新使用的游标字段
2)后台筛选:确认后台筛选条件的时间字段 3)风险点: 如果按“修改时间”核对,一个10月份创建的订单,如果在12月发生了更新,会出现在12月的增量同步数据里 |
| |
| 未合并“奇门数据”与”非奇门数据 | 部分数据需要奇门授权才可以同步,检查缺失数据是否属于“奇门数据”,奇门数据需要建立奇门数据连接来进行同步,涉及聚水潭、吉客云、旺店通等数据源 | 使用奇门数据连接同步奇门数据,与非奇门数据合并后再核对 举例:旺店通旗舰版建立奇门数据连接
| |
| 数据库数据量>后台数据 | 接口多返回了某个状态的数据 | 后台可能没有展示某个字段值的数据,比如只展示了状态正常或者未删除的数据,但接口返回了所有数据 |
|
| 权限不一致 |
| 数据连接授权账号与后台核对账号都使用更高权限的账号 |
2.2.2 接口数据字段值与后台数据字段值不一致
| 可能问题 | 排查思路 | 解决 |
|---|---|---|
| 接口数据不是最新 | 检查定时管道任务最近同步成功的时间 | 先把数据同步一次后再核对 |
| 增量表回溯范围不够 | 增量表游标不是修改时间,回溯时间不够导致旧数据没有更新
| 重新同步一段时间数据,并配置更长的回溯周期
|
