反馈已提交

网络繁忙

定时管道同步完成后数据核对方案

  • 文档创建者:Wendy123456
  • 历史版本:2
  • 最近更新:Wendy123456 于 2026-04-17
  • 1. 概述

    定时管道运行成功后,云端应用系统数据已经同步到数据库,在正式使用数据前,建议用户按照本文档进行数据核对,确保数据的一致性和准确性。

    2. 操作步骤

    2.1 数据核对方案

    2.1.1 方案一:记录总数核对

    操作步骤:

    • 确定时间范围:选取一个封闭的时间区间(例如上个月的1号到30号),客户后台和接口需要选择同一个时间字段进行核对,避免选取变动较大的近期数据。

    • 系统后台取数:在业务系统后台导出该时间段的订单、单据等数据列表,或查看列表底部的“总记录数”。

    • 数据库取数:使用 SQL 查询同步表在同一时间范围内的 count 数值。

    示例(吉客云:补偿退款单):

    1)后台路径:服务 -> 补偿退款 -> 补偿退款单查询。

    15.png

    2)数据库表:在定时管道任务中选择“分页查询补偿退款单(新)”,运行同步近几个月的数据(数据范围需包含需要核对的时间段),同步到目标表“ass_business_refund_listRefundInfo”中。

    17.png

    3)核对口径:

    • 后台筛选“登记时间”为上个月 -> 查看底部共32866条记录。

    18.png

    • 数据库查询登记时间为上个月的分页查询补偿退款单记录数,语句如下,得到记录数为32866,与后台记录一致。

    select count(*)
    from ass_business_refund_listRefundInfo
    where gmtCreate between '2025-11-01' and '2025-12-01'
    注:SQL 语句需替换为用户需要处理的表和字段名。

    19.png

    2.1.2 方案二:核心指标抽样核对

    操作步骤:

    • 随机抽样:在系统中随机选取 3-5 个不同状态的数据,比如状态为待发货、已完成、已取消的单据号。

    • 比对字段:在数据库中查询对应记录进行比对。

    举例(吉客云:补偿退款单):

    1)后台路径:服务 -> 补偿退款 -> 补偿退款单查询,选取补偿退款单号为T******64、T******82、T******47的订单号。

    20.png

    • 数据库表:在数据库查询补偿退款单号为T******64、T******82、T******47的订单,并对各字段数值进行核对,SQL语句如下:

    select * from ass_business_refund_listRefundInfo
    where refundNo IN ('T******64','T******82','T******47')
    注:SQL 语句需替换为用户需要处理的表和字段名。

    21.png

    2.1.3 聚合指标核对

    操作步骤:

    • 系统查看报表: 查看系统后台的“销售日报”或“库存汇总表”等数据表,记录一个封闭时间段内某个数值类字段的总额。
      注:避免选取变动较大的近期时间,且选取的数值类字段计算逻辑较为清晰。

    • 数据库模拟计算: 在数据库中对明细表进行sum求和。

    举例(吉客云:补偿退款单):

    1)后台路径:服务 -> 补偿退款 -> 补偿退款单查询,后台筛选“登记时间”为上个月,导出数据后查看,应退合计共计927680.62。

    22.png

    23.png

    2)数据库表:在数据库查询补登记时间为上个月的订单,SQL语句如下,得到应退合计为927680.6200001949,与后台数据一致。
    select sum(`payInfo-returnTotal`)
    from ass_business_refund_listRefundInfo 
    where gmtCreate between '2025-11-01' and '2025-12-01'
    注:SQL 语句需替换为用户需要处理的表和字段名。

    24.png

    2.2 数据不准确问题排查

    2.2.1 接口数据量与后台数据量不一致

    现象
    可能问题排查解决
    数据库数据量<后台数据未同步最新数据

    检查定时管道任务最新断点

    25.png

    定时管道任务是定时运行的,如果任务设置每小时执行一次,那么最新一小时的数据尚未同步属于正常现象

    建议点击“手动运行”,待任务结束后再次核对

    权限不一致
    • 数据源授权账号: 查看数据连接中授权账号的权限(例如:可能是某个子账号)

    • 后台核对账号:查看在业务系统后台核对时使用账号的权限(例如:管理员账号)

    • 权限比对:数据连接授权账号的权限与后台登录用户的权限是否一致,包括店铺权限、门店权限等

    数据连接授权账号与后台核对账号都使用更高权限的账号
    接口取数范围限制

    检查该接口支持获取数据的时间范围,对比后台筛选时间是否在此范围内

    举例:旺店通旗舰版发票信息查询接口

    26.png

    修改筛选范围检查数据是否能对上,范围不要包含接口取到的最小、最大时间
    接口少返回了某个状态的数据

    后台可能展示了所有数据,但接口只返回了某个字段值的数据

    举例:领星查询利润报表-MSKU接口返回的数据不包含已发放预结算数据 

    27.png

    根据接口API文档对返回字段的说明,修改数据库查询范围与接口返回字段范围一致,再检查数据是否能对上
    增量同步逻辑多数表增量同步范围的截止时间为触发同步的时间,如果数据发生变更的时间恰好在定时管道任务运行期间,这部分数据可能同步不到重新增量同步一次再进行核对
    取数/筛选范围口径不一致

    1)同步逻辑:确认定时管道任务同步时,增量更新使用的游标字

    28.png

    2)后台筛选:确认后台筛选条件的时间字段

    3)风险点: 如果按“修改时间”核对,一个10月份创建的订单,如果在12月发生了更新,会出现在12月的增量同步数据里

    • 通过修改时间等字段,核对往前推一段时间的数据,比如当前12月,那可以核对10月、11月的数据,因为前段时间的数据更加稳定

    • 之前数据核对一致:说明数据可以对上

    • 之前数据核对不一致:需要继续查找原因

    未合并“奇门数据”与”非奇门数据部分数据需要奇门授权才可以同步,检查缺失数据是否属于“奇门数据”,奇门数据需要建立奇门数据连接来进行同步,涉及聚水潭、吉客云、旺店通等数据源

    使用奇门数据连接同步奇门数据,与非奇门数据合并后再核对

    举例:旺店通旗舰版建立奇门数据连接

    29.png

    数据库数据量>后台数据接口多返回了某个状态的数据后台可能没有展示某个字段值的数据,比如只展示了状态正常或者未删除的数据,但接口返回了所有数据
    • 通过表结构说明检查是否有状态、归档等有区分度的字段,如有,汇总不同字段值数量核对

    • 排查数据库多出来的数据是否在业务系统后台已被删除,如需保持业务系统后台实际数据与本地已入库数据的一致性,可参考同步删除入库历史数据方案

    权限不一致
    • 数据源授权账号: 查看数据连接中授权账号的权限(例如:管理员账号)

    • 后台核对账号:查看在业务系统后台核对时使用账号的权限(例如:可能是某个子账号)

    • 权限比对:数据连接授权账号的权限与后台登录用户的权限是否一致,包括店铺权限、门店权限等

    数据连接授权账号与后台核对账号都使用更高权限的账号

    2.2.2 接口数据字段值与后台数据字段值不一致

    可能问题
    排查思路解决
    接口数据不是最新检查定时管道任务最近同步成功的时间

    先把数据同步一次后再核对

    增量表回溯范围不够增量表游标不是修改时间,回溯时间不够导致旧数据没有更新
    • 确认核对不上数据对应的"__dm_emitted_at"字段值,即入库时间,等于同步到该数据的时间,再根据后台数据的修改时间/更新时间/日志的最后变动时间等,判断回溯时间是否不够

    重新同步一段时间数据,并配置更长的回溯周期

    30.png



    附件列表


    主题: 定时管道
    • 有帮助
    • 没帮助
    • 只是浏览
    中文(简体)

    鼠标选中内容,快速反馈问题

    鼠标选中存在疑惑的内容,即可快速反馈问题,我们将会跟进处理。

    不再提示

    10s后关闭



    AI

    联系我们
    在线支持
    获取专业技术支持,快速帮助您解决问题
    工作日9:00-12:00,13:30-17:30在线
    页面反馈
    针对当前网页的建议、问题反馈
    售前咨询
    采购需求/获取报价/预约演示
    或拨打: 400-811-8890 转1
    qr
    热线电话
    咨询/故障救援热线:400-811-8890转2
    总裁办24H投诉:17312781526
    提交页面反馈
    仅适用于当前网页的意见收集,帆软产品问题请在 问答板块提问前往服务平台 获取技术支持