反馈已提交

网络繁忙

数据管道运维指导

  • 文档创建者:Wendy123456
  • 历史版本:8
  • 最近更新:Wendy123456 于 2024-05-29
  • 1. 概述

    管道任务运行后,用户常常有以下问题:

    • 我的工程最多能同时运行多少个管道任务

    • 管道任务手动暂停、异常终止后怎么处理

    • 管道任务运行后,怎么新增/删除表

    • 原任务无法运行,需要重新配置任务,进入编辑任务界面,发现某设置项不能修改怎么办

    • 怎么处理脏数据

    • 怎么查看管道任务日志

    本文为您解答这些问题。

    2. 数据管道并发数说明

    FDL 最多能启动的数据管道任务数说明如下:

    4.1.4 之前版本

    同时运行的管道任务数与 资源控制 中的「内存限制」值有关。「内存限制」值/1024向下取整,比如 2049/1024 就是可以运行两个管道任务。

    3.png

    4.1.4 及之后版本

    可在 并发控制 中修改。

    4.png

    3. 管道任务手动暂停、异常终止后怎么处理

    管道任务会记录断点,再次启动时,会接着之前的断点继续同步数据。

    例如:

    管道任务在03-21日读取了数据,03-23日停掉,03-27日启动,03-23到03-27日的数据会同步过去。

    4. 管道任务运行后,怎么新增/删除表

    修改管道任务配置前,需要先暂停管道任务。如下图所示:

    注:管道任务处于全量同步阶段时,不建议暂停任务,否则全量同步阶段的表数据不会被保留。

    6.png

    然后点击「编辑」按钮,可编辑管道任务:

    注:编辑界面的修改范围请参见:任务运行状况

    7.png

    新增来源表

    进入管道任务编辑界面,新增源表即可,新增的表将按照所选的同步类型进行同步:

    1)同步类型为存量+增量:新增的表需要进行存量同步,那么增量同步将在后台挂起,等新增的表存量跑完,再继续开始增量

    2)同步类型为仅增量:

    • 修改了增量起点:所有表(包含新增的表)按照指定增量起点进行同步

    • 没有修改增量起点:新增表,按照任务内置的断点进行同步

    如下图所示:

    8.png

    删除来源表

    进入管道任务编辑界面,删除源表即可。删除同步对象并保存时,将同时删除此对象相关的所有关联信息,任务启动时,将不再同步对应表。

    5. 原任务无法运行,需要重新配置任务

    以下场景中:

    • 任务运行过程中,由于种种原因,原任务无法正常运行,需要重新配置任务才能继续,如历史断点失效、主库宕机等。

    • 在任务配置过程中,由于配置错误(主要是映射配置错误导致自动建表失败),导致初始化运行失败,此时需要修改任务继续。

    由于编辑管道任务的范围有限,此时可以复制管道任务,对管道任务重新配置。如下图所示:

    9.png

    复制后的管道任务,可修改范围更广:

    10.png

    对于复制后的管道任务:

    • 用户可选择管道任务复制前的目标表,因为若目标数据表结构(表名和字段名)和来源表一致:首次数据同步会清空目标数据表数据,然后全量同步数据,此后增量同步。所以,复制任务不会影响数据。

    • 用户也可新建目标表,存放数据。

    之前的旧管道任务可以删除。

    6. 管道任务产生脏数据

    数据管道脏数据定义

    与目标字段配置不匹配而无法写入的数据(目标字段长度/类型不匹配、目标字段缺失、违反目标字段非空约束等)。

    注:对于管道任务,主键冲突不会产生脏数据,主键相同的数据,新数据将覆盖旧数据。

    脏数据阈值

    管道控制 步骤中,可设置脏数据阈值,达到阈值时将中止任务。脏数据阈值的定义是,某个任务自建立至今的整体阈值。如下图所示:

    注:脏数据阈值多大能设置 10w 行,建议用户定期处理下脏数据。

    11.png

    怎么处理脏数据

    详情请参见:脏数据处理

    7. 怎么查看数据管道日志

    管道任务统计日志、管道任务运行日志查看请参见:单个管道任务管理

    用户若需要查看更详细的日志,可在「管道控制」步骤中,将管道任务的日志等级修改为 info 打印详细的 fanruan.log 日志,供用户查看。如下图所示:

    1716875290293812.png




    附件列表


    主题: 任务运维
    • 有帮助
    • 没帮助
    • 只是浏览
    • 评价文档,奖励 1 ~ 100 随机 F 豆!

    鼠标选中内容,快速反馈问题

    鼠标选中存在疑惑的内容,即可快速反馈问题,我们将会跟进处理。

    不再提示

    10s后关闭



    AI

    联系我们
    在线支持
    获取专业技术支持,快速帮助您解决问题
    工作日9:00-12:00,13:30-17:30在线
    页面反馈
    针对当前网页的建议、问题反馈
    售前咨询
    采购需求/获取报价/预约演示
    或拨打: 400-811-8890 转1
    qr
    热线电话
    咨询/故障救援热线:400-811-8890转2
    总裁办24H投诉:17312781526
    提交页面反馈
    仅适用于当前网页的意见收集,帆软产品问题请在 问答板块提问前往服务平台 获取技术支持