反馈已提交

网络繁忙

管理实时管道任务

  • 文档创建者:Wendy123456
  • 历史版本:18
  • 最近更新:Wendy123456 于 2025-10-29
  • 1. 概述

    1.1 版本

    FineDataLink 版本功能变动
    4.0.5-
    4.2.8.4
    选择去向新增「数据分批」配置项,暂停任务时支持编辑
    4.2.11.3

    支持任务级重置操作

    支持更灵活地编辑实时管道任务,详情请参见本文第四章内容

    支持暂停、启动单张表/所有表,详情请参见本文第五章内容


    历史版本更新
    FineDataLink 版本
    功能变动
    4.0.7管道任务列表交互界面优化
    4.0.27支持文件夹管理管道任务
    4.0.29任务支持复制到指定文件夹位置
    4.1.2运行中的任务支持查看任务配置情况
    4.1.6.5
    • 管道任务/文件夹支持拖拽排序

    • 任务列表中,鼠标点击管道任务右侧的46.png,新增移动到按钮

    4.1.11.1去除卡片式/列表式展示
    4.2.6.4管道任务中移除某张表时,对应表的脏数据会被清理

    1.2 功能简介

    1)管道任务可放在文件夹中进行管理;用户可复制、移动、重命名、导出、删除管道任务。如下图所示:

    24.png

    2)本文给出编辑管道任务的说明。

    2. 管道任务展示形式/位置说明

    任务列表中用户可查看和编辑所有有 权限 的管道任务。

    4.1.11.1 之前版本

    点击实时管道任务文件夹,在右侧可看到文件夹下所有的管道任务,并且可以调整管道任务展示形式(卡片式、列表式)。如下图所示:

    下图中右侧管道任务为卡片式。

    注:4.1.11.1 及之后版本,去除卡片式、列表式展示功能。

    25.png

    通用功能说明

    1)管道任务可放在文件夹中进行管理。

    2)可拖动管道任务到指定文件夹中。如下图所示:

    37.png

    3. 重命名/移动/复制/导出/删除管道任务

    鼠标点击某个管道任务右侧的标志,可修改任务名称、将任务移动到某个路径下、将任务复制到某个路径下、删除任务、导出任务。如下图所示:

    注:管道任务状态处于草稿、待启动、已暂停、中止时,才支持删除管道任务;管道任务状态说明请参见:单个管道任务状态说明

    26.png

    1)4.1.6.5 及之后版本,支持拖拽管道任务/文件夹来改变其位置:

    • 所有用户均可手动拖拽有权限的管道任务/文件夹。

    • 拖拽结果对所有用户生效。

    • 某用户从上到下看到的管道任务为 5、1、7;管理员从上到下看到的管道任务为 5、6、1、9、7;该用户将 7 挪到 5 和 1 之间,管理员侧将看到 7 在 1 上面,在 6 下面;即被挪动的任务紧靠下方的那个目标节点(目标节点为 5 和 1,1为靠下的位置);文件夹也同理。

    24.1.6.5 及之后版本,新增移动到按钮。

    移动到按钮说明:该按钮不支持改变位次,只能改变所在文件夹在文件夹 A 中的管道任务,点击移动到按钮,移动到文件夹 B ,管道任务移动后,将位于文件夹 B 的末尾;若仍然移动到文件夹 A ,管道任务的位置不变;移动到」效果对所有用户生效。

    4. 编辑管道任务

    4.1 修改配置

    icon提示:
    本章内容适用于 4.2.11.3 及之后版本;4.2.11.3 之前版本,请参见:历史文档

    实时管道任务运行一段时间后,用户想修改配置,FineDataLink 提供修改具体配置的入口。如下图所示:

    37.png

    支持编辑的设置项说明如下表所示:

    配置项
    粒度限制说明可编辑项说明
    高级配置

    任务级 

    待启动、已暂停、异常中止状态下,可修改

    各配置项均支持编辑

    47.png

    任务控制
    添加表

    任务级

    待启动、启动中、运行中、已暂停、异常中止,可添加表

    无需暂停实时管道任务,直接添加一个同步对象,配置完成后,启动该同步对象即可

    支持新增同步对象:

    1)入口:

    48.png

    2)新增同步对象时,支持定义同步类型、映射关系、写入方式等所有同步对象的配置

    49.png

    • 选择「仅增量时,可指定同步起点(仅限当前支持指定起点同步的数据源)

    • 选择「全量+增量时,表的增量起点为该同步对象启动时的时刻

    映射关系和写入方式表级待启动、已暂停、异常中止状态下,可修改

    支持删除同步对象

    50.png

    持编辑同步对象

    修改同步对象时,支持修改同步类型、映射关系、写入方式等所有同步对象的配置

    可修改映射关系和写入方式

    50.png

    增(批量添加表)、删除、编辑同步对象均支持批量操作;还支持为所有表统一设置同步方式

    51.png

    icon提示:

    修改同步对象时:

    1)若未修改同步类型/同步起点,则再次运行该同步对象时,基于同步对象的断点继续同步

    2)若修改了同步类型/同步起点,则再次运行该同步对象时,抛弃该同步对象的断点,读写统计、脏数据,基于新的同步类型/同步起点重新同步,相当于对该同步对象做了重置

    4.2 重置任务

    应用场景:

    数据表发生变化或遇到异常(日志过期、断点失效)时,想要让管道恢复正常。

    功能简介:

    4.2.11.3 及之后版本,实时管道任务运行过,且任务状态为暂停中/已暂停/异常中止时,提供「重置任务」按钮。

    42.png

    该按钮作用如下:

    具体说明

    除实时管道任务整体的数据读写记录(最新读取消息、最新写入消息)

    43.png

    清除实时管道任务内所有同步对象的运行信息
    • 各同步对象的同步状态

    • 各同步对象的断点记录(最新读取消息时间、最新读取消息时间)

    • 各同步对象的脏数据存储

    • 任务重置后进入待启动状态,此状态下支持对任务做启动、编辑、删除操作

    • 重置操作不会修改任务内配置

    • 保留历史的读写统计信息;保留任务的日志信息

    44.png

    5. 暂停/启动/重新同步表

    5.1 暂停表同步

    表状态为「启动中、待存量同步、存量同步中、待增量同步、增量同步中、脏数据处理中、重试中」,支持暂停表。

    1)支持暂停所有表,或者暂停单张表的同步。如下图所示:

    39.png

    2)支持对自定义的多张表进行暂停操作。如下图所示:

    62.png

    5.2 启动表同步

    注:表状态为「待启动、已暂停、中止」时,支持启动表。

    1)支持启动所有表、启动单张表。如下图所示:

    40.png

    2)支持对自定义的多张表进行启动操作。如下图所示:

    62.png

    5.3 重新同步表

    表状态为已暂停、中止时,支持重新同步表。

    重新同步单张表:

    支持对表进行重新同步。如下图所示:

    • 支持对单表进行重新全量同步,会将目标端表清空并重新执行全量同步、在全量同步结束后转入增量同步。

    • 在任务被开启重新全量同步后,日志统计信息会重置(输入行、输出行)。

    注:若开启逻辑删除标识时,重新同步对目标表清表重写,重写采用insert逻辑,出现提示“任务运行期间产生的逻辑删除数据将会被清空,请确认”。

    45.png

    批量重新同步:

    支持选择多张表,进行重新同步操作。如下图所示:

    61.png





    附件列表


    主题: 运维中心
    • 有帮助
    • 没帮助
    • 只是浏览
    中文(简体)

    鼠标选中内容,快速反馈问题

    鼠标选中存在疑惑的内容,即可快速反馈问题,我们将会跟进处理。

    不再提示

    10s后关闭



    AI

    联系我们
    在线支持
    获取专业技术支持,快速帮助您解决问题
    工作日9:00-12:00,13:30-17:30在线
    页面反馈
    针对当前网页的建议、问题反馈
    售前咨询
    采购需求/获取报价/预约演示
    或拨打: 400-811-8890 转1
    qr
    热线电话
    咨询/故障救援热线:400-811-8890转2
    总裁办24H投诉:17312781526
    提交页面反馈
    仅适用于当前网页的意见收集,帆软产品问题请在 问答板块提问前往服务平台 获取技术支持