反馈已提交

网络繁忙

血缘分析

  • 文档创建者:Roxy
  • 历史版本:17
  • 最近更新:Roxy 于 2024-12-17
  • 1. 概述

    1.1 版本

    FineDataLink版本
    功能变动
    4.1.11.1-
    4.2.0.1来源端为「SQL」配置项时,支持 Hive 数据源

    1.2 应用场景

    用户希望根据数据表查找对应相关任务以及它的上下游表,例如当前接手开发的 IT 人员需要明确知道数据库表之间的上下游关系,希望能直观看到表关系。

    1.3 功能说明

    用户可以在定时任务&管道任务&数据服务任务中查看数据表、API(数据服务)、定时任务节点、管道任务的血缘关系。

    1.4 使用前提

    需要注册「数据血缘」功能点。

    1.5 升级兼容

    如果升级后没有显示血缘可能有如下原因:

    • 升级时任务中使用的数据连接连接失败;

    • 数据库驱动版本过低。

    2. 血缘分析支持范围

    选择配置项支持数据源支持功能范围

    来源端为「选表」配置项

    29.png

    支持所有数据源

    • DB表输入、数据同步、参数赋值中选表取数

    • 数据管道数据来源选表

    • 数据服务 API 任务的选表取数


    目标端为「目标表」配置项支持所有数据源
    • 定时任务「数据转换>DB表输出」、「数据同步>DB表输出」

    • 数据管道数据选择去向选表

    来源端为「SQL」配置项仅支持 Mysql、Oracle、SQL server、Postgre、Hive 数据源
    • 定时任务的「SQL脚本」、「数据同步>DB表输入」、「参数赋值」SQL取数

    • 数据服务 API 任务的 SQL 取数

    • Hive 数据库暂不支持 with as 语句

    注:INSERT INTO ... SELECT 语句是 MySQL 中的一个组合语句,它允许从一个表中选择数据,并将这些数据插入到另一个表中。在数据开发-SQL脚本中 insert into xxx  select 语法暂不支持解析来源目标端,现在仅解析为引用关系。

    3. 定时任务血缘

    例如使用数据同步,SQL语句关联两张数据表,并将任务发布至「生产模式」,如下图所示:

    然后在「数据管理」下找到定时任务中的一个数据表 DEMO_PRODUCT,点击「血缘分析」,然后勾选「旁系血缘」,即可看到定时任务使用的数据表 SQL 语句血缘关系,如下图所示:

    注:展示整个链路上所有相关的对象。

    同时可以查看数据表的详细信息,如下图所示:

    点击数据同步或者其他任务节点,即可查看任务运行记录以及一键到达任务节点,如下图所示:

    4. 管道任务血缘

    使用 DEMO_PRODUCT 创建一个管道任务,如下图所示:

    进入数据管理后,找到管道任务中的一个数据表 DEMO_PRODUCT,点击「血缘分析」,即可看到管道任务数据表的血缘,如下图所示:

    同时可以查看数据表的详细信息,如下图所示:

    点击管道任务,即可查看任务情况以及一键到达任务界面,如下图所示:

    5. 数据服务血缘

    使用 NES_SELLS 创建一个数据服务任务并上线,如下图所示:

    进入数据管理后,找到数据服务任务中的一个数据表 NES_SELLS,点击「血缘分析」,即可看到数据服务任务数据表的血缘,如下图所示:

    点击API任务,即可查看任务运行记录以及一键到达任务界面,如下图所示:

    6. 注意事项

    6.1 功能使用相关注意事项

    • DB输出(事务)中的前置 SQL 和后置 SQL 暂不解析,包含事务回滚产生的临时表不解析在血缘中。

    • 表名都为原始名显示,非 SQL 语句中 as 后的转义名。

    • 若表分区,则展示主表,不展示分区表信息。

    • 视图&存储过程:

    视图:「选表」「SQL语句」支持解析该血缘关系。

    存储过程不提供解析表关系。

    6.2 血缘检测失效

    问题描述:

    定时任务中,数据同步到 MySQL 的表 a 中(任务运行过),数据中心中选中表 a ,点击血缘分析,内容为空白。

    原因分析:

    升级时业务数据库出了问题,重新发布该定时任务即可。




    附件列表


    主题: 数据中心
    已经是第一篇
    已经是最后一篇
    • 有帮助
    • 没帮助
    • 只是浏览
    • 评价文档,奖励 1 ~ 100 随机 F 豆!

    鼠标选中内容,快速反馈问题

    鼠标选中存在疑惑的内容,即可快速反馈问题,我们将会跟进处理。

    不再提示

    10s后关闭



    AI

    联系我们
    在线支持
    获取专业技术支持,快速帮助您解决问题
    工作日9:00-12:00,13:30-17:30在线
    页面反馈
    针对当前网页的建议、问题反馈
    售前咨询
    采购需求/获取报价/预约演示
    或拨打: 400-811-8890 转1
    qr
    热线电话
    咨询/故障救援热线:400-811-8890转2
    总裁办24H投诉:17312781526
    提交页面反馈
    仅适用于当前网页的意见收集,帆软产品问题请在 问答板块提问前往服务平台 获取技术支持