历史版本12 :血缘分析 返回文档
编辑时间: 内容长度:图片数:目录数: 修改原因:

目录:

1. 概述编辑

1.1 版本

FineDataLink版本
功能变动
4.1.11.1-
4.1.11.4来源端为「SQL」配置项支持Greenplum数据源

1.2 应用场景

用户希望根据数据表查找对应相关任务以及它的上下游表,例如当前接手开发的 IT 人员需要明确知道数据库表之间的上下游关系,希望能直观看到表关系。

1.3 功能说明

用户可以在定时任务&管道任务&数据服务任务中查看数据表、API(数据服务)、定时任务节点、管道任务的血缘关系。

1.4 使用前提

需要注册「数据血缘」功能点。

1.5 升级兼容

如果升级后没有显示血缘可能有如下原因:

  • 升级时任务中使用的数据连接连接失败;

  • 数据库驱动版本过低。

2. 血缘分析支持范围编辑

选择配置项支持数据源支持功能范围

来源端为「选表」配置项

支持所有数据源

  • 定时任务「SQL脚本」、「数据同步」>「DB表输入」、「参数赋值」中的选表取数。

  • 数据管道数据来源选表

  • 数据服务 API 任务的选表取数

目标端为「目标表」配置项支持所有数据源
  • 定时任务「数据转换>DB表输出」、「数据同步」>「DB表输出」

  • 数据管道数据选择去向选表

来源端为「SQL」配置项仅支持 Mysql、Oracle、SQL server、Postgre、Greenplum 数据源
  • 定时任务的「SQL脚本」、「数据同步」>「DB表输入」、「参数赋值」SQL取数

  • 数据服务 API 任务的 SQL 取数

3. 定时任务血缘编辑

例如使用数据同步,SQL语句关联两张数据表,并将任务发布至「生产模式」,如下图所示:

然后在「数据管理」下找到定时任务中的一个数据表 DEMO_PRODUCT,点击「血缘分析」,然后勾选「旁系血缘」,即可看到定时任务使用的数据表 SQL 语句血缘关系,如下图所示:

注:展示整个链路上所有相关的对象。

同时可以查看数据表的详细信息,如下图所示:

点击数据同步或者其他任务节点,即可查看任务运行记录以及一键到达任务节点,如下图所示:

4. 管道任务血缘编辑

使用 DEMO_PRODUCT 创建一个管道任务,如下图所示:

进入数据管理后,找到管道任务中的一个数据表 DEMO_PRODUCT,点击「血缘分析」,即可看到管道任务数据表的血缘,如下图所示:

同时可以查看数据表的详细信息,如下图所示:

点击管道任务,即可查看任务情况以及一键到达任务界面,如下图所示:

5. 数据服务血缘编辑

使用 NES_SELLS 创建一个数据服务任务并上线,如下图所示:

进入数据管理后,找到数据服务任务中的一个数据表 NES_SELLS,点击「血缘分析」,即可看到数据服务任务数据表的血缘,如下图所示:

点击API任务,即可查看任务运行记录以及一键到达任务界面,如下图所示:

6. 注意事项编辑

6.1 功能使用相关注意事项

  • DB输出(事务)中的前置 SQL 和后置 SQL 暂不解析,包含事务回滚产生的临时表不解析在血缘中。

  • 表名都为原始名显示,非 SQL 语句中 as 后的转义名。

  • 若表分区,则展示主表,不展示分区表信息。

  • 视图&存储过程:

视图:「选表」「SQL语句」支持解析该血缘关系。

存储过程不提供解析表关系。

6.2 血缘检测失效

问题描述:

定时任务中,数据同步到 MySQL 的表 a 中(任务运行过),数据中心中选中表 a ,点击血缘分析,内容为空白。

原因分析:

升级时业务数据库出了问题,重新发布该定时任务即可。