1. 概述
1.1 版本
FineDataLink版本 | 功能变动 |
---|---|
4.1.11.1 | - |
4.2.0.1 | 来源端为「SQL」配置项时,支持 Hive 数据源 |
1.2 应用场景
用户希望根据数据表查找对应相关任务以及它的上下游表,例如当前接手开发的 IT 人员需要明确知道数据库表之间的上下游关系,希望能直观看到表关系。
1.3 功能说明
用户可以在定时任务&管道任务&数据服务任务中查看数据表、API(数据服务)、定时任务节点、管道任务的血缘关系。
1.4 使用前提
需要注册「数据血缘」功能点。
1.5 升级兼容
如果升级后没有显示血缘可能有如下原因:
升级时任务中使用的数据连接连接失败;
数据库驱动版本过低。
2. 血缘分析支持范围
选择配置项 | 支持数据源 | 支持功能范围 |
---|---|---|
来源端为「选表」配置项 | 支持所有数据源 |
|
目标端为「目标表」配置项 | 支持所有数据源 |
|
来源端为「SQL」配置项 | 仅支持 Mysql、Oracle、SQL server、Postgre、Hive 数据源 |
|
注:INSERT INTO ... SELECT 语句是 MySQL 中的一个组合语句,它允许从一个表中选择数据,并将这些数据插入到另一个表中。在数据开发-SQL脚本中 insert into xxx select 语法暂不支持解析来源目标端,现在仅解析为引用关系。
3. 定时任务血缘
例如使用数据同步,SQL语句关联两张数据表,并将任务发布至「生产模式」,如下图所示:
然后在「数据管理」下找到定时任务中的一个数据表 DEMO_PRODUCT,点击「血缘分析」,然后勾选「旁系血缘」,即可看到定时任务使用的数据表 SQL 语句血缘关系,如下图所示:
注:展示整个链路上所有相关的对象。
同时可以查看数据表的详细信息,如下图所示:
点击数据同步或者其他任务节点,即可查看任务运行记录以及一键到达任务节点,如下图所示:
4. 管道任务血缘
使用 DEMO_PRODUCT 创建一个管道任务,如下图所示:
进入数据管理后,找到管道任务中的一个数据表 DEMO_PRODUCT,点击「血缘分析」,即可看到管道任务数据表的血缘,如下图所示:
同时可以查看数据表的详细信息,如下图所示:
点击管道任务,即可查看任务情况以及一键到达任务界面,如下图所示:
5. 数据服务血缘
使用 NES_SELLS 创建一个数据服务任务并上线,如下图所示:
进入数据管理后,找到数据服务任务中的一个数据表 NES_SELLS,点击「血缘分析」,即可看到数据服务任务数据表的血缘,如下图所示:
点击API任务,即可查看任务运行记录以及一键到达任务界面,如下图所示:
6. 注意事项
6.1 功能使用相关注意事项
DB输出(事务)中的前置 SQL 和后置 SQL 暂不解析,包含事务回滚产生的临时表不解析在血缘中。
表名都为原始名显示,非 SQL 语句中 as 后的转义名。
若表分区,则展示主表,不展示分区表信息。
视图&存储过程:
视图:「选表」「SQL语句」支持解析该血缘关系。
存储过程不提供解析表关系。
6.2 血缘检测失效
问题描述:
定时任务中,数据同步到 MySQL 的表 a 中(任务运行过),「数据中心」中选中表 a ,点击「血缘分析」,内容为空白。
原因分析:
升级时业务数据库出了问题,重新发布该定时任务即可。