FineDataLink模块介绍

FineDataLink 主要包含数据开发、数据管道、数据服务、数据管理、管理系统这几个主要模块。如下图所示：

FineDataLink 各模块支持的数据源请参见：FineDataLink支持的数据源

模块		说明
数据开发	定时任务	支持对单表进行复杂数据处理，定时同步到目标端 来源端表结构变化后，能够提示来源端数据表的 DDL 变化，并且将变化通知给指定用户，用户需手动进行任务调整 数据的增删改变化不能自动同步到目标端 任务中断后，下次启动不支持断点续传
	实时任务	支持对单表进行简单处理，实时同步到目标端 来源端表结构变化后，实时任务报错 数据的增删改变化，实时同步到目标端 任务中断后，若全量同步未完成，会从头全量同步；若全量同步已完成，会从断点开始
数据管道	实时管道任务	支持单表、多表、整库、多对一的实时同步，原表原样同步 来源端表结构变化后，目标端可以自动同步这些来源端的调整，不需要人为的进行数据表的调整 数据的增删改变化，自动实时同步到目标端 任务中断后，若全量同步未完成，会从头全量同步；若全量同步已完成，会从断点开始
	定时管道任务	应用系统云端数据源的单表、多表定时同步；支持解析主子表 来源端表结构变化后，任务会报错 数据的增删改变化不能自动同步到目标端 任务中断后，下次启动从断点所在批次续传
数据服务	数据查询API	将数据库数据，发布为一个接口，调用该接口后，可查询数据库数据 效果示例
	数据接收API	发布一个接口，接收上游下发和简道云推送的数据，解析后写入数据库 效果示例
数据管理	库表管理	对于支持 SQL 语句的数据库，支持用户写 SQL 进行查询、修改表 可查看表数据、表结构、修改表名称/描述、清空表、删除表、复制表等
	血缘分析	选择数据连接的某张表后，可查看数据表、API（数据服务）、定时任务节点、管道任务的血缘关系
	数据检测任务	在检测任务中，支持自定义配置检测规则，对数据质量进行定期检测 定时任务中，支持调用数据检测任务
	清洗规则	支持创建、管理全局清洗规则，包含替换、加解密、公式规则 设置的清洗规则可以在「数据开发」的「值替换」算子中引用
运维中心	运维中心	为不同类型的任务提供独立的运维界面，用户可以根据任务类型在相应的界面进行管理和维护
管理系统	权限管理	给部门、角色、人员分配功能模块、数据连接的使用、管理、授权权限
	用户管理	管理 FineDataLink 工程中的用户
	注册管理	功能模块、数据源使用前，需要先注册功能点
	数据连接	在使用 FineDataLink 处理、同步数据前，您需要先定义数据连接，以便在执行数据处理操作时，通过「数据库>数据连接名称>数据表」，来确定数据的读取和写入位置

2.1 数据开发-定时任务

支持在可视化界面使用各个节点和算子进行数据的抽取、转换和装载，并可以通过定时调度功能自动运行定时任务，帮助您轻松构建离线数仓，保证数据生产的高效稳定。

详情请参见：定时任务概述、定时任务能力说明

2.2 数据开发-实时任务

注：配置实时任务前，需要准备数据库环境、安装 Kafka、配置传输队列。

能够实时地把数据从 A 点投递到 B 点。在投递的过程中可能添加数据清洗的工作，例如实时数仓中的数据解析等。最终结果可供后续业务使用，以提高数据利用率和时效性，满足业务需求。

详情请参见：实时任务概述

实时同步效果如下图所示：

2.3 实时管道任务

注：配置实时管道任务前，需要准备数据库环境、安装 Kafka、配置传输队列。

1）可实时将大规模数据自动同步到目标表中。

2）效果如下图所示：

2.4 定时管道任务

当前开发者在对接标准平台时，面临云上应用数据源对接不准确、效率低、运维成本高的问题。希望提供一种快速、精准、低运维的对接方案，简化开发流程，提升对接效率。

定时管道任务支持读取应用系统（云端）数据源，将数据定时同步到目标表中。

2.5 数据服务

 数据服务功能支持发布两种类型的接口：数据查询API、数据接收API。

详情请参见：数据服务功能概述

2.6 运维中心

FineDataLink 为不同类型的任务提供独立的运维界面，用户可以根据任务类型在相应的界面进行管理和维护，同时，对于相同类型的任务，我们提供多维度的运维监控，确保您能够全面掌握任务的运行状态和性能指标。

详情请参见：运维中心概述

2.7 数据管理

详情请参见：数据管理概述

2.8 管理系统

详情请参见：管理系统简介

为了给您提供更便捷高效的帮助文档，我们诚邀您参与此次问卷调研，参与到帮助中心的建设中来。

您的建议和意见将成为我们努力和改进的方向。我们将为您在问卷中提供的信息保密。

问卷链接：FineDataLink文档内容调研