FineDataLink产品简介

FineDataLink 是一款低代码/高时效的企业级一站式数据集成平台，面向用户大数据场景下，实时和离线数据采集、集成、管理的诉求，提供快速连接、高时效融合各种数据、灵活进行 ETL 数据开发的能力，帮助企业打破数据孤岛，大幅激活企业业务潜能，使数据成为生产力。

让数据接得上、算得快、可相信、广消费，帮助企业建设面向 AI Ready 的可信实时数据层。

产品受众

目标客户

• 数据建设不完善：未搭建专业规范的数据仓库，数据未达到可直接使用的状态。

• 业务需求个性化：数仓建设主要满足通用的数据使用场景，个性化的业务场景未能满足。

• 敏捷开发的需求：希望在做报表展示、数据分析之前或做的过程中，能够快速调整用到的数据。

• 任务维护效率低：通过数据库或者代码编写很多数据调度任务，缺少统一平台进行管理与维护。

• 数据分析展示慢：通过数据分析展示工具写了大量复杂sql，导致应用数据在分析展现时性能很差。

目标用户

• 职位定位：需要做数据处理的报表开发工程师，数据处理人员、数仓开发工程师、IT人员

• 核心事务：为数据使用准备数据，处理数据。

3.1 功能结构

数据采集：快速、安心接入各类数据源

1）接的多：FineDataLink 支持对接的数据源类型请参见：FineDataLink支持的数据源 

2）接的快：

• 实时管道-高性能数据实时同步引擎：基于CDC、LogMiner、Binlog等日志实时捕获源数据库的变化，多表批量实时更新到目的数据库，保障数据高时效性、降低数据集成工作量。解决企业在大数据场景下的实时同步需求。

• 面向抽取、计算与实时增量场景，按任务特征匹配高性能处理引擎。

FDL 各功能模块说明

详情请参见：FineDataLink模块介绍

3.2 配置要求

对于软硬件环境的配置要求详情参见：FineDataLink部署环境准备

3.3 部署说明

支持 FineOPS、K8s 与信创环境，适配不同企业的部署与运维体系。

支持的国产化环境：FineDataLink支持的国产化环境

4.1 定时任务

1）专业灵活的数据处理模式

面向 IT 或数据分析师，提供更专业的数据开发模式，通过灵活的 ETL 数据开发和任务引擎预先处理数据，从而为分析用户提供更高质量、更利于展示与分析的公共基础数据。

2）步骤流编排流程，数据流处理数据

步骤流确定数据开发各个环节的执行逻辑；数据流通过提供各类算子，完成对数据输入、输出、转换等操作。

3）提供多种数据转换算子，灵活处理数据

• 循环容器，应对更多数据的循环遍历转换场景。

• Spark SQL/Python/Shell等脚本类，支持更多灵活转换场景。

• 数据流提供多种数据转换算子，满足复杂处理场景。

• 半结构化数据处理：JSON/XML/CSV等格式一键处理，灵活转换为结构化数据/其他格式的半结构化数据，并支持文件传输。

• 对接企微，实现“数据找人”。

4）多样化调度：适配不同业务节奏与触发方式

开发过程管理：定时调度、事件调度和触发式调度，满足企业的多样化调度需求。

4.2 实时任务

实时任务实现数据端到端流转，传输途中可完成实时清洗、解析等加工处理，输出可用数据支撑业务，提升数据时效性与利用率。

1）实时业务数据计算，画布式开发，提供丰富的封装好的组件，降低实时数据开发门槛。

2）拓展的 Flink SQL 能力，提升计算性能，支持多种自定义实时数据处理场景。

4.3 数据服务

零代码发布接口，快速响应业务需要，让数据的流动更广、更安全。

• 快速发布：对比代码开发，数据服务零代码开发模式，只需要写SQL/设置数据去向即可，可以有效降低开发门槛，减少开发耗时。

• 安全共享：企业需要数据共享时，比如将订单数据给供应商，或作为供应商提供库存等信息到渠道伙伴，为了不暴露数据库信息，选择使用FDL来发布API，规避了数据泄漏的安全风险。

• 稳定调用：可对全局或者指定的应用和服务进行流控规则的设定，在异常情况下可立即进行流控熔断，同时异常情况可马上通知到管理员，进行问题排查和解决。
  

• 统一管控API认证、授权与有效期：支持在创建 API 时和创建后绑定其至对应的应用中，可在应用中为多个 API 统一设置认证方式、授权有效期。应用与 API 是多对多的对应关系，同一个 API 可以存在于多个应用中；同一个应用中也可以有多个 API，API 将得到高效调用。

4.4 定时管道

针对云星空、聚水潭、旺店通、吉客云等应用系统平台，通过云上代理转发+解析方案，以定时任务方式对接 SAAS 应用数据，简化数据获取流程，提高数据对接效率。

优势：资质免申请、先导式操作。

4.5 实时管道

基于 CDC、LogMiner、Binlog 等日志实时捕获源数据库的变化，多表批量实时更新到目的数据库，保障数据高时效性、降低数据集成工作量。解决企业在大数据场景下的实时同步需求。

4.6 数据管理

4.6.1 库表管理

提供表数据/结构预览和查询、SQL调试功能的一站式体验，方便进行表的管理和表结构缺陷的调整。

4.6.2 血缘分析

排错（溯源分析）：当遇到数据库表使用遇到问题，需要数据运维人员，回溯到任务进行修改，可以通过血缘关系进入到对应的数据开发任务。

调优：当数据开发人员完成开发后，需要对全局ETL判断是否存在数据重复处理和调度的情况，可以从此处进行数据处理链路调优。

4.6.3 数据清洗

应用场景：

1）来源表中大量的表、字段都有同样的数据问题，需要统一设置清洗规则，将值匹配后替换。

2）来源表敏感信息字段需要脱敏、加密处理，输出到下游数据表中。

简介：

4.6.4 数据质量

对企业数据进行质量标准制定、数据质量检测、核验和质量问题解决四大步骤的可持续运营动作为数据分析应用提供满足质量要求的数据。

1）制定标准：让数据质量可定义、可衡量

通过数据质量标准，确定清洗规则、检测规则和检测对象。

2）检测核验：确保质量标准落地

检测规则：对数据的唯一性、一致性、准确性、完整性、有效性、及时性检测，保证数据高质量输出。

• 质量报告简介：

统一呈现异常明细、问题清单与处理进度，让质量状态可见、可跟踪。

4.7 任务运维

1）任务风险实时可见、可控

统一监控任务运行、性能与异常状态，帮助运维人员快速识别和处理风险。

2）以全局指标支撑性能调优

汇总各模块运行指标与血缘信息，为性能调优和故障定位提供依据。

4.8 权限管理

1）企业级管控：统一管理组织、资源与权限

统一管理用户、组织、资源和操作权限，兼顾协作效率与平台安全。

2）细粒度授权：保障平台与数据使用安全

资源权限控制，增强权限管理细粒度，保障数据集成与治理平台的安全性。

多源数据统一采集，让数据从“分散”走向“汇聚”

大幅降低数据从应用系统同步至本地数据库的开发和人工成本，并且支持和本地数据进行关联，实现深度业务分析场景，用以支撑业务发展需要。

可视化数仓开发，让数据从“汇聚”走向“可用”

通过DAG+低代码开发模式构建企业级数据仓库，实现实时与批处理双管道协同，高效整合、标准化分散的数据，全量历史数据统一入仓支撑多元分析场景，支撑高效决策，降低业务系统负载压力；同时利用实时数据流处理保障系统稳定性，赋能敏捷决策。

全链路实时覆盖，将“事后分析”升级为“即时行动”

数据问题、业务风险需要实时监控和预警，企业发展需要实时数据更快速决策；物联网数据依赖实时协议，难以采集作为业务决策的数据支撑；实时技术难应用，落地技术门槛高难度大，且后期难运维。

数据质量闭环治理，让数据从“可用”走向“可信”

问题更早发现：从业务使用后才暴露，转向关键数据持续检测，让风险止于影响业务之前

问题更快解决：贯通发现、定位、处理全流程，减少人工排查，让数据问题快速闭环

问题不再反复：将一次问题沉淀为长期规则，从“解决一个”走向“预防一类”，持续提升数据可信度。

数据服务API化，让数据从“沉淀”走向“流通”

基于FDL的API数据接入和输出、数据服务接收和发布的能力，构建了“联接共享”的数据基座，保证安全、稳定传输的前提下，实现数出一孔，互通共享。

业务数据实时交换，让业务从“割裂”走向“协同”

通过业务系统实时数据交换方案让同一订单、履约或结算对象的关键数据变化及时送达后续环节，并持续返回处理结果，让业务流程不中断。

若需要试用 FineDataLink，请点击链接提交申请：安装包获取链接 。提交申请后，工作人员会在 24 小时内进行审核，请您关注预留的邮箱提醒。