1. 概述
FineDataLink 是一款低代码/高时效的企业级一站式数据集成平台,面向用户大数据场景下,实时和离线数据采集、集成、管理的诉求,提供快速连接、高时效融合各种数据、灵活进行ETL数据开发的能力,帮助企业打破数据孤岛,大幅激活企业业务潜能,使数据成为生产力。
2. 产品定位
FineDataLink 致力于为企业、为数据开发者、为数据分析师、为数据资产管理者,结合数据库、上层通用协议、文件、消息队列、平台系统、应用等,打造一个具备开放的、一站式、标准化、可视化、高性能和可持续交付的自助化数据调度与治理平台。
FineDataLink 赋予用户仅通过单一平台,即可实现实时数据传输、数据调度、数据治理等各类复杂组合场景的能力,为企业业务的数字化转型提供支持。
以数据为基础,以全链路加工为核心,提供数据汇聚、研发、治理等多种功能,满足平台用户的数据需求。
核心能力
FineDataLink有以下特点:
多源数据采集,支持关系型、非关系型、接口、文件等多种数据源
零侵入式实时同步,实现多表/整库数据同步,提升业务数据时效性
低成本构建数据服务,依托于 API 构建企业级数据资产,互通共享
高效智能运维,任务支持灵活调度、运行状态实时监控,便捷的操作将会释放运维人员巨大的工作量
平台拓展能力,内置 SparkSQL ,支持调用 SHELL 脚本等
高效数据开发,ELT、ETL双核引擎,针对不同业务场景提供定制化解决方案
五大数据同步方式,时间戳、触发器、全表同比、全表比对增量装载、日志解析等,实现各种情况下的数据同步需求。
产品安全特性,支持数据加密解密、SQL 防注入等等
低代码、流程化操作,快速上手,更高的易用性、更低的学习成本带来更高的开发效率
产品受众
目标客户
目标客户关键特征:数据展示和分析前,需要进一步处理数据。
数据建设不完善:未搭建专业规范的数据仓库,数据未达到可直接使用的状态
业务需求个性化:数仓建设主要满足通用的数据使用场景,个性化的业务场景未能满足
敏捷开发的需求:希望在做报表展示、数据分析之前或做的过程中,能够快速调整用到的数据
目标用户
职位定位:需要做数据处理的报表开发工程师,数据处理人员、数仓开发工程师、IT人员
核心事务:为数据使用准备数据,处理数据。
3. 产品架构和配置要求
3.1 功能结构
数据处理人员将多种异构数据源,一键接入数据平台,使用灵活的ETL数据开发和任务引擎,为上层应用预先处理数据,帮助企业处理出质量更高、更利于展示与分析的数据。
3.2 配置要求
对于软硬件环境的配置要求详情参见:FineDataLink部署环境准备
3.3 支持的国产化环境
详情参见:FineDataLink支持的国产化环境
4. 功能概述
4.1 数据开发
步骤流和数据流,数据开发流程更清晰
双核引擎,灵活满足不同场景
实现跨数据源批量同步数据
提供多种数据转换算子,灵活处理数据
支持JSON解析,一键解析半结构化数据
支持Spark SQL,覆盖更多数据转换场景
循环容器,支持对数据进行循环遍历
对接企微,实现“数据找人”
支持调用Shell脚本, 对接外部的独立数据处理过程
数据开发模块可支持的数据源类型包括:
关系型数据库;
非关系型数据库;
接口类型数据:支持RestAPI、简道云等多种形式的API数据接口
文本数据:Excel文件,Txt文件;
支持数据源详情参见:数据开发支持的数据源
4.2 实时数据管道
高性能数据实时同步引擎 可用于搭建实时数仓ods层,提升数仓时效性;可用于数据库实时备份,提升企业数据抗灾能力
高可靠性和容错性,错误队列+断点续传,可随时恢复数据,不需要重头同步数据
自动同步源表结构变化
向导模式,5分钟完成配置
数据管道模块可支持的数据源包括:数据管道支持的数据源
4.3 数据服务
一键发布 API 接口,解决数据传输最后一公里问题。基于 API 数据接入以及数据服务能力,安全、便捷、零代码开发实现数据跨域传输。
数据服务模块可支持的数据源包括:数据服务支持的数据源
4.4 敏捷任务运维
任务状态实时监控,详尽的任务运行记录,任务调优更有依据
灵活的调度策略
企业级权限管理
5. 价值场景
可视化多源异构数据整合,高效搭建数仓
通过DAG+低代码开发模式搭建企业级数仓,快速消灭信息孤岛,历史数据全部入仓,支持更多分析场景;同时将计算压力转移到数据仓库,降低对业务系统的压力。
跨域/跨业务自动实时同步数据,高效准确
通过 FDL 数据管道功能,日志监控的增量技术,提高数据增量更新效率,解决数据量大以及网络带宽限制带来 的数据延迟,解放重复劳动人力,为企业决策提供更准确的数据依据。
依托于API构建企业级数据资产,互通共享
基于FDL的API数据接入以及数据服务的能力,构建了 “联接共享”的数据基座,保证安全、稳定传输的前提 下,实现数出一孔,互通共享。
SaaS连接器,实现业务流程自动化
本地数据和简道云信息双向实时互通,业务流程自动运转,不需要人工介入。云上、云下业务可以进行全局关联分析,提供更全面的决策依据。
云上数据快速下云备份,提升数据管理规范性
大幅降低数据从简道云上备份至本地数据库的开发和人 工成本,并且支持简道云前端事件通过API接口查询历 史数据,实现存储分离的云到端数据管理合规诉求。
安全/稳定的跨域传输,节省专线成本
通过FDL的数据服务,让企业基于外网带宽也可以安全、 稳定地进行跨域数据传输,不仅为企业节省了专线的成 本,也便于企业自主监控并管理异常。
6. 工具获取
若需要使用FineDataLink,点击链接即可申请试用工具:FineDataLink试用申请;填写申请后,工作人员在三个工作日内会联系您。
7. 其他学习资料
资料类型 | 内容 | 对应链接 |
---|---|---|
视频课程 | FineDataLink功能场景介绍、基础操作教学 | FineDataLink-基础教学课程 |
FineDataLink_demo 系统 | 最新版本的 demo 演示系统,其中包括功能示例、场景示例以及客户案例 | FDL_demo系统 |