历史版本27 :FineDataLink产品简介 返回文档
编辑时间: 内容长度:图片数:目录数: 修改原因:
[helpvideo]3253[/helpvideo]

目录:

1. 概述编辑

FineDataLink 是一款低代码/高时效的企业级一站式数据集成平台,面向用户大数据场景下,实时和离线数据采集、集成、管理的诉求,提供快速连接、高时效融合各种数据、灵活进行ETL数据开发的能力,帮助企业打破数据孤岛,大幅激活企业业务潜能,使数据成为生产力。

2. 核心能力及价值场景编辑

FineDataLink 致力于为企业、为数据开发者、为数据分析师、为数据资产管理者,结合数据库、上层通用协议、文件、消息队列、平台系统、应用等,打造一个具备开放的、一站式、标准化、可视化、高性能和可持续交付的自助化数据调度与治理平台。

FineDataLink 赋予用户仅通过单一平台,即可实现实时数据传输、数据调度、数据治理等各类复杂组合场景的能力,为企业业务的数字化转型提供支持。

以数据为基础,以全链路加工为核心,提供数据汇聚、研发、治理等多种功能,满足平台用户的数据需求。

2.1 核心能力

FineDataLink有以下特点:

  • 多源数据采集,支持关系型、非关系型、接口、文件等多种数据源

  • 零侵入式实时同步,实现多表/整库数据同步,提升业务数据时效性

  • 低成本构建数据服务,依托于 API 构建企业级数据资产,互通共享

  • 高效智能运维,任务支持灵活调度、运行状态实时监控,便捷的操作将会释放运维人员巨大的工作量

  • 平台拓展能力,内置 SparkSQL ,支持调用 SHELL 脚本等

  • 高效数据开发,ELT、ETL双核引擎,针对不同业务场景提供定制化解决方案

  • 五大数据同步方式,时间戳、触发器、全表同比、全表比对增量装载、日志解析等,实现各种情况下的数据同步需求。

  • 产品安全特性,支持数据加密解密、SQL 防注入等等

  • 低代码、流程化操作,快速上手,更高的易用性、更低的学习成本带来更高的开发效率

2.2 价值场景

可视化多源异构数据整合,高效搭建数仓

通过DAG+低代码开发模式搭建企业级数仓,快速消灭 信息孤岛,历史数据全部入仓,支持更多分析场景;同 时将计算压力转移到数据仓库,降低对业务系统的压力

跨域/跨业务自动实时同步数据,高效准确

通过FDL数据管道功能,日志监控的增量技术,提高数 据增量更新效率,解决数据量大以及网络带宽限制带来 的数据延迟,解放重复劳动人力,为企业决策提供更准 确的数据依据

依托于API构建企业级数据资产,互通共享

基于FDL的API数据接入以及数据服务的能力,构建了 “联接共享”的数据基座,保证安全、稳定传输的前提 下,实现数出一孔,互通共享

SaaS连接器,实现业务流程自动化

本地数据和简道云信息双向实时互通,业务流程自 动运转,不需要人工介入 云上、云下业务可以进行全局关联分析,提供更全 面的决策依据

云上数据快速下云备份,提升数据管理规范性

大幅降低数据从简道云上备份至本地数据库的开发和人 工成本,并且支持简道云前端事件通过API接口查询历 史数据,实现存储分离的云到端数据管理合规诉求

安全/稳定的跨域传输,节省专线成本

通过FDL的数据服务,让企业基于外网带宽也可以安全、 稳定的进行跨域数据传输,不仅为企业节省了专线的成 本,也便于企业自主监控并管理异常

2.3 产品受众

目标客户

目标客户关键特征:数据展示和分析前,需要进一步处理数据。

  • 数据建设不完善:未搭建专业规范的数据仓库,数据未达到可直接使用的状态

  • 业务需求个性化:数仓建设主要满足通用的数据使用场景,个性化的业务场景未能满足

  • 敏捷开发的需求:希望在做报表展示、数据分析之前或做的过程中,能够快速调整用到的数据

目标用户

  • 职位定位:需要做数据处理的报表开发工程师,数据处理人员、数仓开发工程师、IT人员

  • 核心事务:为数据使用准备数据,处理数据。

3. 产品架构和配置要求编辑

3.1 功能结构

数据处理人员将多种异构数据源,一键接入数据平台,使用灵活的ETL数据开发和任务引擎,为上层应用预先处理数据,帮助企业处理出质量更高、更利于展示与分析的数据。

61.png

3.2 技术架构

FineDataLinke是B/S架构,其核心引擎代码基于Java开发,具有良好的跨平台兼容性,支持各种操作系统,支持主流web应用服务器。技术架构图为:

1687248454550289.png

3.3 配置要求

对于软硬件环境的配置要求详情参见:FineDataLink部署环境准备

4. 功能概述编辑

4.1 强大的数据对接能力

FineDataLink 作为低代码、高时效的一站式数据集成平台,需要各种各样的数据来源当中取数。

可支持的数据源类型包括:

  • 关系型数据库;

  • 非关系型数据库;

  • 接口类型数据:支持RestAPI、简道云等多种形式的API数据接口

  • 文本数据:Excel文件,Txt文件;

支持数据源详情参见:FineDataLink支持的数据源

4.2 数据开发

  • 步骤流和数据流,数据开发流程更清晰

  • 双核引擎,灵活满足不同场景

  • 实现跨数据源批量同步数据

  • 提供多种数据转换算子,灵活处理数据

  • 支持JSON解析,一键解析半结构化数据

  • 支持Spark SQL,覆盖更多数据转换场景

  • 循环容器,支持对数据进行循环遍历

  • 对接企微,实现“数据找人”

  • 支持调用Shell脚本, 对接外部的独立数据处理过程

4.3 实时数据管道

  • 高性能数据实时同步引擎   可用于搭建实时数仓ods层,提升数仓时效性;可用于数据库实时备份,提升企业数据抗灾能力

  • 高可靠性和容错性,错误队列+断点续传,可随时恢复数据,不需要重头同步数据

  • 自动同步源表结构变化

  • 向导模式,5分钟完成配置 

4.4 数据服务

一键发布 API 接口,解决数据传输最后一公里问题。基于 API 数据接入以及数据服务能力,安全、便捷、零代码开发实现数据跨域传输。

4.5 敏捷任务运维

  • 任务状态实时监控,详尽的任务运行记录,任务调优更有依据

  • 灵活的调度策略 

  • 企业级权限管理

5. 工具获取编辑

若需要使用FineDataLink,点击链接即可申请试用工具:FineDataLink试用申请,填写申请后,工作人员在三个工作日内会联系您。

6. 其他学习资料编辑

资料类型
内容对应链接
视频课程FineDataLink功能场景介绍、基础操作教学FineDataLink-基础教学课程
FineDataLink_demo 系统最新版本的 demo 演示系统,其中包括功能示例、场景示例以及客户案例FDL_demo系统