反馈已提交

网络繁忙

数据开发概述

  • 文档创建者:Wendy123456
  • 历史版本:71
  • 最近更新:Roxy 于 2024-06-14
  • 1. 概述

    1.1 版本

    FineDataLink 版本功能变动
    1.9-
    4.0.14鼠标悬浮至节点列表,会出现节点的用法解释,用户可快速查看当前节点用法
    4.0.28新增「Python脚本」节点,支持直接调用 Python 脚本
    4.0.29新增「Bat 脚本」节点,支持调用远程 Windows 环境中的 Bat 脚本文件
    4.1.5.5新增「文件传输」节点,在API接口/本地/SFTP/FTP之间进行文件下载/上传,实现文件移动
    4.1.6.3定时任务禁止被多人同时编辑
    4.1.9.1
    数据同步-DB输入SQL输入框」、「数据同步-API-body」、「SQL脚本」、「参数赋值-DB输入SQL输入框」、「DB输入算子-SQL输入框」、「API输入算子-body」、「Spark SQL算子」、「Python算子」中支持自动联想参数

    1.2 功能简介

    「数据开发」模块支持在可视化界面使用各个节点和算子进行数据的抽取、转换和装载,并可以通过定时调度功能自动运行定时任务,帮助您轻松构建离线数仓,保证数据生产的高效稳定。

    注:数据开发部分相关概念说明详情参见:数据开发概念

    2. 功能概述

    类型
    描述
    数据源

    FineDataLink 数据开发模块支持多种数据源,可以将多种来源数据进行数据处理和集成

    详情请参见:定时任务支持的数据源

    任务管理

    数据开发中通过「定时任务」存放设计好的业务流程。

    通过「文件夹」对定时任务进行管理。

    任务开发
    • 能力丰富

    提供通用的同步节点,支持跨库数据同步和对数据进行清洗计算。

    提供多种脚本类节点,例如调用Python 脚本、Shell 脚本等等。

    提供处理复杂逻辑的流程类节点,可结合通用节点进行复杂逻辑处理。例如条件分支、循环执行、输出结果传递等复杂流程控制。

    • 操作简单

    可通过拖拽组件方式快速实现任务的混合编排。

    提供智能化的SQL编辑器。

    FineDataLink 支持的节点类型,详情请参见本文第三章

    任务调度
    • 任务控制:

    支持设置任务超时限制;是否失败重跑;

    支持设置调度任务优先级;支持设置任务脏数据容忍情况;支持任务结果通知;支持设置任务日志等级

    • 调度计划

    支持设置调度任务的开始日期、执行频率。

    支持设置任务的调度依赖,例如设置任务 A、任务 B 执行成功后再执行任务 C 。

    更多调度相关说明,详情请参见调度计划任务控制概述

    任务运维

    支持灵活调度、运行状态实时监控,便捷的操作将会释放运维人员巨大的工作量。

    详细介绍请参见:定时任务运维

    其他

    3. 节点介绍

    FineDataLink 数据开发模块提供多种类型的节点,多种节点配合使用,满足您不同的数据处理需求。

    节点是组成定时任务的基本单位,多个节点通过线条连接后可确定执行流程,进而组成一个完整的定时任务。FineDataLink 目前有如下节点:

    分类说明节点名称应用场景
    通用
    用于数据同步数据同步将数据从一个数据库抽取到另一个数据库
    用于复杂数据清洗计算数据转换可执行数据关联、同步删除数据等操作
    多种类型的下载/上传文件文件传输功能说明

    在API接口/本地/SFTP/FTP之间进行文件下载/上传,实现文件移动

    注:仅对文件流本身做同步,而非取文件内容数据。


    数据同步与数据转换的区别请参见数据同步与数据转换的区别
    脚本通过控制脚本语法实现数据处理SQL脚本写 SQL 语句对数据库中的数据进行处理
    Shell脚本通过执行 shell 脚本,对接外部的独立数据处理过程,例如调用Kettle任务、调用Python计算任务等
    Python脚本支持直接调用 Python 脚本
    Bat 脚本支持调用远程 Windows 环境中的 Bat 脚本文件
    流程进行复杂逻辑处理的流程节点参数赋值用参数承载上游节点运行的结果,然后在下游节点中使用该结果
    条件分支基于一个来自于上游或者系统的条件,判断是否继续运行下游节点或者运行下游节点里面的哪一个
    虚拟节点希望多个节点可以并行运行后再转到下游节点,可借助该节点实现
    调用任务可以在当前任务中调用其他任务,这样可以直接设置任务间执行的依赖关系,实现跨任务编排
    消息通知可将任务调度结果以企业微信群机器人/邮件/钉钉/短信的形式通知给指定用户
    循环容器
    可满足循环取数的场景
    其他任务备注说明ETL任务和节点添加备注需要为节点或任务添加备注,例如在任务中备注该任务的具体使用场景。

    鼠标悬浮至节点列表,会出现节点的用法解释,用户可快速查看当前节点任务用法。如下图所示:

    4.png

    4. 操作流程

    顺序说明文档
    1配置定时任务设计时,数据读取和数据写入的数据源[通用]配置数据连接
    2创建定时任务,并进行定时任务的开发参考各节点功能文档
    3

    通过手动执行任务,根据任务运行日志进行任务调试

    运行日志介绍

    4发布任务开发模式与生产模式
    5设置定时任务调度执行情况

    调度计划

    定时任务任务控制 

    6对已经设置的定时任务进行任务管理和资源控制

    定时任务运

    负载分配

    5. 注意事项

    5.1 SQL 语句注释说明

    4.0.17 版本之前,FineDataLink 忽略对 SQL 语句注释的处理;4.0.17 及之后版本,SQL 语句的注释交给数据库执行。

    用户需注意 SQL 语句注释的书写规范:单行注释之后要有一个空格;Hive 数据源不支持多行注释。

    附件列表


    主题: 数据开发
    • 有帮助
    • 没帮助
    • 只是浏览
    • 评价文档,奖励 1 ~ 100 随机 F 豆!

    鼠标选中内容,快速反馈问题

    鼠标选中存在疑惑的内容,即可快速反馈问题,我们将会跟进处理。

    不再提示

    10s后关闭

    联系我们
    在线支持
    获取专业技术支持,快速帮助您解决问题
    工作日9:00-12:00,13:30-17:30在线
    页面反馈
    针对当前网页的建议、问题反馈
    售前咨询
    采购需求/获取报价/预约演示
    或拨打: 400-811-8890 转1
    qr
    热线电话
    咨询/故障救援热线:400-811-8890转2
    总裁办24H投诉:17312781526
    提交页面反馈
    仅适用于当前网页的意见收集,帆软产品问题请在 问答板块提问前往服务平台 获取技术支持