产品新功能
数据开发
循环容器循环次数无限制插件
应用场景:
用户希望定时任务中「循环容器」的循环次数可以更多甚至无限制(当前默认 10000 次)。
希望参数输出个数没有限制,便于用户进行一次性取数。
功能简介:
安装插件后:
「循环容器」节点的循环次数上限取消 10000 的限制,循环次数无上限。
使用「参数赋值」、「数据转换-参数输出」、「全局动态参数」输出参数时,将没有参数个数限制,可输出无限个参数。
Ø 详情参见:循环容器循环次数无限制插件
ETL结果表可拉起子表更新
FDL 输出到 BI 「公共数据」指定目录下的 ETL 结果表,支持拉起子表的更新。
Ø 详情请参见:数据集输出
数据管道
管道来源端适配MySQL5.5
数据管道来源端支持 MySQL 5.5 版本。
Ø 详情请参见:支持的数据源范围
StarRocks、Doris 作为目标端的功能优化
1)StarRocks、Doris 作为目标端时,支持 DDL。
2)StarRocks、Doris 作为目标端&目标表的类型为自动建表时,自动将来源端主键标记为自动建表的主键。
3)写入 2.0 及以上版本的 DorisOR写入 3.0 及以上版本的 StarRocks,若来源端数据存在分隔符,可正常写入。
写入 2.0 版本以下的 DorisOR写入 3.0 版本以下的 StarRocks,若来源端数据存在分隔符,写入将报错。用户可以先检查源端是否同步了二进制字段,将二进制字段取消同步,再使用公式将分隔符进行替换(例如替换为空格)。
Ø 详情请参见:Doris数据源使用说明、StarRocks数据源使用说明
文档上新
客户案例
FDL调用FR/BI的定时调度任务
应用场景:
某公司的 FineReport/FineBI 工程每月都会通过 定时调度任务 给销售发送月报数据。月报发送前,需要使用 FDL 处理月报数据。
若分别设置 FDL 的定时任务和 FineReport/FineBI 工程的定时调度任务的执行频率,需要保证 FDL 的定时任务优先执行,用户觉得较为麻烦,希望使用 FDL 去管理 FineReport/FineBI 定时调度任务的运行。
参考文档:
Ø 详情请参见:FDL调用FR/BI的定时调度任务
增删改数据同步(高效率)
应用场景:
用户在定时任务进行数据同步时,如果源数据库同时有增删改变化,可以使用数据比对,但是如果数据量很大,想要提高同步效率,就可以使用本文的方案进行数据同步。
时间戳和业务时间说明:
时间戳:一般是记录数据的增删改时间。
业务时间:一般是记录业务发生的时间(如果数据修改,业务的发生时间还是不变的)。
例如下图的数据表,order_business_date 为业务时间,也就是订单交易时间;order_timestamp 为时间戳,即记录数据增删改的时间。
参考文档:
导出管道任务中来源表及对应的目标表信息
应用场景:
用户的管道任务实现上百张表的实时同步,且存在部分来源表和目标表的表名不同、多张来源表同步到一张目标表等情况,导致用户在管理来源表和目标表的对应关系时(例如重构任务)较为困难。
参考文档:
Ø 详情请参见:导出管道任务中来源表及对应的目标表信息
读取单Excel多sheet文件数据
应用场景:
财务报表、销售数据表、学生成绩表等 Excel 表格中,往往包含多个 Sheet,用户希望使用 FDL 读取单 Excel 多 Sheet 文件数据。
参考文档:
Ø 详情请参见:读取单Excel多Sheet文件数据
功能使用指导文档
API取数使用说明
FDL 提供两个功能进行接口取数,区别如下:
功能 | 说明 |
---|---|
数据同步-API功能 | 若接口返回值为较简单的 JSON 格式,不需要复杂的解析处理,可参考本文进行接口取数 |
API输入 算子 | 若用户希望取出 API 数据后做进一步的数据处理,此时,「数据同步-API」功能不能满足需求。需要使用 API输入 算子接口取数后,再继续使用其他算子对接口数据进行处理 |
本文介绍这两个功能在实际场景中如何使用。
Ø 详情请参见:API取数使用说明
补数据示例
应用场景:
用户设计的定时任务取数逻辑为:每天抽取当天调度时间往前推 24h 内的数据,汇集到目标数据库。
节假日期间 3 天,系统宕机,定时任务没有运行,导致目标数据库缺少 3 天的数据。
参考文档:
Ø 详情请参见:补数据示例
数据开发能力说明
本文为您讲述数据开发模块可以做什么。
Ø 详情请参见:数据开发能力说明
文档共创活动
参与活动,可赢得 F 币!!
文档问题反馈
无门槛,奖励F币:2-150F币
鼓励大家直接编辑文档,只反馈问题,奖励较少,发现问题编辑后,奖励较多
只要您觉得某篇文档有问题(BUG、描述不清晰、图片老旧、写的不够好应该XXXX等),都可反馈给我们(不限制问题类型),审核通过后发放F币
查看详情:FineDataLink文档问题反馈-最高150F币
注:若发现文档问题,用户可自行编辑文档,有同学专门审核并发放F币。
文档搜索反馈
无门槛,奖励F币:2-10F币
搜不到?有想要的内容不知道搜什么?感觉文档搜索太垃圾,有建议等,反馈给我们
查看详情:FineDataLink文档搜索反馈-最高10F币
文档内容调研
有门槛:近一年内阅读FDL文档篇数超过 40 篇,奖励F币:4F币