历史版本6 :定时任务FAQ 返回文档
编辑时间: 内容长度:图片数:目录数: 修改原因:

目录:

1. 概述编辑

本文档收集 FineDataLink 部署升级、产品模板的常见问题,并给出答案。

2. 数据开发模块功能咨询编辑

分类常见问题
解决方案
数据同步VS数据转换
「数据转换」节点能实现数据同步功能,那「数据同步」节点单独拿出来的意义是什么

37.png

详情请参见:数据同步与数据转换的区别


「数据同步」节点简单的处理也做不了吧,比如增加写入时间,或者增加一个固定值列只能通过 SQL 语句实现,但复杂的 SQL 语句会造成抽数的压力
数据开发VS数据管道

1)「数据开发」功能也能实现对原表的更新同步,与「数据管道」功能有什么区别吗

2)「数据管道」和「数据开发」有什么区别,我看都可以实现数据的同步


  • 数据管道」可实时同步,「数据开发」功能是定时同步

  • 「数据管道」支持对数据源进行单表、多表、整库数据的实时全量和增量同步,「数据开发」只能一张表一张表进行同步

  • 「数据管道」不能做复杂的数据处理,「数据开发」可对数据做复杂处理

定时同步的话能做批量同步么,目前好像只能一张一张选择呢定时任务目前不能做批量同步,批量同步可以在管道任务做

3. 数据开发编辑

3.1 支持的数据库

注:针对不同数据库的特性,屏蔽不支持的功能入口,详情请参见:不同数据源的功能支持说明

常见问题
解决方案

1)请问 FDL 支持哪些数据库

2)请问下 FDL 支持这里哪些数据库:Essbase、Mondrian、IBM Cubing Services、Jedox Palo、Kyligence、Tinysoft

3)支持高斯DB吗

4)支持 sap hana 吗

5)是否支持 BI 中公共数据集

6)是否支持mongdb

7)hive数据源可以连接吗

8)能对接星环数据库吗

9)数据源支持华为的高斯数据库吗

请参见文档:FineDataLink支持的数据源
星环写数据表的时候只支持这张表是外表类型吗,其他类型的表支持吗,星环的 hive 表有好几种是的,星环作为写入端使用时,只支持 hdfs 装载,通过先建立外表到 hdfs ,然后再装载到目标表

详情请参见:配置TRANSWARP INCEPTOR数据源

FDL 的 gp 并行装载功能怎么用的啊,单纯的表输出,速度有点慢请参见文档:配置Greenplum数据源

1)请问 FDL 支持将服务器上的 Oracle 数据同步到另一个服务器的达梦数据库吗

2)SQLServer ,MySQL,Oracle 都支持把数据同步到 ClickHouse 的嘛

支持的

若希望 A 数据库数据同步到 B 数据库,在 FineDataLink支持的数据源 文档中查看,FDL 是否支持对 A 数据库的读取和 B 数据库的写入

服务器本地目录怎么添加请参见文档:配置服务器本地目录数据连接
数据连接没有服务器本地目录服务器本地目录只有超级管理员才可以首次创建
怎么连接到 postgresql 呀

请参见文档:配置PostgreSQL数据源

服务器数据集指的是啥请参见文档:服务器数据集

数据转化数据源不能选择 impala

impala 数据连接配置成功了数据源不显示

没有进阶-大数据的功能点

3.2 简道云相关

分类常见问题
解决方案
简道云数据连接FDL怎么获取简道云的数据源可参考 简道云输入典型示例 获取简道云表单的数据
简道云 APIKEY 在哪

可参考 配置简道云数据源 文档

部署 FDL 的服务器需要能够访问外网,否则获取不到简道云数据

如何连接简道云和 FineDataLink请参见文档:配置简道云数据源
我看帮助文档数据源添加有简道云数据源,但是我的没有进入工程,点击「管理系统>注册管理>功能列表」中查看,是否注册了简道云功能点
简道云输入算子「简道云输入」算子中,筛选这里为啥只有为空和不为空「简道云输入」算子中,配置筛选条件时,不同类型的字段支持的过滤条件不同

详情请参见:简道云输入-过滤条件说明

1)简道云进来的数据怎么同步到 DB

2)FDL 产品, 能否帮我把简道云的数据, 同步到另外一个数据库中

3)如何从简道云数据取数

请参见文档:简道云输入功能说明
简道云输入字段别名如何设置请参见文档:简道云表单字段处理
简道云输出算子简道云中,有一个多行文本,我想通过 FDL 推送到 Oracle 库表 blob 类型字段中,支持吗支持的

1)FDL 能做到从数据库同步到简道云,这个功能有了么

2)FineDataLink 如何从数据库同步到简道云呢

3)数据库表中的数据同步到简道云可以做全量插入或者增量更新么

请参见文档:简道云输出算子
其他简道云数据能不能做实时同步暂时不支持。可通过设置定时任务的执行频率,例如设置一分钟执行一次定时任务,实现数据的快速更新
简道云可以调用 FDL 吗可在 简道云前端事件 中调用定时任务相关接口,请参见:简道云调用定时任务接口
如何将简道云的数据增量更新请参见文档:简道云输出示例

3.3 数据输出到 BI

常见问题
解决方案

1)数据开发调度执行完,公共数据集里面的数据会自动更新

2)FDL 任务往 BI 输出数据

3)FDL 可以同步数据到 BI 嘛

请参见文档:

集成部署下定时任务结果输出至FineBI

独立部署下定时任务结果输出至FineBI

数据输出到BI,也得先输出到 DB 表么,DB 表这步能不能略过是的

3.4 数据比对

常见问题
解决方案

1)源表有增删改操作,想把源表数据同步到目标表中,希望目标表和原表数据一样。要求是增量同步,不能清空目标表的数据再同步

2)FineReport 同步用户数据,已有的数据不同步,用户信息有更新,准备通过 FDL 做一个定时同步任务,但目标数据库没有时间戳标识,请问如何构建同步任务

3)如何只更新表中数据,不向表中添加新数据

详情请参见:数据比对功能说明


想找出俩表中不同的数据是哪些

使用数据比对功能实现,把相同的数据过滤掉(删除的数据使用逻辑删除)

注:若数据量过多,算子中预览数据时只预览部分数据,建议将筛选出的数据输出到数据库后查看

这个对比字段只能设置一个吗?我能否将除主键外的所有字段名全设置为对比字段

数据比对字段可以不设置或设置多个

  • 若某个字段被设置为比对字段:可以识别出该字段对应数据的新增、更新、删除

  • 若某个字段没有被设置为比对字段:能识别出该字段的增加和删除,但这个字段若存在更新,将不能被识别

fdl_comparison_type 是用来干嘛的标记列 fdl_comparison_type 的值,用于标记两张表中同一个字段的差异。默认值为:Identical(相同)、Changed(更新)、Added(新增)、Removed(删除),可以自定义标识关系值
fdl_comparison_type 在目标表中这一列可以删除吗可以的,可以在输出算子的「字段映射」中删除
批量添加比对字段支持的
逻辑删除和物理删除的区别

若源表有 100 条数据,删除 10 条:

逻辑删除:目标表还是 100 条数据,源表被删除的 10 条数据被标记为删除数据

物理删除:目标表与源表一致,剩 90 条数据

3.5 数据关联

常见问题
解决方案
数据开发里可以做分组汇总、左右合并和上下合并么

分组汇总和上下合并可用 Spark SQL」算子实

左右合并可用数据关联算子实

数据关联只能关联两张表是吗可以关联多张表的,请参见:功能说明
不同数据库多表关联如何实现请参见文档:数据关联

3.6 消息通知

常见问题
解决方案
1)邮件服务器怎么配置

2)如何配置邮箱

邮箱
如何配置流程失败后发邮件或者短信通知
短信这个是收费的还是免费的 ?一条多少钱 ?

国内 6 分一条

详情请参见:2.3.1 节内容

开通 FDL 短信,充值 100 有时间限制的吗,还是充了 100 之后可以一直用有时间限制,不会清空的,只要有余额就能正常发短信
请问 FDL 的消息可以发送给飞书第三方平台吗可以的,请参见文档:飞书
企微 markdown 消息如何换行\n

3.7 读取文件/输出为文件

分类常见问题
解决方案
读取文件数据

1)这个数据同步或者转换,可以直接加载服务器里的 csv 文件吗,csv 文件内容也是会一直变化的

2)通过 ftp 获取数据,在一个一级目录下有 100 个二级目录,100 个二级目录下都有同样的名称的 xlsx 文件,有没有什么办法一次性通过 FDL 读取

3)我想把 Excel 的文件通过 finedatalink 导入到数据库中

请参见文档:

文件输入功能说明

定时批量扫描文件同步数据

1)支持读取 txt 文件吗

2)FDL 支持上传本地文件到数据库吗

支持的

请参见文档:文件输入功能说明

文件输入,并实现定时调度,只能在服务器本地吗,怎么能实现定时导入的文件且文件并不在 FDL 服务器上可以配置 FTP 服务器,请参见:配置FTP/SFTP数据连接
数据开发里面,上传 Excel 必须要用服务器数据集吗文件输入算子不用上传,直接到路径下获取 
csv 选不到文件4.0.24 之前版本,仅支持上传后缀小写的 Excel 和 CSV 文件,对于大写后缀的 Excel 和 CSV 文件上传校验不通过。若文件存在,但无法读取,请检查文件后缀是否为大写 .CSV/.XLSX,请手动修改为小写
单个文件可以导入到选择的数据库中,选择了文件夹(多个文件)就导入失败了读取文件夹中的多个同格式文件时,要求:文件夹中的 Excel 文件需要字段名相同;文件夹中的CSV文件需要分隔符相同
Excel 数据导入报错用户勾选了首行作为字段,但是实际上首行是字段值,字段值里存在许多小数点的数据,我们不支持字段名里带小数点,所以建表失败,取消勾选后,就建表成功了
数据输出为文件

1)数据输出,不能选择输出到文件么

2)是否支持将数据库文件输出为文件

可以的,请参见文档:文件输出算子功能说明

3.8 条件分支

常见问题
解决方案
请问FDL 条件分支怎么用的请参见文档:条件分支
你好咨询一下条件分支里面字符串的判断没有等于只有属于吗属于包括等于

3.9 循环容器

常见问题
解决方案
循环容器的次数设置大了也无所谓吧是的,上限为 10000

1)我们循环里面可以套循环吗

2)麻烦问下我们 FDL 支持嵌套循环吗

暂时不支持,有替代方案,可参见:API取数-慧策接口获取库存全量数据

1)我这边怎么得到循环的次数

2)怎么拿到循环的次数

请参见文档:

${loopTimes}——循环容器当前循环次数

API取数-按页数取数

循环容器能够引用的参数是只能是前面步骤传递过来的吗

不是,还有内置参数自定义参数


循环容器内赋值的参数不能给外面用吗容器内参数仅可在容器内使用,不可向容器外传递

3.10 调度配置

常见问题
解决方案

1)定时调度如何设置

2)设置定时任务的频率不知道在哪里设置

请参见文档:定时任务调度配置
如果多个任务,配置的定时运行时间是不是要错开建议错开
如果都配置为同一时间,一起运行时,数据库压力会不会比较大是的

1)FDL 的任务可以配置失败自动重启吗

2)由于网络不稳定导致任务失败,能不能设置自动重新连接或者重新启动啊

可以的,请参见文档:失败重试

1)我这边想实现:任务执行失败了进行邮件或者企微提醒要怎么做

2)FDL 数据开发里面,如果任务报错,怎么设置消息通知呢,我这是串行的,如果前面的报错就停止了,根本走不到消息通知这里

3)任务失败如何通知

结果通知
数据开发调度配置打不开需要注册调度功能点
只能给定时任务设置一个执行时间嘛
可以设置多个

1)一个任务定时 5 分钟跑一次,第一次 10 点执行,如果这次 5 分钟没跑完,那 10:05 那次会自动跑吗

2)如果设置一个调度,比如1分钟执行一次,如果前一个任务1分钟未执行完,下一个任务会等它吗

顺序执行,执行完毕才会开始下一次执行,在此之前,任务都是在排队中
执行频率表达式Cron表达式设置
FDL 同步 MySQL 数据库数据,同步频率可以设置 1 秒么任务多的话不建议,同时还要看数据库的性能,性能不太好的话也不建议

3.11 调用任务

常见问题
解决方案
1)比如 A 作业运行成功,才能运行作业 B

2)如果有 2 个任务我们如何进行关联和依赖:任务 1 和任务 2 有数据有依赖关系,比如任务 2 的数据依赖与数据 1 的更新,我们如何实现

3)我在一个任务里面怎么调取另一个任务

调用任务 节点实现

3.12 参数相关

常见问题
解决方案
在参数设置中新增日期参数,值可以为yyyy-mm-dd,但

输入其他常数(如2023-08-30)都会报“格式与类型不匹配”的错误,导致无法保存

参考文档:自定义参数

自定义日期需要基于系统时间获取,只能写 yyyy-mm-dd 这种;如果希望值是常量,参数用文本类型

我设置了一个参数赋值,然后表同步引用该参数名字,但没有预览成功默认值得填写正常可以读取到的值才能预览成功
参数跨层传递的时候,第一层第二层和第三层,配置第二层的时候怎么获取第一层的值参考 3.1.2 节说明