定时任务FAQ

详情请参见：数据同步与数据转换的区别

1）「数据开发」功能也能实现对原表的更新同步，与「数据管道」功能有什么区别吗

2）「数据管道」和「数据开发」有什么区别，我看都可以实现数据的同步

• 「数据管道」可实时同步，「数据开发」功能是定时同步

• 「数据管道」支持对数据源进行单表、多表、整库数据的实时全量和增量同步，「数据开发」只能一张表一张表进行同步

• 「数据管道」不能做复杂的数据处理，「数据开发」可对数据做复杂处理
  

4.1.4 之前版本：

FDL 能同时执行的任务数跟 cpu 的线程数有关，默认是 cpu 线程数的 1/2 。假如 cpu 线程数为 8，FDL 则可以同时执行 4 个定时任务，若定时任务数有 5 个，另外一个需要排队

4.1.4 及之后版本：

详情请参见：负载分配

定时任务运行时，会同时估算内存和并发数

能同时运行的定时任务数受并发数控制，但一个定时任务占多少并发数根据定时任务复杂程度决定

管道任务支持的：数据管道-同步源表结构变化

定时任务会将源表变化通知给用户，支持用户在任务中对目标表进行字段处理，更新目标表结构：定时任务DDL同步

1）请问 FDL 支持哪些数据库

2）请问下 FDL 支持这里哪些数据库：Essbase、Mondrian、IBM Cubing Services、Jedox Palo、Kyligence、Tinysoft

3）支持高斯DB吗

4）支持 sap hana 吗

5）是否支持 BI 中公共数据集

6）是否支持mongdb

7）hive数据源可以连接吗

8）能对接星环数据库吗

9）数据源支持华为的高斯数据库吗

详情请参见：配置TRANSWARP INCEPTOR数据源

1）请问 FDL 支持将服务器上的 Oracle 数据同步到另一个服务器的达梦数据库吗

2）SQLServer ,MySQL，Oracle 都支持把数据同步到 ClickHouse 的嘛

支持的

若希望 A 数据库数据同步到 B 数据库，在 FineDataLink支持的数据源 文档中查看，FDL 是否支持对 A 数据库的读取和 B 数据库的写入

请参见文档：配置PostgreSQL数据源

数据转化数据源不能选择 impala

impala 数据连接配置成功了数据源不显示

修改数据连接配置，编码为默认，url后面加?useUnicode=true&characterEncoding=UTF-8&useSSL=false

注：若出现日期错乱和中文乱码情况，请参见：具体连接步骤

1）数据开发调度执行完，公共数据集里面的数据会自动更新

2）FDL 任务往 BI 输出数据

3）FDL 可以同步数据到 BI 嘛

请参见文档：

独立部署下定时任务结果输出至FineBI

2）如何配置邮箱

• 若希望任务失败后进行通知，可配置 结果通知

• 若希望某个节点失败后进行通知，可在该节点后添加消息通知节点，连线执行判断 设置为报错时执行
  

国内 6 分一条

详情请参见：2.3.1 节内容

可以的，被引用的内容输出为参数，在消息通知中使用${a}的方式引用参数值

最佳实践参考：一条消息通知同时提醒多人

使用消息通知节点，给企业微信发送消息，消息的格式为表格形式，支持吗

1）我们循环里面可以套循环吗

2）麻烦问下我们 FDL 支持嵌套循环吗

1）我这边怎么得到循环的次数

2）怎么拿到循环的次数

请参见文档：

${loopTimes}——循环容器当前循环次数

API取数-按页数取数

不是，还有内置参数和自定义参数

可以在 fanruan.log 中查看到完整的，但是要看您的日志级别，如果是error的话，看不到完整的循环记录，只有错误的。要开 info 才可以看到完整的循环记录

详情请参见：日志等级设置

1）定时调度如何设置

2）设置定时任务的频率不知道在哪里设置

1）FDL 的任务可以配置失败自动重启吗

2）由于网络不稳定导致任务失败，能不能设置自动重新连接或者重新启动啊

1）我这边想实现：任务执行失败了进行邮件或者企微提醒要怎么做

2）FDL 数据开发里面，如果任务报错，怎么设置消息通知呢，我这是串行的，如果前面的报错就停止了，根本走不到消息通知这里

3）任务失败如何通知

1）一个任务定时 5 分钟跑一次，第一次 10 点执行，如果这次 5 分钟没跑完，那 10:05 那次会自动跑吗

2）如果设置一个调度，比如1分钟执行一次，如果前一个任务1分钟未执行完，下一个任务会等它吗

2）如果有 2 个任务我们如何进行关联和依赖：任务 1 和任务 2 有数据有依赖关系，比如任务 2 的数据依赖与数据 1 的更新，我们如何实现

3）我在一个任务里面怎么调取另一个任务

4）可否设置不同任务的调度顺序

5）请问FDL支持A任务跑完执行B任务吗

输入其他常数（如2023-08-30）都会报“格式与类型不匹配”的错误，导致无法保存

自定义日期需要基于系统时间获取，只能写 yyyy-mm-dd 这种；如果希望值是常量，参数用文本类型

这个值是取任务运行时的时间数据，属于是默认值改不了

但是可以在写 SQL 的时候用数据库提供的时间函数改值，比如 MySQL 中的 DATE_SUB 函数进行时间的加减

1）在哪里设置全局参数

2）可以自己设置一个全局参数，作用于所有任务吗，而不需要一个任务一个任务去调整

全局参数

进入数据开发界面，点击按钮，可进入全局参数配置界面

设置参数的地方：如何配置并使用参数

设计任务时，可以在参数列表中自定义事件参数；或者使用SQL语句在「参数赋值」节点中生成参数值，输出参数等

「文件输出」算子中，文件名中引用参数即可

可参考：动态表名

1）原来 FineTube 里一份数据可以同时输出多次的，FDL 里这个功能也没有了

2）一个数据转换只能有一个输出吗

2）FR 可以调度 FDL 任务吗

3）把定时任务作为一个接口，手动触发，这个功能是不是还没有实现

4）请问下，FDL 的 API 功能，我发现基本上是由 FDL 主动发起，并接收数据；想问一下是否有被动接收的方式来获取数据呢

5）报表填报成功触发定时任务运行

6）外部系统调用 FDL 任务运行

7）FDL能不能调用第三方接口，执行定时任务呢

8）fdl的调度能不能外部触发？比如API触发

9）有没有手动调用fdl任务去执行的功能

10）有没有手动调用fdl任务去执行的功能

11）外部业务系统怎么触发FDL主动执行任务

1）点击按钮后，同步数据

2）在fr的或者BI的报表端启动fdl的任务 在报表上点一下,然后对应的fdl任务能够启动

1）那老师再问一下，我最终输出的数据可以是以 API 输出吗？ 就是输出成 API，然后提供给别人调用

2）FDL 支持 API 发布吗

2）您好，如何把 FR、FDL、BI 集成在一个页面上

3）请问账户无缝跳转是需要插件吗

SQL：可自定义SQL语句，处理数据

选表：类似于实现select + where 的效果；支持开启并行取数

4.1.7.3 之前版本，保存在 FineDB 的fine_dp_work_exec_record表中

4.1.7.3 及之后版本，保存在 LogDB 的fine_dp_work_exec_record表中（该表迁移到 LogDB 中）

1）fdl能写java脚本吗

2）调用服务器上的kettle

不支持

使用「文件传输」算子传输文件时，若读取的是文件夹数据，可通过文件名、文件修改时间过滤文件

• 文件名：属于、不属于、包含、不包含、开头是、结尾是、开头不是、结尾不是

• 文件修改时间：介于、不介于、某个日期之前、某个日期之后、等于、不等于

判断逻辑说明详情参见：条件判断逻辑说明

1）我有个问题：接口文档给出每页100行，怎么样实现逐页抓取

2）客户这边数据条数过大，会分页，咱们 API 怎么做到增量或着全量取数

工程占用内存过大，给工程瘦身

批量删除运行记录

2）FDL 可以实现遍历抽取某目录下 Excel 文件数据到数据库表吗

3）我想了解 FDL 的一个关于 excel 录入的功能。能否指定一个目录下某一个名字类似的文件读取入库，而且定时任务只要启动，就会到对应目录下找到这一类文件

1）如何进行增量更新，通过数据开发那个模块怎么进行基于主键进行增量同步啊

2）表输入按时间戳增量怎么实现

使用参数取出对应消息，在消息通知节点中引用参数即可

一条消息通知同时提醒多人、一条消息提醒一个人，可发送多条消息

方案一：使用 字段设置 算子修改字段类型

方案二：在新增计算列算子中使用公式修改字段类型

使用多个josn解析算子，一层一层的解析，保留上层字段

1）在哪里可以看到所有脏数据记录呢

2）定时任务报错信息不全，日志里面怎么查全部报错信息

点击「管理系统>任务运维>运行记录」，可查看运行记录ID（实例ID），鼠标悬停支持复制。如下图所示：

写入的具体数据无法查到的，统计中只能看到写入的数据条数

1）FDL将数据处理好后入库，FR从数据库中获取数据

2）FDL将处理后的数据以API形式给FR使用

3）FDL将处理后的数据生成Excel文件，供FR使用