数据开发FAQ

详情请参见：数据同步与数据转换的区别

1）「数据开发」功能也能实现对原表的更新同步，与「数据管道」功能有什么区别吗

2）「数据管道」和「数据开发」有什么区别，我看都可以实现数据的同步

• 「数据管道」可实时同步，「数据开发」功能是定时同步

• 「数据管道」支持对数据源进行单表、多表、整库数据的实时全量和增量同步，「数据开发」只能一张表一张表进行同步

• 「数据管道」不能做复杂的数据处理，「数据开发」可对数据做复杂处理
  

1）请问 FDL 支持哪些数据库

2）请问下 FDL 支持这里哪些数据库：Essbase、Mondrian、IBM Cubing Services、Jedox Palo、Kyligence、Tinysoft

3）支持高斯DB吗

4）支持 sap hana 吗

5）是否支持 BI 中公共数据集

6）是否支持mongdb

7）hive数据源可以连接吗

8）能对接星环数据库吗

9）数据源支持华为的高斯数据库吗

详情请参见：配置TRANSWARP INCEPTOR数据源

1）请问 FDL 支持将服务器上的 Oracle 数据同步到另一个服务器的达梦数据库吗

2）SQLServer ,MySQL，Oracle 都支持把数据同步到 ClickHouse 的嘛

支持的

若希望 A 数据库数据同步到 B 数据库，在 FineDataLink支持的数据源 文档中查看，FDL 是否支持对 A 数据库的读取和 B 数据库的写入

请参见文档：配置PostgreSQL数据源

数据转化数据源不能选择 impala

impala 数据连接配置成功了数据源不显示

修改数据连接配置，编码为默认，url后面加?useUnicode=true&characterEncoding=UTF-8&useSSL=false

注：若出现日期错乱和中文乱码情况，请参见：具体连接步骤

可参考 配置简道云数据源 文档

部署 FDL 的服务器需要能够访问外网，否则获取不到简道云数据

详情请参见：简道云输入-过滤条件说明

1）简道云进来的数据怎么同步到 DB

2）FDL 产品， 能否帮我把简道云的数据， 同步到另外一个数据库中

3）如何从简道云数据取数

2）FineDataLink 如何从数据库同步到简道云呢

3）数据库表中的数据同步到简道云可以做全量插入或者增量更新么

1）数据开发调度执行完，公共数据集里面的数据会自动更新

2）FDL 任务往 BI 输出数据

3）FDL 可以同步数据到 BI 嘛

请参见文档：

集成部署下定时任务结果输出至FineBI

独立部署下定时任务结果输出至FineBI

1）源表有增删改操作，想把源表数据同步到目标表中，希望目标表和原表数据一样。要求是增量同步，不能清空目标表的数据再同步

2）FineReport 同步用户数据，已有的数据不同步，用户信息有更新，准备通过 FDL 做一个定时同步任务，但目标数据库没有时间戳标识，请问如何构建同步任务

3）如何只更新表中数据，不向表中添加新数据

详情请参见：数据比对功能说明

使用数据比对功能实现，把相同的数据过滤掉（删除的数据使用逻辑删除）

注：若数据量过多，算子中预览数据时只预览部分数据，建议将筛选出的数据输出到数据库后查看

数据比对字段可以不设置或设置多个

• 若某个字段被设置为比对字段：可以识别出该字段对应数据的新增、更新、删除

• 若某个字段没有被设置为比对字段：能识别出该字段的增加和删除，但这个字段若存在更新，将不能被识别

若源表有 100 条数据，删除 10 条：

逻辑删除：目标表还是 100 条数据，源表被删除的 10 条数据被标记为删除数据

物理删除：目标表与源表一致，剩 90 条数据

分组汇总和上下合并可用 「Spark SQL」算子实现

左右合并可用「数据关联」算子实现

2）如何配置邮箱

• 若希望任务失败后进行通知，可配置 结果通知

• 若希望某个节点失败后进行通知，可在该节点后添加消息通知节点，连线执行判断 设置为报错时执行
  

国内 6 分一条

详情请参见：2.3.1 节内容

1）这个数据同步或者转换，可以直接加载服务器里的 csv 文件吗，csv 文件内容也是会一直变化的

2）通过 ftp 获取数据，在一个一级目录下有 100 个二级目录，100 个二级目录下都有同样的名称的 xlsx 文件，有没有什么办法一次性通过 FDL 读取

3）我想把 Excel 的文件通过 finedatalink 导入到数据库中

请参见文档：

文件输入功能说明

定时批量扫描文件同步数据

1）支持读取 txt 文件吗

2）FDL 支持上传本地文件到数据库吗

支持的

请参见文档：文件输入功能说明

1）数据输出，不能选择输出到文件么

2）是否支持将数据库文件输出为文件

1）我们循环里面可以套循环吗

2）麻烦问下我们 FDL 支持嵌套循环吗

1）我这边怎么得到循环的次数

2）怎么拿到循环的次数

请参见文档：

${loopTimes}——循环容器当前循环次数

API取数-按页数取数

不是，还有内置参数和自定义参数

1）定时调度如何设置

2）设置定时任务的频率不知道在哪里设置

1）FDL 的任务可以配置失败自动重启吗

2）由于网络不稳定导致任务失败，能不能设置自动重新连接或者重新启动啊

1）我这边想实现：任务执行失败了进行邮件或者企微提醒要怎么做

2）FDL 数据开发里面，如果任务报错，怎么设置消息通知呢，我这是串行的，如果前面的报错就停止了，根本走不到消息通知这里

3）任务失败如何通知

1）一个任务定时 5 分钟跑一次，第一次 10 点执行，如果这次 5 分钟没跑完，那 10:05 那次会自动跑吗

2）如果设置一个调度，比如1分钟执行一次，如果前一个任务1分钟未执行完，下一个任务会等它吗

2）如果有 2 个任务我们如何进行关联和依赖：任务 1 和任务 2 有数据有依赖关系，比如任务 2 的数据依赖与数据 1 的更新，我们如何实现

3）我在一个任务里面怎么调取另一个任务

4）可否设置不同任务的调度顺序

输入其他常数（如2023-08-30）都会报“格式与类型不匹配”的错误，导致无法保存

自定义日期需要基于系统时间获取，只能写 yyyy-mm-dd 这种；如果希望值是常量，参数用文本类型

这个值是取任务运行时的时间数据，属于是默认值改不了

但是可以在写 SQL 的时候用数据库提供的时间函数改值，比如 MySQL 中的 DATE_SUB 函数进行时间的加减

1）想问一下 FDL 能不能做这种 md5 加密签名

2）FDL 如何使用加密函数，自定义加密函数

2）如何数据去重

用 Spark SQL 的一个函数 from_unixtime，请参见文档：SparkSQL日期函数

2）如何只筛选自己想要展示的数据列

1）配置了 API 输入，因为数据量有点多，所以 API 经常会提示超时，在哪里可以修改 API 超时设置

2）API 调用超时时间可以自己设置么

1）FDL 是不是可以把 api 作为数据源

2）如何将 API 接口数据同步入库

3）如果想通过 API 接口抽数用哪个功能

4）对方系统，只提供 API 接口，BI 如何采集数据做分析

1）我们 FDL 可以推送数据到接口嘛

2）请问 A 系统数据库可以直接对 B 系统 API 吗

3）FDL 是否支持从一个 API 取数，加工后推送到另一个 API 呢

1）原来 FineTube 里一份数据可以同时输出多次的，FDL 里这个功能也没有了

2）一个数据转换只能有一个输出吗

2）FR 可以调度 FDL 任务吗

3）把定时任务作为一个接口，手动触发，这个功能是不是还没有实现

4）请问下，FDL 的 API 功能，我发现基本上是由 FDL 主动发起，并接收数据；想问一下是否有被动接收的方式来获取数据呢

5）报表填报成功触发定时任务运行

6）外部系统调用 FDL 任务运行

1）FDL 支持 python 吗

2）FDL 可以调用 python 文件吗

1）那老师再问一下，我最终输出的数据可以是以 API 输出吗？ 就是输出成 API，然后提供给别人调用

2）FDL 支持 API 发布吗

2）您好，如何把 FR、FDL、BI 集成在一个页面上

3）请问账户无缝跳转是需要插件吗

1）DB 表输入的数据我想改一个字段的值，该怎么操作

2）我想将一个表格中数据，多个字段转换成对应的字典表的id，有什么好的方法吗，男转为：0，女转为：1，是否已婚，是转为：0，否转为：1

1）我有个问题：接口文档给出每页100行，怎么样实现逐页抓取

2）客户这边数据条数过大，会分页，咱们 API 怎么做到增量或着全量取数

2）FDL 可以实现遍历抽取某目录下 Excel 文件数据到数据库表吗

3）我想了解 FDL 的一个关于 excel 录入的功能。能否指定一个目录下某一个名字类似的文件读取入库，而且定时任务只要启动，就会到对应目录下找到这一类文件

1）如何进行增量更新，通过数据开发那个模块怎么进行基于主键进行增量同步啊

2）表输入按时间戳增量怎么实现