数据转换FAQ

可参考 配置简道云数据源 文档

部署 FDL 的服务器需要能够访问外网，否则获取不到简道云数据

详情请参见：简道云输入-过滤条件说明

1）简道云进来的数据怎么同步到 DB

2）FDL 产品， 能否帮我把简道云的数据， 同步到另外一个数据库中

3）如何从简道云数据取数

4）数据怎么输出到简道云中

2）FineDataLink 如何从数据库同步到简道云呢

3）数据库表中的数据同步到简道云可以做全量插入或者增量更新么

1）源表有增删改操作，想把源表数据同步到目标表中，希望目标表和原表数据一样。要求是增量同步，不能清空目标表的数据再同步

2）FineReport 同步用户数据，已有的数据不同步，用户信息有更新，准备通过 FDL 做一个定时同步任务，但目标数据库没有时间戳标识，请问如何构建同步任务

3）如何只更新表中数据，不向表中添加新数据

4）追加和更新可以一起使用吗

5）只更新变化了的数据

详情请参见：数据比对功能说明

使用数据比对功能实现，把相同的数据过滤掉（删除的数据使用逻辑删除）

注：若数据量过多，算子中预览数据时只预览部分数据，建议将筛选出的数据输出到数据库后查看

数据比对字段可以不设置或设置多个

• 若某个字段被设置为比对字段：可以识别出该字段对应数据的新增、更新、删除

• 若某个字段没有被设置为比对字段：能识别出该字段的增加和删除，但这个字段若存在更新，将不能被识别

若源表有 100 条数据，删除 10 条：

逻辑删除：目标表还是 100 条数据，源表被删除的 10 条数据被标记为删除数据

物理删除：目标表与源表一致，剩 90 条数据

使用 数据比对 实现，比对两张表的差异，实现更新、删除、新增

数据比对中 有 Removed 的数据，在 DB 输出时，会不会就从目标表中删除了

DB输出中的主键与数据比对中的主键不一样，没有问题吧

DB表输出的写入方式中，可选择物理删除还是逻辑删除，物理删除就是目标表会实际删除数据；逻辑删除目标表标记删除数据，不实际删除

DB表输出的主键映射需要与「数据比对」算子的相同

分组汇总和上下合并可用 「Spark SQL」算子实现

左右合并可用「数据关联」算子实现

1）不同数据库多表关联如何实现

2）在FDL上如何把2个表相关的字段关联到一个表里面

3）多表关联

1）这个数据同步或者转换，可以直接加载服务器里的 csv 文件吗，csv 文件内容也是会一直变化的

2）通过 ftp 获取数据，在一个一级目录下有 100 个二级目录，100 个二级目录下都有同样的名称的 xlsx 文件，有没有什么办法一次性通过 FDL 读取

3）我想把 Excel 的文件通过 finedatalink 导入到数据库中

4）使用ftp作为数据源输入和输出（格式主要excel、csv、txt）

5）可以连接 FTP 服务器，读取 EXCEL 文件内容吗

请参见文档：

文件输入功能说明

定时批量扫描文件同步数据

1）支持读取 txt 文件吗

2）FDL 支持上传本地文件到数据库吗

3）FDL 读取 Excel

支持的

请参见文档：文件输入功能说明

1）数据输出，不能选择输出到文件么

2）是否支持将数据库文件输出为文件

3）要把一个SQL转成Excel

1）想问一下 FDL 能不能做这种 md5 加密签名

2）FDL 如何使用加密函数，自定义加密函数

3）如何对数据进行加密操作

2）如何数据去重

用 Spark SQL 的一个函数 from_unixtime，请参见文档：SparkSQL日期函数

2）如何只筛选自己想要展示的数据列

使用 字段设置 算子实现

或者在 新增计算列 中，使用公式实现

1）配置了 API 输入，因为数据量有点多，所以 API 经常会提示超时，在哪里可以修改 API 超时设置

2）API 调用超时时间可以自己设置么

3）请问FDL里用的API组件，怎么老报错，显示超时呢，正常浏览器访问很快就返回了，能帮查下原因吗

1）FDL 是不是可以把 api 作为数据源

2）如何将 API 接口数据同步入库

3）如果想通过 API 接口抽数用哪个功能

4）对方系统，只提供 API 接口，BI 如何采集数据做分析

1）我们 FDL 可以推送数据到接口嘛

2）请问 A 系统数据库可以直接对 B 系统 API 吗

3）FDL 是否支持从一个 API 取数，加工后推送到另一个 API 呢

1）数据过滤算子

2）使用 SQL 语句过滤，例如在SQL脚本、Spark SQL中使用SQL语句过滤

1）FDL 支持 python 吗

2）FDL 可以调用 python 文件吗