1. 概述编辑
本文档收集 FineDataLink 部署升级、产品模板的常见问题,并给出答案。
2. 数据开发模块功能咨询编辑
分类 | 常见问题 | 解决方案 |
---|---|---|
数据同步VS数据转换 | 「数据转换」节点能实现数据同步功能,那「数据同步」节点单独拿出来的意义是什么 | 详情请参见:数据同步与数据转换的区别 |
「数据同步」节点简单的处理也做不了吧,比如增加写入时间,或者增加一个固定值列 | 只能通过 SQL 语句实现,但复杂的 SQL 语句会造成抽数的压力 | |
数据开发VS数据管道 | 1)「数据开发」功能也能实现对原表的更新同步,与「数据管道」功能有什么区别吗 2)「数据管道」和「数据开发」有什么区别,我看都可以实现数据的同步 | |
定时同步的话能做批量同步么,目前好像只能一张一张选择呢 | 定时任务目前不能做批量同步,批量同步可以在管道任务做 |
3. 数据开发编辑
3.1 支持的数据库
注:针对不同数据库的特性,屏蔽不支持的功能入口,详情请参见:不同数据源的功能支持说明
常见问题 | 解决方案 |
---|---|
1)请问 FDL 支持哪些数据库 2)请问下 FDL 支持这里哪些数据库:Essbase、Mondrian、IBM Cubing Services、Jedox Palo、Kyligence、Tinysoft 3)支持高斯DB吗 4)支持 sap hana 吗 5)是否支持 BI 中公共数据集 6)是否支持mongdb 7)hive数据源可以连接吗 8)能对接星环数据库吗 9)数据源支持华为的高斯数据库吗 | 请参见文档:FineDataLink支持的数据源 |
星环写数据表的时候只支持这张表是外表类型吗,其他类型的表支持吗,星环的 hive 表有好几种 | 是的,星环作为写入端使用时,只支持 hdfs 装载,通过先建立外表到 hdfs ,然后再装载到目标表 详情请参见:配置TRANSWARP INCEPTOR数据源 |
FDL 的 gp 并行装载功能怎么用的啊,单纯的表输出,速度有点慢 | 请参见文档:配置Greenplum数据源 |
1)请问 FDL 支持将服务器上的 Oracle 数据同步到另一个服务器的达梦数据库吗 2)SQLServer ,MySQL,Oracle 都支持把数据同步到 ClickHouse 的嘛 | 支持的 若希望 A 数据库数据同步到 B 数据库,在 FineDataLink支持的数据源 文档中查看,FDL 是否支持对 A 数据库的读取和 B 数据库的写入 |
服务器本地目录怎么添加 | 请参见文档:配置服务器本地目录数据连接 |
数据连接没有服务器本地目录 | 服务器本地目录只有超级管理员才可以首次创建 |
怎么连接到 postgresql 呀 | 请参见文档:配置PostgreSQL数据源 |
服务器数据集指的是啥 | 请参见文档:服务器数据集 |
数据转化数据源不能选择 impala impala 数据连接配置成功了数据源不显示 | 没有进阶-大数据的功能点 |
3.2 简道云相关
分类 | 常见问题 | 解决方案 |
---|---|---|
简道云数据连接 | FDL怎么获取简道云的数据源 | 可参考 简道云输入典型示例 获取简道云表单的数据 |
简道云 APIKEY 在哪 | 可参考 配置简道云数据源 文档 部署 FDL 的服务器需要能够访问外网,否则获取不到简道云数据 | |
如何连接简道云和 FineDataLink | 请参见文档:配置简道云数据源 | |
我看帮助文档数据源添加有简道云数据源,但是我的没有 | 进入工程,点击「管理系统>注册管理>功能列表」中查看,是否注册了简道云功能点 | |
简道云输入算子 | 「简道云输入」算子中,筛选这里为啥只有为空和不为空 | 「简道云输入」算子中,配置筛选条件时,不同类型的字段支持的过滤条件不同 详情请参见:简道云输入-过滤条件说明 |
1)简道云进来的数据怎么同步到 DB 2)FDL 产品, 能否帮我把简道云的数据, 同步到另外一个数据库中 3)如何从简道云数据取数 | 请参见文档:简道云输入功能说明 | |
简道云输入字段别名如何设置 | 请参见文档:简道云表单字段处理 | |
简道云输出算子 | 简道云中,有一个多行文本,我想通过 FDL 推送到 Oracle 库表 blob 类型字段中,支持吗 | 支持的 |
1)FDL 能做到从数据库同步到简道云,这个功能有了么 2)FineDataLink 如何从数据库同步到简道云呢 3)数据库表中的数据同步到简道云可以做全量插入或者增量更新么 | 请参见文档:简道云输出算子 | |
其他 | 简道云数据能不能做实时同步 | 暂时不支持。可通过设置定时任务的执行频率,例如设置一分钟执行一次定时任务,实现数据的快速更新 |
简道云可以调用 FDL 吗 | 可在 简道云前端事件 中调用定时任务相关接口,请参见:简道云调用定时任务接口 | |
如何将简道云的数据增量更新 | 请参见文档:简道云输出示例 |
3.3 数据输出到 BI
常见问题 | 解决方案 |
---|---|
1)数据开发调度执行完,公共数据集里面的数据会自动更新 2)FDL 任务往 BI 输出数据 3)FDL 可以同步数据到 BI 嘛 | 请参见文档: |
数据输出到BI,也得先输出到 DB 表么,DB 表这步能不能略过 | 是的 |
3.4 数据比对
常见问题 | 解决方案 |
---|---|
1)源表有增删改操作,想把源表数据同步到目标表中,希望目标表和原表数据一样。要求是增量同步,不能清空目标表的数据再同步 2)FineReport 同步用户数据,已有的数据不同步,用户信息有更新,准备通过 FDL 做一个定时同步任务,但目标数据库没有时间戳标识,请问如何构建同步任务 3)如何只更新表中数据,不向表中添加新数据 | 详情请参见:数据比对功能说明 |
想找出俩表中不同的数据是哪些 | 使用数据比对功能实现,把相同的数据过滤掉(删除的数据使用逻辑删除) 注:若数据量过多,算子中预览数据时只预览部分数据,建议将筛选出的数据输出到数据库后查看 |
这个对比字段只能设置一个吗?我能否将除主键外的所有字段名全设置为对比字段 | 数据比对字段可以不设置或设置多个
|
fdl_comparison_type 是用来干嘛的 | 标记列 fdl_comparison_type 的值,用于标记两张表中同一个字段的差异。默认值为:Identical(相同)、Changed(更新)、Added(新增)、Removed(删除),可以自定义标识关系值 |
fdl_comparison_type 在目标表中这一列可以删除吗 | 可以的,可以在输出算子的「字段映射」中删除 |
批量添加比对字段 | 支持的 |
逻辑删除和物理删除的区别 | 若源表有 100 条数据,删除 10 条: 逻辑删除:目标表还是 100 条数据,源表被删除的 10 条数据被标记为删除数据 物理删除:目标表与源表一致,剩 90 条数据 |
3.5 数据关联
常见问题 | 解决方案 |
---|---|
数据开发里可以做分组汇总、左右合并和上下合并么 | 分组汇总和上下合并可用 「Spark SQL」算子实现 左右合并可用「数据关联」算子实现 |
数据关联只能关联两张表是吗 | 可以关联多张表的,请参见:功能说明 |
不同数据库多表关联如何实现 | 请参见文档:数据关联 |
3.6 消息通知
常见问题 | 解决方案 |
---|---|
1)邮件服务器怎么配置 2)如何配置邮箱 | 邮箱 |
如何配置流程失败后发邮件或者短信通知 | |
短信这个是收费的还是免费的 ?一条多少钱 ? | 国内 6 分一条 详情请参见:2.3.1 节内容 |
开通 FDL 短信,充值 100 有时间限制的吗,还是充了 100 之后可以一直用 | 有时间限制,不会清空的,只要有余额就能正常发短信 |
请问 FDL 的消息可以发送给飞书第三方平台吗 | 可以的,请参见文档:飞书 |
企微 markdown 消息如何换行 | \n |
3.7 读取文件/输出为文件
分类 | 常见问题 | 解决方案 |
---|---|---|
读取文件数据 | 1)这个数据同步或者转换,可以直接加载服务器里的 csv 文件吗,csv 文件内容也是会一直变化的 2)通过 ftp 获取数据,在一个一级目录下有 100 个二级目录,100 个二级目录下都有同样的名称的 xlsx 文件,有没有什么办法一次性通过 FDL 读取 3)我想把 Excel 的文件通过 finedatalink 导入到数据库中 | 请参见文档: |
1)支持读取 txt 文件吗 2)FDL 支持上传本地文件到数据库吗 | 支持的 请参见文档:文件输入功能说明 | |
文件输入,并实现定时调度,只能在服务器本地吗,怎么能实现定时导入的文件且文件并不在 FDL 服务器上 | 可以配置 FTP 服务器,请参见:配置FTP/SFTP数据连接 | |
数据开发里面,上传 Excel 必须要用服务器数据集吗 | 文件输入算子不用上传,直接到路径下获取 | |
csv 选不到文件 | 4.0.24 之前版本,仅支持上传后缀小写的 Excel 和 CSV 文件,对于大写后缀的 Excel 和 CSV 文件上传校验不通过。若文件存在,但无法读取,请检查文件后缀是否为大写 .CSV/.XLSX,请手动修改为小写 | |
单个文件可以导入到选择的数据库中,选择了文件夹(多个文件)就导入失败了 | 读取文件夹中的多个同格式文件时,要求:文件夹中的 Excel 文件需要字段名相同;文件夹中的CSV文件需要分隔符相同 | |
Excel 数据导入报错 | 用户勾选了首行作为字段,但是实际上首行是字段值,字段值里存在许多小数点的数据,我们不支持字段名里带小数点,所以建表失败,取消勾选后,就建表成功了 | |
数据输出为文件 | 1)数据输出,不能选择输出到文件么 2)是否支持将数据库文件输出为文件 | 可以的,请参见文档:文件输出算子功能说明 |
3.8 条件分支
常见问题 | 解决方案 |
---|---|
请问FDL 条件分支怎么用的 | 请参见文档:条件分支 |
你好咨询一下条件分支里面字符串的判断没有等于只有属于吗 | 属于包括等于 |
3.9 循环容器
常见问题 | 解决方案 |
---|---|
循环容器的次数设置大了也无所谓吧 | 是的,上限为 10000 |
1)我们循环里面可以套循环吗 2)麻烦问下我们 FDL 支持嵌套循环吗 | 暂时不支持,有替代方案,可参见:API取数-慧策接口获取库存全量数据 |
1)我这边怎么得到循环的次数 2)怎么拿到循环的次数 | 请参见文档: |
循环容器能够引用的参数是只能是前面步骤传递过来的吗 | |
循环容器内赋值的参数不能给外面用吗 | 容器内参数仅可在容器内使用,不可向容器外传递 |
3.10 调度配置
常见问题 | 解决方案 |
---|---|
1)定时调度如何设置 2)设置定时任务的频率不知道在哪里设置 | 请参见文档:定时任务调度配置 |
如果多个任务,配置的定时运行时间是不是要错开 | 建议错开 |
如果都配置为同一时间,一起运行时,数据库压力会不会比较大 | 是的 |
1)FDL 的任务可以配置失败自动重启吗 2)由于网络不稳定导致任务失败,能不能设置自动重新连接或者重新启动啊 | 可以的,请参见文档:失败重试 |
1)我这边想实现:任务执行失败了进行邮件或者企微提醒要怎么做 2)FDL 数据开发里面,如果任务报错,怎么设置消息通知呢,我这是串行的,如果前面的报错就停止了,根本走不到消息通知这里 3)任务失败如何通知 | 结果通知 |
数据开发调度配置打不开 | 需要注册调度功能点 |
只能给定时任务设置一个执行时间嘛 | 可以设置多个 |
1)一个任务定时 5 分钟跑一次,第一次 10 点执行,如果这次 5 分钟没跑完,那 10:05 那次会自动跑吗 2)如果设置一个调度,比如1分钟执行一次,如果前一个任务1分钟未执行完,下一个任务会等它吗 | 顺序执行,执行完毕才会开始下一次执行,在此之前,任务都是在排队中 |
执行频率表达式 | Cron表达式设置 |
FDL 同步 MySQL 数据库数据,同步频率可以设置 1 秒么 | 任务多的话不建议,同时还要看数据库的性能,性能不太好的话也不建议 |
3.11 调用任务
常见问题 | 解决方案 |
---|---|
1)比如 A 作业运行成功,才能运行作业 B 2)如果有 2 个任务我们如何进行关联和依赖:任务 1 和任务 2 有数据有依赖关系,比如任务 2 的数据依赖与数据 1 的更新,我们如何实现 3)我在一个任务里面怎么调取另一个任务 | 调用任务 节点实现 |
3.12 参数相关
常见问题 | 解决方案 |
---|---|
在参数设置中新增日期参数,值可以为yyyy-mm-dd,但 输入其他常数(如2023-08-30)都会报“格式与类型不匹配”的错误,导致无法保存 | 参考文档:自定义参数 自定义日期需要基于系统时间获取,只能写 yyyy-mm-dd 这种;如果希望值是常量,参数用文本类型 |
我设置了一个参数赋值,然后表同步引用该参数名字,但没有预览成功 | 默认值得填写正常可以读取到的值才能预览成功 |
参数跨层传递的时候,第一层第二层和第三层,配置第二层的时候怎么获取第一层的值 | 参考 3.1.2 节说明 |