1. 概述编辑
本文档收集 FineDataLink 部署升级、产品模板的常见问题,并给出答案。
2. 数据开发模块功能咨询编辑
分类 | 常见问题 | 解决方案 |
---|---|---|
数据同步VS数据转换 | 「数据转换」节点能实现数据同步功能,那「数据同步」节点单独拿出来的意义是什么 | 详情请参见:数据同步与数据转换的区别 |
「数据同步」节点简单的处理也做不了吧,比如增加写入时间,或者增加一个固定值列 | 只能通过 SQL 语句实现,但复杂的 SQL 语句会造成抽数的压力 | |
数据开发VS数据管道 | 1)「数据开发」功能也能实现对原表的更新同步,与「数据管道」功能有什么区别吗 2)「数据管道」和「数据开发」有什么区别,我看都可以实现数据的同步 | |
定时同步的话能做批量同步么,目前好像只能一张一张选择呢 | 定时任务目前不能做批量同步,批量同步可以在管道任务做 |
3. 数据开发编辑
3.1 支持的数据库
注:针对不同数据库的特性,屏蔽不支持的功能入口,详情请参见:不同数据源的功能支持说明
常见问题 | 解决方案 |
---|---|
1)请问 FDL 支持哪些数据库 2)请问下 FDL 支持这里哪些数据库:Essbase、Mondrian、IBM Cubing Services、Jedox Palo、Kyligence、Tinysoft 3)支持高斯DB吗 4)支持 sap hana 吗 5)是否支持 BI 中公共数据集 6)是否支持mongdb 7)hive数据源可以连接吗 8)能对接星环数据库吗 9)数据源支持华为的高斯数据库吗 | 请参见文档:FineDataLink支持的数据源 |
星环写数据表的时候只支持这张表是外表类型吗,其他类型的表支持吗,星环的 hive 表有好几种 | 是的,星环作为写入端使用时,只支持 hdfs 装载,通过先建立外表到 hdfs ,然后再装载到目标表 详情请参见:配置TRANSWARP INCEPTOR数据源 |
FDL 的 gp 并行装载功能怎么用的啊,单纯的表输出,速度有点慢 | 请参见文档:配置Greenplum数据源 |
1)请问 FDL 支持将服务器上的 Oracle 数据同步到另一个服务器的达梦数据库吗 2)SQLServer ,MySQL,Oracle 都支持把数据同步到 ClickHouse 的嘛 | 支持的 若希望 A 数据库数据同步到 B 数据库,在 FineDataLink支持的数据源 文档中查看,FDL 是否支持对 A 数据库的读取和 B 数据库的写入 |
服务器本地目录怎么添加 | 请参见文档:配置服务器本地目录数据连接 |
数据连接没有服务器本地目录 | 服务器本地目录只有超级管理员才可以首次创建 |
怎么连接到 postgresql 呀 | 请参见文档:配置PostgreSQL数据源 |
服务器数据集指的是啥 | 请参见文档:服务器数据集 |
数据转化数据源不能选择 impala impala 数据连接配置成功了数据源不显示 | 没有进阶-大数据的功能点 |
3.2 简道云相关
分类 | 常见问题 | 解决方案 |
---|---|---|
简道云数据连接 | FDL怎么获取简道云的数据源 | 可参考 简道云输入典型示例 获取简道云表单的数据 |
简道云 APIKEY 在哪 | 可参考 配置简道云数据源 文档 部署 FDL 的服务器需要能够访问外网,否则获取不到简道云数据 | |
如何连接简道云和 FineDataLink | 请参见文档:配置简道云数据源 | |
我看帮助文档数据源添加有简道云数据源,但是我的没有 | 进入工程,点击「管理系统>注册管理>功能列表」中查看,是否注册了简道云功能点 | |
简道云输入算子 | 「简道云输入」算子中,筛选这里为啥只有为空和不为空 | 「简道云输入」算子中,配置筛选条件时,不同类型的字段支持的过滤条件不同 详情请参见:简道云输入-过滤条件说明 |
1)简道云进来的数据怎么同步到 DB 2)FDL 产品, 能否帮我把简道云的数据, 同步到另外一个数据库中 3)如何从简道云数据取数 | 请参见文档:简道云输入功能说明 | |
简道云输入字段别名如何设置 | 请参见文档:简道云表单字段处理 | |
简道云输出算子 | 简道云中,有一个多行文本,我想通过 FDL 推送到 Oracle 库表 blob 类型字段中,支持吗 | 支持的 |
1)FDL 能做到从数据库同步到简道云,这个功能有了么 2)FineDataLink 如何从数据库同步到简道云呢 3)数据库表中的数据同步到简道云可以做全量插入或者增量更新么 | 请参见文档:简道云输出算子 | |
其他 | 简道云数据能不能做实时同步 | 暂时不支持。可通过设置定时任务的执行频率,例如设置一分钟执行一次定时任务,实现数据的快速更新 |
简道云可以调用 FDL 吗 | 可在 简道云前端事件 中调用定时任务相关接口,请参见:简道云调用定时任务接口 | |
如何将简道云的数据增量更新 | 请参见文档:简道云输出示例 |
3.3 数据输出到 BI
常见问题 | 解决方案 |
---|---|
1)数据开发调度执行完,公共数据集里面的数据会自动更新 2)FDL 任务往 BI 输出数据 3)FDL 可以同步数据到 BI 嘛 | 请参见文档: |
数据输出到BI,也得先输出到 DB 表么,DB 表这步能不能略过 | 是的 |
3.4 数据比对
常见问题 | 解决方案 |
---|---|
1)源表有增删改操作,想把源表数据同步到目标表中,希望目标表和原表数据一样。要求是增量同步,不能清空目标表的数据再同步 2)FineReport 同步用户数据,已有的数据不同步,用户信息有更新,准备通过 FDL 做一个定时同步任务,但目标数据库没有时间戳标识,请问如何构建同步任务 3)如何只更新表中数据,不向表中添加新数据 | 详情请参见:数据比对功能说明 |
想找出俩表中不同的数据是哪些 | 使用数据比对功能实现,把相同的数据过滤掉(删除的数据使用逻辑删除) 注:若数据量过多,算子中预览数据时只预览部分数据,建议将筛选出的数据输出到数据库后查看 |
这个对比字段只能设置一个吗?我能否将除主键外的所有字段名全设置为对比字段 | 数据比对字段可以不设置或设置多个
|
fdl_comparison_type 是用来干嘛的 | 标记列 fdl_comparison_type 的值,用于标记两张表中同一个字段的差异。默认值为:Identical(相同)、Changed(更新)、Added(新增)、Removed(删除),可以自定义标识关系值 |
fdl_comparison_type 在目标表中这一列可以删除吗 | 可以的,可以在输出算子的「字段映射」中删除 |
批量添加比对字段 | 支持的 |
逻辑删除和物理删除的区别 | 若源表有 100 条数据,删除 10 条: 逻辑删除:目标表还是 100 条数据,源表被删除的 10 条数据被标记为删除数据 物理删除:目标表与源表一致,剩 90 条数据 |
3.5 数据关联
常见问题 | 解决方案 |
---|---|
数据开发里可以做分组汇总、左右合并和上下合并么 | 分组汇总和上下合并可用 「Spark SQL」算子实现 左右合并可用「数据关联」算子实现 |
数据关联只能关联两张表是吗 | 可以关联多张表的,请参见:功能说明 |
不同数据库多表关联如何实现 | 请参见文档:数据关联 |
3.6 消息通知
常见问题 | 解决方案 |
---|---|
1)邮件服务器怎么配置 2)如何配置邮箱 | 邮箱 |
如何配置流程失败后发邮件或者短信通知 | |
短信这个是收费的还是免费的 ?一条多少钱 ? | 国内 6 分一条 详情请参见:2.3.1 节内容 |
开通 FDL 短信,充值 100 有时间限制的吗,还是充了 100 之后可以一直用 | 有时间限制,不会清空的,只要有余额就能正常发短信 |
请问 FDL 的消息可以发送给飞书第三方平台吗 | 可以的,请参见文档:飞书 |
企微 markdown 消息如何换行 | \n |
3.7 读取文件/输出为文件
分类 | 常见问题 | 解决方案 |
---|---|---|
读取文件数据 | 1)这个数据同步或者转换,可以直接加载服务器里的 csv 文件吗,csv 文件内容也是会一直变化的 2)通过 ftp 获取数据,在一个一级目录下有 100 个二级目录,100 个二级目录下都有同样的名称的 xlsx 文件,有没有什么办法一次性通过 FDL 读取 3)我想把 Excel 的文件通过 finedatalink 导入到数据库中 | 请参见文档: |
1)支持读取 txt 文件吗 2)FDL 支持上传本地文件到数据库吗 | 支持的 请参见文档:文件输入功能说明 | |
文件输入,并实现定时调度,只能在服务器本地吗,怎么能实现定时导入的文件且文件并不在 FDL 服务器上 | 可以配置 FTP 服务器,请参见:配置FTP/SFTP数据连接 | |
数据开发里面,上传 Excel 必须要用服务器数据集吗 | 文件输入算子不用上传,直接到路径下获取 | |
csv 选不到文件 | 4.0.24 之前版本,仅支持上传后缀小写的 Excel 和 CSV 文件,对于大写后缀的 Excel 和 CSV 文件上传校验不通过。若文件存在,但无法读取,请检查文件后缀是否为大写 .CSV/.XLSX,请手动修改为小写 | |
单个文件可以导入到选择的数据库中,选择了文件夹(多个文件)就导入失败了 | 读取文件夹中的多个同格式文件时,要求:文件夹中的 Excel 文件需要字段名相同;文件夹中的CSV文件需要分隔符相同 | |
Excel 数据导入报错 | 用户勾选了首行作为字段,但是实际上首行是字段值,字段值里存在许多小数点的数据,我们不支持字段名里带小数点,所以建表失败,取消勾选后,就建表成功了 | |
数据输出为文件 | 1)数据输出,不能选择输出到文件么 2)是否支持将数据库文件输出为文件 | 可以的,请参见文档:文件输出算子功能说明 |
3.8 条件分支
常见问题 | 解决方案 |
---|---|
请问FDL 条件分支怎么用的 | 请参见文档:条件分支 |
你好咨询一下条件分支里面字符串的判断没有等于只有属于吗 | 属于包括等于 |
3.9 循环容器
常见问题 | 解决方案 |
---|---|
循环容器的次数设置大了也无所谓吧 | 是的,上限为 10000 |
1)我们循环里面可以套循环吗 2)麻烦问下我们 FDL 支持嵌套循环吗 | 暂时不支持,有替代方案,可参见:API取数-慧策接口获取库存全量数据 |
1)我这边怎么得到循环的次数 2)怎么拿到循环的次数 | 请参见文档: |
循环容器能够引用的参数是只能是前面步骤传递过来的吗 | |
循环容器内赋值的参数不能给外面用吗 | 容器内参数仅可在容器内使用,不可向容器外传递 |
3.10 调度配置
常见问题 | 解决方案 |
---|---|
1)定时调度如何设置 2)设置定时任务的频率不知道在哪里设置 | 请参见文档:定时任务调度配置 |
如果多个任务,配置的定时运行时间是不是要错开 | 建议错开 |
如果都配置为同一时间,一起运行时,数据库压力会不会比较大 | 是的 |
1)FDL 的任务可以配置失败自动重启吗 2)由于网络不稳定导致任务失败,能不能设置自动重新连接或者重新启动啊 | 可以的,请参见文档:失败重试 |
1)我这边想实现:任务执行失败了进行邮件或者企微提醒要怎么做 2)FDL 数据开发里面,如果任务报错,怎么设置消息通知呢,我这是串行的,如果前面的报错就停止了,根本走不到消息通知这里 3)任务失败如何通知 | 结果通知 |
数据开发调度配置打不开 | 需要注册调度功能点 |
只能给定时任务设置一个执行时间嘛 | 可以设置多个 |
1)一个任务定时 5 分钟跑一次,第一次 10 点执行,如果这次 5 分钟没跑完,那 10:05 那次会自动跑吗 2)如果设置一个调度,比如1分钟执行一次,如果前一个任务1分钟未执行完,下一个任务会等它吗 | 顺序执行,执行完毕才会开始下一次执行,在此之前,任务都是在排队中 |
执行频率表达式 | Cron表达式设置 |
FDL 同步 MySQL 数据库数据,同步频率可以设置 1 秒么 | 任务多的话不建议,同时还要看数据库的性能,性能不太好的话也不建议 |
3.11 调用任务
常见问题 | 解决方案 |
---|---|
1)比如 A 作业运行成功,才能运行作业 B 2)如果有 2 个任务我们如何进行关联和依赖:任务 1 和任务 2 有数据有依赖关系,比如任务 2 的数据依赖与数据 1 的更新,我们如何实现 3)我在一个任务里面怎么调取另一个任务 4)可否设置不同任务的调度顺序 | 调用任务 节点实现 |
3.12 参数相关
常见问题 | 解决方案 |
---|---|
在参数设置中新增日期参数,值可以为yyyy-mm-dd,但 输入其他常数(如2023-08-30)都会报“格式与类型不匹配”的错误,导致无法保存 | 参考文档:自定义参数 自定义日期需要基于系统时间获取,只能写 yyyy-mm-dd 这种;如果希望值是常量,参数用文本类型 |
我设置了一个参数赋值,然后表同步引用该参数名字,但没有预览成功 | 默认值得填写正常可以读取到的值才能预览成功 |
数据预览时是不是不能调用前一个算子里获取的参数 | 可以调用,如果需要能够预览必须要在输出参数时设置个默认值才能预览成功 |
参数输出 的参数,是不是在当前任务下都是可以用的 | 是的,建议加一个默认值,不然后面节点/算子数据预览的时候值是空的 |
使用 参数赋值 输出的参数,无法预览 | 参数赋值中没有设置默认值 |
参数跨层传递的时候,第一层第二层和第三层,配置第二层的时候怎么获取第一层的值 | 参考 3.1.2 节说明 |
时间参数 ${cyctime} 的值可以改吗 | 这个值是取任务运行时的时间数据,属于是默认值改不了 但是可以在写 SQL 的时候用数据库提供的时间函数改值,比如 MySQL 中的 DATE_SUB 函数进行时间的加减 |
你们${cyctime}这个时间精确到秒的,能不能只精确到天 | 请参见文档:自定义参数 |
3.13 Spark SQL
常见问题 | 解决方案 |
---|---|
能找一份 Spark SQL 的详细语法说明书吗 | 请参见文档:SparkSQL语法概述 |
1)想问一下 FDL 能不能做这种 md5 加密签名 2)FDL 如何使用加密函数,自定义加密函数 | fdl的加密是通过调用Spark SQL算子实现的,请参见文档:SparkSQL编码和加密函数 |
1)有去重这一个功能吗 2)如何数据去重 | 请参见文档:数据去重 |
时间戳在 FDL 里怎么转换成时间 | 用 Spark SQL 的一个函数 from_unixtime,请参见文档:SparkSQL日期函数 |
SparkSQL 数据预览报错 Spark SQL 语法错误 SparkSQL语法错误: Syntax error at or near 订; line 1 pos 18 | Spark SQL 不支持中文字段 |
3.14 字段设置
常见问题 | 解决方案 |
---|---|
FDL里面,数据关联的结果带出的字段能够自己选择的吗?现在默认是全部带出来 | 数据关联后面加一个字段设置 |
1)Excel 表的数据量很大,我在通过 FDL 导入数据库的时候,总会报其中某一行某一列数据格式不匹配,有没有功能可以实现导入前做数据清理?修改为可导入的格式 2)如何只筛选自己想要展示的数据列 | 请参见文档:字段设置 |
3.15 API 输入/输出
分类 | 常见问题 | 解决方案 |
---|---|---|
API 输入 | 1)配置了 API 输入,因为数据量有点多,所以 API 经常会提示超时,在哪里可以修改 API 超时设置 2)API 调用超时时间可以自己设置么 | 请参见文档:设置FDLTimeout参数 |
1)FDL 是不是可以把 api 作为数据源 2)如何将 API 接口数据同步入库 3)如果想通过 API 接口抽数用哪个功能 4)对方系统,只提供 API 接口,BI 如何采集数据做分析 | 请参见文档:API输入 | |
API 输出 | 1)我们 FDL 可以推送数据到接口嘛 2)请问 A 系统数据库可以直接对 B 系统 API 吗 3)FDL 是否支持从一个 API 取数,加工后推送到另一个 API 呢 | 请参见文档:API输出逻辑说明 |
其他 | API 解析,token 变化的不定参数如何设置,例如:用一个 url 获取 token,再用带 token 参数的 url 获取数据 | 请参见文档:API取数-获取企业微信人员信息 |
请问 api 接口提供的数据是分页的,使用 api 输入的算子应该如何调用 | 请参见文档:API取数-按页数取数 |
3.16 数据输出
常见问题 | 解决方案 |
---|---|
输出的时候可以选择字段进行输出吗 | 字段映射可以把不需要的字段删掉 |
没有主键冲突策略 | 因为你是自动建表,表里没有数据,不会冲突,也没有主键 |
表名称没有选项 | 若选择「自动建表」,未指定模式时,会使用数据库默认模式,而不是数据连接中的模式 |
对于 pgsql 、oracle 数据库,DB表输出的数据去向中怎么选择模式,我的数据连接已选择了默认模式,但是表输出结果还是在 public 里 | 在表名前增加对应模式名 |
目标库已存在的表是不能选择自动建立表,要不然就无法自动同步数据 | 是的,已经存在的表不能再「自动建表」 |
自动建表,还能多次运行,每次运行都重新创建表? | 自动建表的逻辑:是判断当前有没有这张表,如果没有就新建,后续的话,可以判断这张表是否存在,实现增量的写入,所以是可以多次运行的 |
清空目标表,再写入:我理解是先清空表数据,再写入? | 对的,直接先把目标表清空掉,然后再写入数据 |
原来 FineTube 里一份数据可以同时输出多次的,FDL 里这个功能也没有了 | 请参见文档:数据分发 |
3.17 接口调用
常见问题 | 解决方案 |
---|---|
1)怎么实现:报表页面上有一个按钮,点一下这个按钮,就能执行 FDL 的一个定时任务 2)FR 可以调度 FDL 任务吗 3)把定时任务作为一个接口,手动触发,这个功能是不是还没有实现 4)请问下,FDL 的 API 功能,我发现基本上是由 FDL 主动发起,并接收数据;想问一下是否有被动接收的方式来获取数据呢 5)报表填报成功触发定时任务运行 6)外部系统调用 FDL 任务运行 | 请参见文档:调用定时任务相关接口说明 |
3.18 其他
常见问题 | 解决方案 |
---|---|
1)FDL 支持 python 吗 2)FDL 可以调用 python 文件吗 3)我现在 Python 代码是现成的,就是不知道怎么嵌入帆软,让它呈现最终的预测结果 | 请参见文档:Python脚本 |
1)那老师再问一下,我最终输出的数据可以是以 API 输出吗? 就是输出成 API,然后提供给别人调用 2)FDL 支持 API 发布吗 | 请参见文档:数据服务 |
1)FR、FDL 独立部署,但集中管理,是否有这样的方案 2)您好,如何把 FR、FDL、BI 集成在一个页面上 3)请问账户无缝跳转是需要插件吗 | 请参见文档:多产品连接工具插件 |
数据转换如何重命名 | 右键节点可以修改 |
请问加入企业怎么操作呀 | 请参见文档:合作认证操作说明 |
想问一下 RFC 输入可以获取 SAP 标准函数吗 | 请参见文档:带参数的SAP RFC取数 |
FDL 的任务只能每个单独配置嘛?不能复制吗 | 支持的,支持复制任务或节点 |
自己还不能建文件夹对任务进行分类的吗 | 先建文件夹,再选中文件夹建任务 |
资源控制内存指什么呢? | 请参见文档:资源控制 |
3.19 需求方案类
问题 | 解决方案 |
---|---|
我在数据开发的过程中通过 SQL 来处理数据,如果 SQL 执行失败了是否支持回滚等操作 | 参考下这个方案呢:数据抽取失败后进行数据回滚 |
获取天气数据 | 使用高德接口获取城市天气数据 |
请问我需要通过 API 获取数据,有行数获取限制的,页码的最大值我目前获取不到,请问能用什么方式取到所有的数据 | API取数-限制取数量且无页数参数 |
1)我有个问题:接口文档给出每页100行,怎么样实现逐页抓取 2)客户这边数据条数过大,会分页,咱们 API 怎么做到增量或着全量取数 | API取数-按页数取数 |
我想做增量抽取数据,每天运行时抽取昨日的数据 | |
API 双层嵌套的场景 | API取数-慧策接口获取库存全量数据 |
工程占用内存过大,给工程瘦身 | 自动清理FineDataLink运行记录 |
1)客户有一个 FTP 服务器,里面存放的是命名标准的 Excel ,我们 FDL 能不能自动定时的获取新的 Excel ,然后输出到数据库中 2)FDL 可以实现遍历抽取某目录下 Excel 文件数据到数据库表吗 3)我想了解 FDL 的一个关于 excel 录入的功能。能否指定一个目录下某一个名字类似的文件读取入库,而且定时任务只要启动,就会到对应目录下找到这一类文件 | 定时批量扫描文件同步数据 |