历史版本2 :实时管道FAQ 返回文档
编辑时间: 内容长度:图片数:目录数: 修改原因:

目录:

1. 概述编辑

部署

问题
解决方案
FDL 支持的国产操作系统环境大概有哪些参考文档：国产化操作系统部署
升级之后之前做的东西会没有吗
FDL对windows版本有硬性的版本要求吗 2019和2022可以不文档里没写的话是我们没有测试过的，可能可以部署，但是不能确认后续不会出现一些问题

我想问一下你们的finedatalink部署在服务器上面，对服务器的要求是什么

系统怎样配置性能能好点

FDL服务器硬件配置有啥要求吗

https://help.fanruan.com/finedatalink/doc-view-51.html---环境准备
Centos 7.9的系统可以吗？目前通过测试的还没有7.9文档截图
客户这边要在FR11里面装一下FDL怎么操作呀FineDataLink集成部署-https://help.fanruan.com/finedatalink/doc-view-44.html
只多了一个数据开发功能管道这些功能有哪里啊集成版本是这样的，无法使用管道，FineDataLink部署方式介绍-https://help.fanruan.com/finedatalink/doc-view-42.html
有公式取到每个月的最后一天的日期吗MySQL的 LAST_DAY() 函数可以获取给定日期所在月份的最后一天
我现在是集成部署 如果后面想切换成独立部署 对于做好的项目有没有影响？没问题任务可以导入导出，但是建议直接用独立部署，比较稳定
BI中的ETL功能与FDL中有何不同BI上的功能就是集成的FDL中的，本质没有区别
FDL用到哪些端口8068
FDL是否可以部署在docker里面？由于客户这边FR使用了Finekey去部署，这边又期望集成，询问这种情况下是否可以不可以部署，并且也不能够与部署在容器里面的FR集成
FDL是否可以跟BI6.0 集成在一起可以
修改Tomcat内存https://help.fanruan.com/finedatalink/doc-view-227.html?source=4
FDL和BI集成部署以及FDL独立部署有啥区别啊








升级

问题
解决方案
升级之后之前做的东西会没有吗只要之前没有手动删除过东西，升级之后内容是不会消失的

怎么升级FDL

怎么一键升级

如何更新FDL版本

如果可以访问外网的话可以一键升级，需要重启后生效
FDL可以在线升级吗内网环境的话需要手动升级，外网可以一键升级
这个能否只更新jar包升级?连通外网可以直接用一键升级：FineDataLink一键升级-https://help.fanruan.com/finedatalink/doc-view-206.html

注册

问题
解决方案
Fdl.lic怎么导入注册管理这里点击上传后本地信息认证
未注册有何限制
这个注册码放到哪里呢？详细步骤和截图：本地机器信息认证-https://help.fanruan.com/finedatalink/doc-view-216.html
缺少循环容器和数据转换功能缺少相应的功能点


重启

问题
解决方案
Linux 下 FDL 重启 命令 是啥可以先kill-9 pid，在startup 看pid 执行ps -ef|grep tomcat
怎么重启工程
windows下如何重启工程




数据转换能实现数据同步功能，那数据同步单独拿出来的意义是什么不需要数据处理，只需要大数量的数据迁移就用数据同步，效率更高些
数据同步简单的处理也做不了吧，比如增加写入时间，或者增加一个固定值列不行的，数据同步下面没有算子的。或者只能在select的时候写语句来实现，但是sql很复杂的话就会造成抽数的压力
目前finebi6，和fr11 都再带finedblink嘛 还是需要单独买

finedblink 是单独的产品， 可以集成部署和独立部署 可以发您包，使用一下，这个产品 这是对应的区别

FDL的次级管理员，具有的权限有哪些？ 是否可以分配给一些用户具有某些数据权限的能力？可以的哈https://help.fanruan.com/finedatalink/doc-view-182.html
在FDL里同步数据库的表https://help.fanruan.com/finedatalink/doc-view-183.html---数据同步 https://help.fanruan.com/finedatalink/doc-view-10.html----数据转换
数据比对功能可以对原表更新的数据同步，这个跟数据管道的功能有什么区别吗实时，定时，整库
FDL的容灾机制是怎样的？包括调度停掉、或者服务器停掉等，FDL是否有机制来确保数据的安全通过调度配置到了指定的时间会执行任务，可以通过接收运行结果通知来了解任务是否在正常运行，得以及时了解情况有问题可以及时查看
FDL是不是只是提供一个通道？ 数据最后存储的地方是不是还是我自己控制的？是的，您想存储在那里就对应新建数据连接或者设置api输出即可
那么比如 数据源是业务系统的数据，是用的mysql。我处理好的数据可以也可以存在mysql或者postgresql是吗？可以的呀，只要服务上有该数据连接就可以
请问下，FDL 有考虑做血缘分析吗？目前我们离线业务都在FDL里面，比较希望后续可以在里面实现血缘分析血缘有规划的，产品沟通
FDL这边，这种实际输出后的数据，没法查看是吗？是不是没有像BI那边一样有个执行任务后的ETL表及其更新？没有，要直接到目标端查看 或者您可以再用一个组件查询数据，但是也只能预览到一部分
定时同步的话能做批量同步么，目前好像只能一张一张选择呢定时任务目前不能做批量同步，批量同步可以在管道任务做。

目录里的开发任务能做排序吗（调整一下顺序，任务1 任务2 任务3这种）：

文件夹的排序规则是什么 按照时间还是按照字母还是数字

排序的话目前只有这里有按名称排序和按时间排序（可以通过修改名称完成想要的排序）
FDL是否支持自动抽取整个数据库数据管道支持抽取多张表，数据同步只能一张一张来
进阶数据源、高阶数据源这些是做什么的？FineDataLink支持的数据源-https://help.fanruan.com/finedatalink/doc-view-39.html
你们这个datalink的优势在哪里，我怎么跟领导做介绍呢 有材料么1.https://help.fanruan.com/finedatalink/doc-view-2.html---帮助文档产品简介 2.与kettle功能对比 3.性能测试文件
我这么理解这个平台，请求数据，处理或者清洗数据后放到目标DB里面，可以用FineReport的报表使用，是吗？ 供报表使用可以的，您在FDL处理好数据后同步到DB表，后面您想在哪里取这张表都可以的
还有ETL最近有更新的功能点FDL的版本更新日志可以看下这个内容https://help.fanruan.com/finedatalink/doc-view-93.html
什么样的数据属于脏数据不符合目标库数据类型，超出字段长度等的就叫脏数据
那如果定时任务运行了5分钟，我定的是12点的然后12点05结束，然后第二个任务我设置的是12点03的那么是不是12点03到12点05的这段时间就是同时运行两个任务是的




本文汇总数据开发模块的常见问题和解决方案。

问题
解决方案
请问FDL支持哪些数据库https://help.fanruan.com/finedatalink/doc-view-39.html，老师可以看下这个文档哈，目前支持这些
请问下FDL 支持这里那些数据库：Essbase、Mondrian、IBM Cubing Services、Jedox Palo、Kyligence、Tinysofthttps://help.fanruan.com/finedatalink/doc-view-39.html我们暂时只支持这些
星环写数据表的时候只支持这张表是外表类型吗，其他类型的表支持吗， 星环的 HIVe 表有好几种

是的，星环作为写入端使用时，只支持 hdfs 装载，通过先建立外表到 hdfs ，然后再装载到目标表

详情请参见：配置TRANSWARP INCEPTOR数据源

fdl的gp并行装载功能怎么用的啊，单纯的表输出，速度有点慢https://help.fanruan.com/finedatalink/doc-view-63.html#adc91e4361812306 可以先看下这个文档哈
请问fineDataLink支持将服务器上的oracle数据同步到另一个服务器的达梦数据库吗应该是可以的，配置对应的数据连接
支持高斯DB吗支持https://help.fanruan.com/finedatalink/doc-view-39.html
服务器本地目录这怎么添加https://help.fanruan.com/finedatalink/doc-view-204.html 可以参考下这个文档
FDataLink支持sap hana吗支持，配置SAP HANA数据源-https://help.fanruan.com/finedatalink/doc-view-164.html
你们不支持19c嘛支持的，FineDataLink支持的数据源-https://help.fanruan.com/finedatalink/doc-view-39.html
这个怎么连接到postgresql呀https://help.fanruan.com/finebi/doc-view-1260.html
二进制字段 在orcale库是什么字段类型blob
数据连接没有服务器本地目录服务器本地目录只有超级管理员才可以首次创建





数据转换

简道云相关


问题
解决方案
简道云输入筛选这里为啥只有为空和不为空

「简道云输入」算子中，配置筛选条件时，不同类型的字段支持的过滤条件不同

详情请参见：简道云输入-过滤条件说明

FDL怎么获取简道云的数据源可参考 简道云输入典型示例 获取简道云表单的数据
简道云APIKEY在哪

可参考 配置简道云数据源 文档

部署 FDL 的服务器需要能够访问外网，否则获取不到简道云数据

简道云中，有一个多行文本，我想通过 FDL 推送到 Oracle 库表 blob 类型字段中，支持吗支持的
简道云输入字段别名如何设置
简道云数据能不能做实时同步：简道云实时同步目前不行，定时任务侧调用频率最多一分钟一次
FDL能做到从数据库 同步到 简道云 这个功能有了么有的https://help.fanruan.com/finedatalink/doc-view-252.html
简道云可以调用fdl吗
老师你们简道云进来的数据怎么同步到DB？有个简道云输入算子在数据转换里面;






数据输出到BI


问题
解决方案
数据开发调度执行完，公共数据集里面的数据会自动更新

集成部署下定时任务结果输出至FineBI

独立部署下定时任务结果输出至FineBI

输出到FINEBI，也得先输出到DB表么 DB表这步能不能略过是的






数据比对

问题
解决方案
这个对比字段只能设置一个吗？我能否将除主键外的所有字段名全设置为对比字段可以的呀，我们本身就是有主键和比对字段两个设置的 比对字段可以多选，只要需要比对的都给选上即可
现在fdl没有对比删除了是嘛对的，用数据比对https://help.fanruan.com/finedatalink/doc-view-12.html
fdl_comprasion_type是用来干嘛的https://help.fanruan.com/finedatalink/doc-view-12.html----数据比对，您可以先看一下这个文档哈，是用来进行增量同步操作的，您填写的标识就是对应后面同步识别是删除、新增、更新等操作
我想问一下，我有一个表的数据，需要从一个数据库同步到另一个数据库，表结构一样，但我需要源表有增删改的操作，然后我同步一下，要求目标表和源表的数据要一样，这要怎么做？要求是增量同步，不能是清空目标表的数据同步！数据比对-https://help.fanruan.com/finedatalink/doc-view-12.html
批量添加比对字段
finereport同步用户数据，已有的数据不同步，但用户信息有更新，准备通过FDL做一个定时同步任务，但目标数据库没有时间戳标识，请问如何构建同步任务？可以看下这个方案，通过比对两个表的数据，来确定是否更新：数据比对更新-https://help.fanruan.com/finedatalink/doc-view-129.html




数据同步


问题
解决方案
我们在云上部署了一套fdl，现在我要从本地的系统里取数据该怎么操作

数据同步有数据源和数据去向，两边都要在FDL中做好数据连接配置，选到数据源就能同步

https://help.fanruan.com/finedatalink/doc-view-76.html----数据连接 https://help.fanruan.com/finedatalink/doc-view-7.html---数据同步 可以先参考下这两个文档











数据关联



问题
解决方案
数据开发里可以做 分组汇总 和左右合并 上下合并么可以，分组、上下合并用spark sql，左右用数据关联 https://help.fanruan.com/finedatalink/doc-view-35.html---数据关联 https://help.fanruan.com/finedatalink/doc-view-38.html---spark sql










消息通知


问题
解决方案
邮件服务器怎么配置https://help.fanruan.com/finedatalink/doc-view-32.html#d78d75d56fc4cb87
如何配置流程失败后发邮件或者短信通知https://help.fanruan.com/finedatalink/doc-view-32.html---可以用消息通知 失败判断可以用连线判断
短信这个是收费的还是免费的 ？一条多少钱 ？国内6分一条
我想问一下开通FDL短信，充值100有时间限制的吗，还是充了100之后可以一直用没有时间限制，不会清空的，只要有余额就能正常发短信




文件输入/输出

问题
解决方案
我这边在用数据开发-数据转换-文件输入时，想通过上传excel来作为一个数据源，但遇到这么几个问题： 1.【服务器本地目录 】 这个画圈的【数据连接】从哪配置 2.画圈的【服务器文件】点击是报错的 3.点击【本地文件】上传excel，报错https://help.fanruan.com/finedatalink/doc-view-204.html?source=4---需要配置下这个哈
数据输出，不能选择输出到文件么
这个数据同步或者转换，可以直接加载服务器里的csv文件吗？ 数据集的方式，我看要手动上传csv文件制作数据集。而现在我的场景测试，csv文件内容也是会一直变化的配置服务器本地目录数据连接-https://help.fanruan.com/finedatalink/doc-view-204.html


条件分值

问题
解决方案
请问FDL 条件分支怎么用的https://help.fanruan.com/finedatalink/doc-view-19.html--条件分支，可以参考下文档哈，需要先输入参数
你好咨询一下条件分支里面字符串的判断没有等于只有属于吗？属于包括等于






循环容器

问题
解决方案
循环容器次数这个次数设置大了也无所谓吧嗯嗯，上限为10000
我们循环里面可以套循环吗不可以
想问下，我通过SQL取了100个日期，想把这100个日期每一个作为参数，传递到一个查询里，然后输出结果保存后，再循环传入100个日期中的第二个日期作为参数，一直直到日期参数循环结束。 这个场景该怎么做比较好。通过循环容器来实现的


调度配置

问题
解决方案
定时调度如何设置定时任务调度配置
如果多个任务，配置的定时运行时间是不是要错开是，建议错开
如果都配置为同一时间，一起运行时，数据库压力会不会比较大是的
调度信息，能发邮件吗 ？ 收不收费 ？https://help.fanruan.com/finedatalink/doc-view-187.html 这个应该不收费，要去对应的平台邮箱，看一下
FDL同步mysql数据库数据同步评论可以设置1秒么任务多的话不建议，同时还要看数据库的性能，性能不太好的话也不建议
FDL的任务可以配置失败自动重启吗
我这边想实现 任务执行失败了进行邮件或者企微提醒要怎么做定时任务调度配置-https://help.fanruan.com/finedatalink/doc-view-22.html
定时调度需要注册才能使用吗是的
就是FDL数据开发里面，如果任务报错，怎么设置消息通知呢 我这是串行的，如果前面的报错就停止了，根本走不到消息通知这里定时任务调度配置-https://help.fanruan.com/finedatalink/doc-view-22.html，提需求钉钉机器人




参数相关

问题
解决方案

在参数设置中新增日期参数，值可以为yyyy-mm-dd，但

输入其他常数（如2023-08-30）都会报“格式与类型不匹配”的错误，导致无法保存

参考文档：自定义参数

自定义日期需要基于系统时间获取，只能写 yyyy-mm-dd 这种；如果希望值是常量，参数用文本类型


我设置了一个参数赋值，然后表同步引用该参数名字，但没有预览成功默认值得填写正常可以读取到的值才能预览成功
像这种参数输出,是不是在当前任务下都是可以用的嗯嗯，这个数据转换节点之后的都是可以用的，但是建议加一个默认值~不然数据预览的时候值是空的~
参数跨层传递的时候，第一层第二层和第三层，配置第二层的时候怎么获取第一层的值帮助文档，每一层都要有同名参数存在

Spark SQL

问题解决方案
SparkSQL 是不能用update函数吗是的，不能
从API接口获取数据导入数据库的问题，用fdl的demo卡在获取签名那一步了，想问一下fdl能不能做这种md5加密签名做参数的api调用fdl的加密是通过调用Spark SQL算子实现的：https://help.fanruan.com/finedatalink/doc-view-38.html#









API输入/输出

问题
解决方案
我们这个配置了个API输入，因为数据量有点多，所以API经常会提示超时，这个在哪里可以修改API超时设置？FDLTimeout










数据输出

问题
解决方案
输出的时候可以选择字段进行输出吗字段映射可以把不需要的字段删掉
那问下，这个自建表的时候可以指定一个字段为主键吗？
没有主键冲突策略因为你是自动建表，表里没有数据，不会冲突，也没有主键
表名称 没有选项若选择[自动建表]，未指定模式时，会使用数据库默认模式，而不是数据连接中的模式




其他

问题
解决方案
FDL脚本中有没有哪个脚本可以跑delete语句用sql脚本算子 或者如果是要做数据更新的话用数据比对后删除提交 https://help.fanruan.com/finedatalink/doc-view-12.html
excel表的数据量很大，我在通过fdl导入数据库的时候，总会报其中某一行某一列数据格式不匹配，有没有功能可以实现导入前做数据清理？修改为可导入的格式可以的，用字段设置算子 https://help.fanruan.com/finedatalink/doc-view-40.html
FDL支不支持嵌套循环
DB表输入的数据我想改一个字段的值，该怎么操作？可以用新增计算列，映射的时候用新增的这列映射为目标字段
请问加入企业怎么操作呀https://help.fanruan.com/finedatalink/doc-view-147.html可以看一下这个文档哈，需要贵司出一个管理员进行企业认证
这几个日期我想转成 yyyy-MM-dd HH:mm:ss 的格式TIME_CAL(to_date($.createTime,"yyyy-MM-dd'T'HH:mm:ss.SSS'Z'"),"h",8)已读
想问一下RFC输入可以获取SAP标准函数吗？带参数的SAP RFC取数-https://help.fanruan.com/finedatalink/doc-view-138.html
选不了模式数据库没有定义模式
hello 同学 fdl的任务只能每个单独配置嘛？不能复制吗？目前不能复制任务哦，你可以把节点复制过去，任务复制的提交一个需求




接口调用

问题
解决方案
我想问下假设我们报表页面上有一个按钮，点一下这个按钮，就能执行FDL的特定的一个ETL任务
请教下哈，fr可以调度fdl任务了
把ETL任务作为一个接口，手动触发，这个功能是不是还没有实现？
问下fdl目前有接口，可以让fr的模板调用后执行fdl的任务吗
请问下，FDL的API功能，我发现基本上是由FDL主动发起，并接收数据；想问一下是否有被动接收的方式来获取数据呢