升级说明
「一键升级」功能中,暂未上线 4.0.26 版本。即 4.0.26 之前版本独立部署用户,无法通过「一键升级」按钮升级到 4.0.26 版本。
若客户需要升级到 4.0.26 版本,需联系技术支持获取 JAR 包升级。(技术支持联系方式:前往「服务」,选择「在线支持」、电话「400-811-8890」)。
新增功能
支持在 WebSphere 和 Weblogic 中部署
1)FineDataLink 支持在 Weblogic 中部署
适配版本:Weblogic12.2.1.* 版本及以上。
操作系统支持:Windows、Linux、Unix。
详情请参见:Weblogic服务器war包独立部署、Weblogic服务器文件夹独立部署
2)FineDataLink 支持在 WebSphere 中部署
适配版本:WebSphere8.5 版本。
操作系统支持 Linux 。
详情请参见:WebSphere服务器独立部署
数据服务注册和权限控制
注册相关
1)用户若想使用 数据服务 功能,需要注册「数据服务-基础」功能点。详情请参见:FineDataLink注册授权
2)数据服务在未注册和注册到期时进行功能限制,详情请参见:未注册和注册到期的影响
权限相关
1)超级管理员可以给予某个对象「API 任务」的授权权限,使该对象将成为一个次级管理员。次级管理员可以给下级成员分配「API 任务」的管理权限,使他下级的成员可以查看和编辑任务。详情请参见:数据服务授权权限
2)管理员可以给普通用户分配「数据服务」中指定的 API 列表的查看和编辑权限,使得普通用户可以「查看和编辑」API 列表下的文件夹和任务。详情请参见:数据服务管理权限
API 任务支持复制
支持复制 API 任务。详情请参见:服务运维
注:复制后 API 任务的内容配置,即 API信息、发布内容及参数、预览测试都支持保留,但是任务的 API-上线状态不保留。
数据支持输出为文件形式
数据同步节点中:数据去向 Tab 中可选择 FTP/SFTP 和服务器本地目录,可将数据输出为文件形式。若数据不需要进行复杂处理加工,可在数据同步节点中实现。
数据转换节点中:新增「文件输出」算子,可将处理后的数据输出到指定目标与路径的结构化文件中。若数据需要进行复杂处理加工后再输出,可在数据转换节点中实现。
如下图所示:
定时任务支持读取 MaxCompute
定时任务支持读取 MaxCompute 数据,详情请参见:FineDataLink支持的数据源
定时任务支持失败重跑和超时限制
定时任务「调度配置」中,新增「超时限制」和「失败重试」功能。详情请参见:定时任务调度配置
失败重试:由于当时的网络波动或者其他原因,导致任务运行中断,过段时间重新运行任务即可成功执行。针对此场景,可在「失败重试」中设置重跑次数和两次重跑之间的间隔,任务在失败之后会进行自动重试。
超时限制:当一个任务长时间运行,该任务可能属于非正常状态,且会导致资源的占用。针对此场景,可在「超时限制」中配置任务的超时时间,运行时间超过设置的时间后正在执行的任务会被强制杀死。
定时任务支持复制
支持复制定时任务。详情请参见:数据开发界面介绍
选择任务,设置复制后定时任务存储的文件夹位置,可将其复制到指定文件夹中,如下图所示:
注:复制的任务的节点/算子配置、参数设置、调度配置中的超时限制、失败重试、结果通知、画布布局都支持保留,但定时任务的「开启调度」不保留。
管道任务支持失败重跑
若管道任务由于当时的网络波动或者其他原因,运行中断,过段时间网络即可恢复正常,希望管道任务可自动重新运行。可在「失败重试」中设置重跑次数和间隔时间。
详情请参见:设置管道控制
修复 BUG
本节中附上了已修复的 BUG 编号,若客户对某个 BUG 有问题可把对应编号发给技术支持进行解答(技术支持联系方式:前往「服务」,选择「在线支持」、电话「400-811-8890」)。
1)6502-「XML 解析」算子中,点击「选择XML节点」按钮后,XML 节点选择框中的字段顺序与实际 XML 字段顺序不相同。此版本已修复。
2)6355-【来源POC项目】报错响应中抛出堆栈信息泄露了敏感信息。此版本已修复。
3)5955-客户来源库是 oracle18 ,目标库是 gaussDB200 。来源表 float 类型,会映射成 numeric(126,-127)字段类型。 任务运行时会报错数值超过字段类型长度,导致脏数据产生异常中止。此版本已修复。
4)5770-键入大写 ADS,可以匹配到大小写名称的任务;键入大写字母加下划线 ADS_,只能匹配到大写名称的任务;键入小写 ads 只能匹配到小写字母的名称。
此版本,支持大小写模糊搜索,搜索的结果一致;若加下划线,也支持大小写模糊搜索。
5)5554-一些Excel文件能正常导入,另一些不能;后来删除一些很长的字段后可以导入,但这些字段用户业务需要不能删除。此版本已修复。
6)5551-4.0.24 版本的「任务运维>运行记录>任务耗时」,没有排序按钮。此版本已修复。
7)5487-4.0.20 版本,「DB表输出」只要选了 oracle 数据链接,浏览器页面就会卡死,此时查看浏览器占用内存和 cpu 都比较高。同时会不稳定出现节点配置页面需要加载一会才能出现+已存在表无法展开已有表等现象。
原因:所选模式下有 43w 张表。
此版本中,下拉框选项数量在 50 万时,浏览器可用且不会崩溃,但在初始化和选择时仍会有卡顿,如果不能接受卡顿可以提需求继续优化。
8)5456-客户单独部署了最新版的 FDL ,每天都会提示:[报表模板]备份失败,情及时处理
此版本已修复。
9)5446-4.0.24 版本的 FDL 新建 hive 或者 impala 数据源,数据同步节点的输出端数据源类型选项卡 hive 或 impala 会灰化并显示异常提示:直接使用impala性能不佳,请使用underfined作为数据去向
原因:由于下拉框中只展示已配置过数据连接且当前用户有数据连接使用权限的选项。如果数据连接那边没有配置 HDFS 数据连接,在定时任务这边就选不到 HDFS 的类型,这时候前端提示就会变成 undefined 。
此版本已更正为正确提示:直接使用impala性能不佳,请使用hive(hdfs)数据源作为数据去向
10)5428:4.0.21-4.0.24 小版本升级后,选择启用并行装载数据源的数据同步任务运行报错data write error:connection disabled。此版本已修复。
11)5401-数据管道Oracle数据源增量同步阶段报错identifier 'DBMS_LOGMNR.SKIP_CORRUPTION' must be declared。此版本已修复。
12)5329-FDL 点了终止仍然在运行任务。此版本已修复。
13)4893-数据同步的 SQL 发现双击无法选中整行 SQL ,单击选择最后一个位置,定位也有问题。此版本已修复。
14)6082-FDL 启动后进入平台,提示数据平台未启动,之后也一直是未启动的状态。 日志报错Caused by: java.lang.IllegalStateException: Duplicate key SUCCESS。此版本已修复。
15)6369-XML 解析某个字段,该字段解析顺序放到第一位就可以正常解析值,不在第一位预览空白。此版本已修复。