兼容说明
内存限制
4.1.4 版本升级前后「内存限制」变化如下:
独立部署中如果设置了「内存限制」,此配置失效,若需要再次修改内存限制,请联系技术支持。
集成部署中:
如果用户升级前没配置「内存限制」,默认内存限制为 1456 M。
如果用户升级前配置「内存限制」,配置了4000M,小于 jvm 最大内存,那么内存限制升级后变为 4000M
如果客户升级前配置「内存限制」,配置了40000M,大于了jvm最大内存。那么内存限制升级后=jvm最大内存
若用户升级之后还想改内存配置,请联系技术支持。
并发控制
如果用户在 4.1.4 之前的版本进行了并发任务数的修改,则在升级后,原先的并发设置失效,需要重新在负载分配-并发控制中进行设置。
文件输入
FDL 工程的定时任务中使用了「文件输入」算子,其中文件类型选择 CSV,读取方式为文件夹读取:
若设置了文件筛选条件,升级到 4.1.4 及之后版本后,filename 包含.txt、.TXT、.csv、.CSV,与升级前配置的筛选条件为且关系。
若没有设置文件筛选条件,升级到 4.1.4 及之后版本后,filename 默认包含.txt、.TXT、.csv、.CSV。
新增功能
管道任务支持 SAP HANA 作为读取数据源
详情请参见:SAP HANA 环境准备
管道任务支持 DB2 作为读取数据源
详情请参见:DB2 环境准备
定时任务支持运行到此节点
在调试过程中,需要更新从上游到这个节点的数据(这个节点有下游节点),然后下个节点再进行调试。目前只能把后续节点禁用或者先断开连线,操作成本较高。
支持设置节点时,选择运行到此处,便于查看上游配置结果和调试。如下图所示:
详情参见:运行至此节点
定时任务支持自定义调度日历
详情请参见:定时任务运维-调度计划 2.2 节
工作日和国务院法定节假日有差异,用户希望获得适合自身需要的调度周期。因此支持自定义调度日历,「调度计划-定时调度」中可引用调度日历。
「调度计划-定时调度」中,执行频率若使用表达式,会显示近 100 次执行时间,帮助用户确认 corn 表达式是否符合预期
详情参见:调度计划 第二三章
详情参见:
「调度配置」从 任务控制 中单独独立出来,为「调度计划」。
产品各模块支持内存分配和并发控制
由于 FineDataLink 中定时任务、管道任务和数据服务运行都需要占用内存和并发资源等,因此用户可能需要根据实际的使用情况进行任务调整。
FineDataLink 提供对定时任务、管道任务、数据服务进行独立的资源控制。
允许用户在「管理系统>智能运维>负载管理」下的「负载分配」中进行资源控制。
详情参见:负载分配
优化功能
文件读取优化
支持读取 json/xml 文件
文件来源为「服务器本地目录」且读取单个文件时,「文件地址」处支持上传重名文件
文件类型选择 CSV 时,支持读取类 csv 文件类型,例如tsv、log、dt(csv 和 xml 混合格式)/dbf 等.
详情参见:文件输入功能说明
数据输出为 CSV 格式时,输出的文件名后缀支持自定义,例如:txt、log、tsv等
详情参见:文件输出算子功能说明
支持定时\管道\API的批量操作
1)定时任务运维-运行记录中,支持批量终止定时任务;支持批量删除运行记录。
详情参见:定时任务运维-运行记录
2)定时任务运维-运行管理中,支持批量设置容错机制、任务属性
详情参见:定时任务运维-任务管理
3)定时任务运维-调度计划中,支持批量开启/关闭定时调度、事件调度
详情参见:定时任务运维-调度计划
4)管道任务运维中,管道任务支持批量启动/批量暂停
详情参见:管道任务运维
5)服务运维,支持批量上线/下线 API
详情参见:服务运维
修复 BUG
本节中附上了已修复的 BUG 编号,若客户对某个 BUG 有问题可把对应编号发给技术支持进行解答(技术支持联系方式:前往「服务」,选择「在线支持」、电话「400-811-8890」)。
1)FDL-9995 数据链接正常,数据预览报错。此版本已修复。
2)FDL-9742 全名搜索RFC函数时会失败,此版本已修复。
3)FDL-10028 新增计算列运行空指针,此版本已修复。
4)FDL-9790 数据过滤字段检索不到【内部问题】,数据过滤的文本框支持搜索功能,同时 API 分页取数分页结束条件过滤框支持搜索功能。
5)FDL-9251 数据转换运行报错,此版本已修复。
6)FDL-10011 管道任务目标表starrocks物理删除失效,此版本已修复。
7)FDL-10083 管道从4.0.29升级至4.1.3启动失败
检测 CDC 实例的时候不区分大小写,和之前版本的 FDL 保持相同的兼容性
修复处理删除表的逻辑时候的报错问题