反馈已提交

网络繁忙

4.1.4 更新日志

  • 文档创建者:Roxy
  • 历史版本:5
  • 最近更新:Roxy 于 2024-01-10

  • 兼容说明

    内存限制

    4.1.4  版本升级前后「内存限制」变化如下:

    • 独立部署中如果设置了「内存限制」,此配置失效,若需要再次修改内存限制,请联系技术支持。

    • 集成部署中:

    如果用户升级前没配置「内存限制」,默认内存限制为 1456 M。

    如果用户升级前配置「内存限制」,配置了4000M,小于 jvm 最大内存,那么内存限制升级后变为 4000M

    如果客户升级前配置「内存限制」,配置了40000M,大于了jvm最大内存。那么内存限制升级后=jvm最大内存

    若用户升级之后还想改内存配置,请联系技术支持。

    并发控制

    如果用户在 4.1.4 之前的版本进行了并发任务数的修改,则在升级后,原先的并发设置失效,需要重新在负载分配-并发控制中进行设置。

    文件输入

    FDL 工程的定时任务中使用了「文件输入」算子,其中文件类型选择 CSV,读取方式为文件夹读取:

    • 若设置了文件筛选条件,升级到 4.1.4 及之后版本后,filename 包含.txt、.TXT、.csv、.CSV,与升级前配置的筛选条件为且关系。

    • 若没有设置文件筛选条件,升级到 4.1.4 及之后版本后,filename 默认包含.txt、.TXT、.csv、.CSV。

    新增功能

    管道任务支持 SAP HANA 作为读取数据源

    详情请参见:SAP HANA 环境准备

    管道任务支持 DB2 作为读取数据源

    详情请参见:DB2 环境准备

    定时任务支持运行到此节点

    在调试过程中,需要更新从上游到这个节点的数据(这个节点有下游节点),然后下个节点再进行调试。目前只能把后续节点禁用或者先断开连线,操作成本较高。

    支持设置节点时,选择运行到此处,便于查看上游配置结果和调试。如下图所示:

    详情参见:运行至此节点

    定时任务支持自定义调度日历

    详情请参见:定时任务运维-调度计划 2.2 节

    • 工作日和国务院法定节假日有差异,用户希望获得适合自身需要的调度周期。因此支持自定义调度日历,调度计划-定时调度中可引用调度日历。

    • 调度计划-定时调度中,执行频率若使用表达式,会显示近 100 次执行时间,帮助用户确认 corn 表达式是否符合预期

    详情参见:调度计划 第二三章

    详情参见:

    • 调度配置从 任务控制 中单独独立出来,为调度计划」。

    产品各模块支持内存分配和并发控制

    由于 FineDataLink 中定时任务、管道任务和数据服务运行都需要占用内存和并发资源等,因此用户可能需要根据实际的使用情况进行任务调整。

    FineDataLink 提供对定时任务、管道任务、数据服务进行独立的资源控制。

    允许用户在「管理系统>智能运维>负载管理」下的「负载分配」中进行资源控制。

    详情参见:负载分配

    优化功能

    文件读取优化

    • 支持读取 json/xml 文件

    • 文件来源为「服务器本地目录」且读取单个文件时,「文件地址」处支持上传重名文件

    • 文件类型选择 CSV 时,支持读取类 csv 文件类型,例如tsv、log、dt(csv 和 xml 混合格式)/dbf 等.

    详情参见:文件输入功能说明

    • 数据输出为 CSV 格式时,输出的文件名后缀支持自定义,例如:txt、log、tsv等

    详情参见:文件输出算子功能说明

    支持定时\管道\API的批量操作

    1)定时任务运维-运行记录中,支持批量终止定时任务;支持批量删除运行记录。

    详情参见:定时任务运维-运行记录

    2)定时任务运维-运行管理中,支持批量设置容错机制、任务属

    详情参见:定时任务运维-任务管理

    3)定时任务运维-调度计划中,支持批量开启/关闭定时调度、事件调度

    详情参见:定时任务运维-调度计划

    4)管道任务运维中,管道任务支持批量启动/批量暂停

    详情参见:管道任务运维

    5)服务运维,支持批量上线/下线 API

    详情参见:服务运维

    修复 BUG

    本节中附上了已修复的 BUG 编号,若客户对某个 BUG 有问题可把对应编号发给技术支持进行解答(技术支持联系方式:前往「服务」,选择「在线支持」、电话「400-811-8890」)。

    1)FDL-9995 数据链接正常,数据预览报错。此版本已修复。

    2)FDL-9742 全名搜索RFC函数时会失败,此版本已修复。

    3)FDL-10028 新增计算列运行空指针,此版本已修复。

    4)FDL-9790 数据过滤字段检索不到【内部问题】,数据过滤的文本框支持搜索功能,同时 API 分页取数分页结束条件过滤框支持搜索功能。

    5)FDL-9251 数据转换运行报错,此版本已修复。

    6)FDL-10011 管道任务目标表starrocks物理删除失效,此版本已修复。

    7)FDL-10083 管道从4.0.29升级至4.1.3启动失败

    • 检测 CDC 实例的时候不区分大小写,和之前版本的 FDL 保持相同的兼容性

    • 修复处理删除表的逻辑时候的报错问题







    附件列表


    主题: 数据开发
    已经是第一篇
    已经是最后一篇
    • 有帮助
    • 没帮助
    • 只是浏览
    • 评价文档,奖励 1 ~ 100 随机 F 豆!

    鼠标选中内容,快速反馈问题

    鼠标选中存在疑惑的内容,即可快速反馈问题,我们将会跟进处理。

    不再提示

    10s后关闭

    联系我们
    在线支持
    获取专业技术支持,快速帮助您解决问题
    工作日9:00-12:00,13:30-17:30在线
    页面反馈
    针对当前网页的建议、问题反馈
    售前咨询
    采购需求/获取报价/预约演示
    或拨打: 400-811-8890 转1
    qr
    热线电话
    咨询/故障救援热线:400-811-8890转2
    总裁办24H投诉:17312781526
    提交页面反馈
    仅适用于当前网页的意见收集,帆软产品问题请在 问答板块提问前往服务平台 获取技术支持