反馈已提交

网络繁忙

4.1.13更新日志

  • 文档创建者:Wendy123456
  • 历史版本:11
  • 最近更新:Wendy123456 于 2024-11-05
  • 升级兼容说明

    升级到 4.1.13.3 版本前,请务必做好 FineDB 备份。

    4.1.13.4

    实时任务支持数据关联可视化

    使用数据关联功能,需要实时数据源和1个或多个维度表输入进行关联,如下图所示:

    注:该功能属于内测阶段,如需试用或者了解详细信息,请联系技术支持(技术支持联系方式:前往「服务」,选择「在线支持」、电话「400-811-8890」)。

    详情请参见:维度表输入&数据关联

    定时任务支持列转行可视化

    使用方法与定时任务一致,详情参见:列转行

    修复BUG

    本节中附上了已修复的 BUG 编号,若客户对某个 BUG 有问题可把对应编号发给技术支持进行解答(技术支持联系方式:前往「服务」,选择「在线支持」、电话「400-811-8890」)。

    1)FDL-14738 集群环境升级4.1.13.3管道启动不起来,此版本修复。

    2)FDL-14562  全局参数和参数赋值参数的来源一致,引用后结果不一致,此版本修复。

    3)FDL-14272 批量启动管道会导致血缘功能产生性能问题,此版本修复。

    4)FDL-14591  管道实时同步oracle同步报错:目标字段不能为空,此版本修复。

    4.1.13.3

    定时任务支持读取应用数据平台数据源

    新增应用数据平台」数据连接,数据开发-定时任务中,使用数据同步节点可通过该数据连接从金蝶云星空、吉客云、美团智能版、聚水潭、旺店通(旗舰版)中取数。如下图所示:

    详情请参见:应用数据平台数据源

    注:该功能当前属于内测阶段,如需试用或者了解详细信息,请联系技术支持(技术支持联系方式:前往「服务」,选择「在线支持」、电话「400-811-8890」)。

    3.png

    数据开发-实时任务支持写入Clickhouse

    数据开发-实时任务支持写入 Clickhouse 数据库。

    调度计划中提供创建调度日历按钮

    「调度计划-定时调度」中引用调度日历时,若日历为空,可点击立即创建按钮跳转到调度日历创建页面,进行创建。如下图所示:

    1729737931483036.png

    支持解析控制字符

    「JSON 解析」算子中,遇到控制字符时不报错,解析后就按照转义字符进行解析。

    修复BUG

    本节中附上了已修复的 BUG 编号,若客户对某个 BUG 有问题可把对应编号发给技术支持进行解答(技术支持联系方式:前往「服务」,选择「在线支持」、电话「400-811-8890」)。

    1)FDL-14605 管道任务一段时间没有数据写入,定时任务大量排队。此版本已修复。

    2)FDL-14355 用户升级到 4.1.12.3 版本后,调整并发控制,并发数越跳越小导致数据管道任务一个也无法运行,配置 FineDB 也无法解决该问题。此版本已修复。

    3)FDL-14443 管道任务来源端是 SQLServer,目标端为 Doris,字段映射中来源端字段类型 varchar(max) 会变成varchar(255),同步会报错字段长度不够。此版本已修复。

    4)FDL-14456 写入星环数据库报错:Datasource"s writer step must be available此版本已修复。

    5)FDL-14478 定时任务中 SQLServer 同步到 SQLServer,写入方式为清空写入,报错脏数据列名 "id" 无效,这个是自增 id 主键,没有映射。此版本已修复。

    6)FDL-14484 管道任务中 Oracle 同步到 Doris ,编辑 管道任务后启动日志有 null 异常。此版本已修复。

    7)FDL-14542 本地更新升级到 4.1.13.2 版本,备份还原-更新升级中无法获取当前 JAR 版本,显示undefined-undefined。此版本已修复。

    4.1.13.2

    定时任务支持从对象存储文件系统中读取文件

    FDL 中支持配置 Amazon S3 数据源的数据连接。

    数据开发-定时任务中可使用该数据连接,在阿里云 OSS,亚马逊 S3,MinIO 中进行读取和写入。如下图所示:

    详情请参见:配置Amazon S3数据源

    1729147772855799.png

    实时任务支持读取 MQTT 数据源

    数据开发-实时任务读取 MQTT 数据源。如下图所示:

    详情请参见:配置MQTT数据源MQTT输入

    21.png

    实时任务支持读取 IBM MQ 数据源

    数据开发-实时任务读取 IBM MQ 数据源。如下图所示:

    详情请参见:配置IBM MQ数据源IBM MQ输入

    23.png

    选表支持选字段

    DB表输入、数据同步、参数赋值、全局参数-赋值参数中,配置方式为「选表」时,支持选字段。如下图所示:

    1729148365621116.png

    Hive 数据库支持配置高可用 HDFS 地址和 HDFS 用户

    配置 配置Hadoop Hive数据源 的数据连接时,在「HDFS设置」中,支持配置高可用 HDFS 地址和 HDFS 用户。如下图所示:

    1729148812912485.png

    Kafka 数据源支持 Kerberos 认证

    Kafka 数据源支持 Kerberos 认证。详情请参见:配置Kafka数据源配置传输队列

    修复BUG

    本节中附上了已修复的 BUG 编号,若客户对某个 BUG 有问题可把对应编号发给技术支持进行解答(技术支持联系方式:前往「服务」,选择「在线支持」、电话「400-811-8890」)。

    1)FDL-14323 创建管道任务,选择一批表,配置主键;保存该管道任务,再次点击编辑,选择批量添加前缀,此时可以正常添加且映射处无异常提示;点击保存,发现该管道任务显示未编辑完成,点击进入编辑页面发现显示部分表无主键映射。此版本已修复。

    2)FDL-14492 用户使用Python算子做行列转换,报错 TypeError。此版本已修复。

    3)FDL-14377 写入到 Hive 已存在的外部表,类型不匹配产生脏数据,出现 Problem adding row 的异常。此版本已修复。

    4)FDL-14256 解析 JSON 数据时,某个 Key 在数组的第一个对象里没返回,在第二个数组里有返回,且该 Key 返回的值为空(实际有数据)。此版本已修复。

    5)FDL-14248 任务 a 配置失败重试 3 次,任务 a 调用任务 b,b 执行失败后,任务 a 进行第一次重试,重试成功后运行日志会出现等待第二次重试。整体任务运行完之后,运行日志只显示进行了一次重试,实际上重试功能并未异常,只是运行过程中运行日志显示了等待第二次重试。此版本已修复。

    6)FDL-14194 负载分配拖拽出了-10%此版本已修复。

    7)FDL-14064 用户数据同步到 Hive 数据库,Hive 数据库的 hdfs 文件服务的 datanode 端口没有对 FDL 开放,造成数据无法写入,同步后到数据库中查询表没有数据写入,但是 FDL 日志反馈正常写入了数据,返回任务成功的提示。此版本已修复。

    4.1.13.1

    自动建表根据MySQL版本确定编码格式&行格式

    定时任务、管道任务中,目标表为自动建表时,将自动根据 MySQL 版本确定编码格式和行格式。详情请参见:使用数据源

    事件调度跳转优化

    打开某个定时任务后,点击调度计划>事件调度>查看按钮」,将跳转至「运维中心>定时任务>调度计划>事件调度」界面并打开该事件调度。如下图所示:

    25.png

    Python算子运行逻辑配置

    FINE_CONF_ENTITY 中新增参数 PythonConfig.metaFromMock,可控制 Python 算子的运行逻辑:

    注:一般情况下无需修改该值,用户根据实际情况使用该参数。

    • 值默认为 false:使用上游算子预览的数据,执行一次 Python 算子的代码得到 Python 算子输出的元数据,再实际执行一次 Python 代码进行数据转换。

    • 将值修改为 true(需重启 FDL 工程):使用上游算子的元数据 mock 空数据,执行一次 Python 算子的代码得到 Python 算子输出的元数据,再实际执行一次 Python 代码进行数据转换。

    修复BUG

    本节中附上了已修复的 BUG 编号,若客户对某个 BUG 有问题可把对应编号发给技术支持进行解答(技术支持联系方式:前往「服务」,选择「在线支持」、电话「400-811-8890」)。

    1)FDL-14191 用户使用数据集输入算子获取 BI 远程公共数据集数据,接「Python算子过滤不合法的 json 数据,接在 Python 算子后的节点报错无法获取源表字段。此版本已修复。

    2)FDL-14274 远程公共数据连接密码带有%连接失败。此版本已修复。

    3)FDL-14340 任务构建失败没有发送消息通知。此版本已修复。





    附件列表


    主题: 管理系统
    • 有帮助
    • 没帮助
    • 只是浏览
    • 评价文档,奖励 1 ~ 100 随机 F 豆!

    鼠标选中内容,快速反馈问题

    鼠标选中存在疑惑的内容,即可快速反馈问题,我们将会跟进处理。

    不再提示

    10s后关闭



    AI

    联系我们
    在线支持
    获取专业技术支持,快速帮助您解决问题
    工作日9:00-12:00,13:30-17:30在线
    页面反馈
    针对当前网页的建议、问题反馈
    售前咨询
    采购需求/获取报价/预约演示
    或拨打: 400-811-8890 转1
    qr
    热线电话
    咨询/故障救援热线:400-811-8890转2
    总裁办24H投诉:17312781526
    提交页面反馈
    仅适用于当前网页的意见收集,帆软产品问题请在 问答板块提问前往服务平台 获取技术支持