历史版本3 :4.1.13更新日志 返回文档
编辑时间: 内容长度:图片数:目录数: 修改原因:

目录:

4.1.13.2编辑

定时任务支持从对象存储文件系统中读取文件

FDL 中支持配置 Amazon S3 数据源的数据连接。

数据开发-定时任务中可使用该数据连接,在阿里云 OSS,亚马逊 S3,MinIO 中进行读取和写入。如下图所示:

详情请参见:配置Amazon S3数据源

1729147772855799.png

实时任务支持读取 MQTT 数据源

数据开发-实时任务读取 MQTT 数据源。如下图所示:

详情请参见:配置MQTT数据源MQTT输入

21.png

实时任务支持读取 IBM MQ 数据源

数据开发-实时任务读取 IBM MQ 数据源。如下图所示:

详情请参见:配置IBM MQ数据源IBM MQ输入

23.png

选表支持选字段

DB表输入、数据同步、参数赋值、全局参数-赋值参数中,配置方式为「选表」时,支持选字段。如下图所示:

1729148365621116.png

Hive 数据库支持配置高可用 HDFS 地址和 HDFS 用

配置 配置Hadoop Hive数据源 的数据连接时,在「HDFS设置」中,支持配置高可用 HDFS 地址和 HDFS 用户。如下图所示:

1729148812912485.png

Kafka 数据源支持 Kerberos 认证

Kafka 数据源支持 Kerberos 认证。详情请参见:配置Kafka数据源配置传输队列

4.1.13.1编辑

自动建表根据MySQL版本确定编码格式&行格式

定时任务、管道任务中,目标表为自动建表时,将自动根据 MySQL 版本确定编码格式和行格式。详情请参见:使用数据源

事件调度跳转优化

打开某个定时任务后,点击调度计划>事件调度>查看按钮」,将跳转至「运维中心>定时任务>调度计划>事件调度」界面并打开该事件调度。如下图所示:

25.png

Python算子运行逻辑配置

FINE_CONF_ENTITY 中新增参数 PythonConfig.metaFromMock,可控制 Python 算子的运行逻辑:

注:一般情况下无需修改该值,用户根据实际情况使用该参数。

  • 值默认为 false:使用上游算子预览的数据,执行一次 Python 算子的代码得到 Python 算子输出的元数据,再实际执行一次 Python 代码进行数据转换。

  • 将值修改为 true(需重启 FDL 工程):使用上游算子的元数据 mock 空数据,执行一次 Python 算子的代码得到 Python 算子输出的元数据,再实际执行一次 Python 代码进行数据转换。

修复BUG

本节中附上了已修复的 BUG 编号,若客户对某个 BUG 有问题可把对应编号发给技术支持进行解答(技术支持联系方式:前往「服务」,选择「在线支持」、电话「400-811-8890」)。

1)FDL-14191 用户使用数据集输入算子获取 BI 远程公共数据集数据,接「Python算子过滤不合法的 json 数据,接在 Python 算子后的节点报错无法获取源表字段。此版本已修复。

2)FDL-14274 远程公共数据连接密码带有%连接失败。此版本已修复。

3)FDL-14340 任务构建失败没有发送消息通知。此版本已修复。