4.1.11.5
定时任务数据同步优化
配置方式选择「选表」时,若选择了指定数据表,来源表界面展示表所在数据库或者模式,例如下面的来源表展示了所在数据库 demo1,如下图所示:
当数据来源的配置方式为「选表」时,若来源表支持主键,自动建表时字段映射默认选中来源表的主键和Not Null,如下图所示:
数据服务配置优化
配置方式选择「选表」时,若选择了指定数据表,界面展示表所在数据库或者模式,如下图所示:
管道任务同步优化
自动建表时从源表获取到表描述后自动填充到目标端,如下图所示:
修复BUG
本节中附上了已修复的 BUG 编号,若客户对某个 BUG 有问题可把对应编号发给技术支持进行解答(技术支持联系方式:前往「服务」,选择「在线支持」、电话「400-811-8890」)。
1)FDL-13745【来源PT项目】FDL资源迁移-定时任务bug,问题已解决。
2)FDL-13713 公共数据经过字段设置异常,此版本已修复。
3)FDL-13679 API接口返回空数据时,json解析报错:Spark执行错误-json parse error-Index: 4, Size: 1-json parse error-Index: 4, Size: 1,此版本已修复。
4)FDL-13654 API没返回数据时,json解析预览报错:Spark执行错误-json parse error-Index: 22, Size: 2-json parse error-Index: 22, Size: 2,此版本已修复。
5)FDL-13599 FDL任务卡死,此版本已修复。
6)FDL-13535 任务id太多了,外置库查询挂了,此版本已修复。
7)FDL-13488 【来源POC项目】sparksql算子bug,此版本已修复。
8)FDL-13463 【json解析】解析嵌套数组json时,第一层的数据不会随第二层的数据进行扩展,计划修复中。
9)FDL-13213 【来源PT项目】fdl接口取数浏览器崩溃,计划修复中。
10)FDL-12614 CRMBI测试连接不通【内部问题】,计划修复中。
4.1.11.4
若需试用实时任务,可联系技术支持(技术支持联系方式:前往「服务」,选择「在线支持」、电话「400-811-8890」)。
定时任务支持读取 FineLogDB(FDL) 数据
用户希望同步 FineDataLink 的 LogDB 数据到指定数据库,然后报表使用这些数据制作看板。
FineDataLink 支持连接 FineLogDB(FDL) 数据源进行定时任务读取。
详情请参见:配置 FineLogDB(FDL) 数据源
定时任务支持写入MaxCompute
详情请参见:MaxCompute数据源使用说明、配置MaxCompute数据源
支持实时任务
实时任务能够实时地把数据从 A 点投递到 B 点。在投递的过程中可能添加数据清洗的工作,例如实时数仓中的数据解析等。最终结果可供后续业务使用,以提高数据利用率和时效性,满足业务需求。
详情请参见:实时任务概述
修复BUG
本节中附上了已修复的 BUG 编号,若客户对某个 BUG 有问题可把对应编号发给技术支持进行解答(技术支持联系方式:前往「服务」,选择「在线支持」、电话「400-811-8890」)。
1)FDL-13526 从4.1.7.2升级到4.1.10.4,数据开发任务执行发现参数重复-Param: DataType报错(升级前正常),此版本已经修复。
2)FDL-13462 【来源PT项目】文件输入算子报错-文件不存在,但实际文件存在,问题解决。
3)FDL-13319 数据精度丢失,问题解决。
4)FDL-13244 写入starrocks2.2.13版本,管道运行报错,StarRocks支持的版本为 2.3以上。
5)FDL-12804 数据服务前端检验url是否重复没有检验出重复--来源【客户需求 840007】,此版本已经修复。
6)FDL-12708 生产模式和开发模式字段映射不同,此版本已经修复。
7)FDL-11854 数据中心里表过多时会导致页面崩溃,此版本已经修复。
4.1.11.3
升级兼容
4.1.x.x 版本升级推荐 4.1.11.3 以及之后的版本。
定时任务支持写入Elasticsearch
用户通过从关系型数据库中将待检索的数据写入到 Elasticsearch 里,将 Elasticsearch 作为加速层,支撑检索查询需求,或者作为数仓的 ADS 层。
「Elasticsearch输出」算子可将处理后的数据输出到指定 Elasticsearch 数据库中。
详情请参见:Elasticsearch输出、配置Elasticsearch数据源
新增公式列优化&补充更多公式函数
新增函数 REGEXP_SUBSTR-正则表达式提取字符串中相匹配的内容、UUID-返回36位随机字符串;
CONCATENATE-字符拼接支持拼接字符串、数值、日期;
FORMAT-格式转换增加示例;
优化新增列交互提示,写函数时下方联动出现函数介绍。
数据管道写入&定时任务读写&数据服务读支持 PolarDB PostgreSQL
详情请参见:配置PolarDB PostgreSQL数据源
修复BUG
本节中附上了已修复的 BUG 编号,若客户对某个 BUG 有问题可把对应编号发给技术支持进行解答(技术支持联系方式:前往「服务」,选择「在线支持」、电话「400-811-8890」)。
1)FDL-13406 FineOPS升级FDL后部分任务提示不存在,此版本已修复。
2)FDL-13357 sqlserver2000选表异常,血缘分析问题,可参见:血缘分析升级兼容
3)FDL-13326 4.1.6.5升级4.1.10.4最近一次的调度记录丢失,此版本已经修复。
4)FDL-13235 非管理员账号打开目录树存在性能问题,持续优化中。
数据源BUG
1)REPORT-126780 报表预览数据为空,此版本已修复。
2)FDL-12957 argodb服务器数据集查询,带点的字段名称无法正常显示,此版本已修复。
4.1.11.2
定时任务调用存储过程支持vertica和高斯200
HP Vertica 和 GaussDB 200 支持使用「SQL脚本」调用无返回值的存储过程。
GaussDB 200 支持存储过程表输入,可使用「数据同步/数据转换/参数赋值」返回存储过程单个查询结果集作为表输入,不支持返回游标结果集。
详情请参见:定时任务调用数据库存储过程
定时任务SQL脚本支持执行单条SQL和多条SQL
可以对SQL脚本设置是否进行切割发送到数据库进行执行,如下图所示:
详情请参见:SQL脚本
支持 YMatrix 数据源
FineDataLink 支持连接 YMatrix 数据库,进行定时任务读写、管道任务写入,以及作为数据服务数据发布源。
详情请参见:配置YMatrix数据源
修复BUG
本节中附上了已修复的 BUG 编号,若客户对某个 BUG 有问题可把对应编号发给技术支持进行解答(技术支持联系方式:前往「服务」,选择「在线支持」、电话「400-811-8890」)。
1)FDL-13187 OPS镜像升级到4.1.11.1后一直显示数据平台尚未启动成功,定制 JAR 已修复。
2)FDL-13170 运维平台升级后,FDL一直提示未启动成功,升级驱动即可。
3)FDL-13136 升级之后字段拆列异常【内部问题】,此版本已修复。
4)FDL-13095 fdl数据管理中如果用户没有增删改数据的权限,报错提示为「服务器内部错误」,此版本已修复。
5)FDL-12974 服务器数据集接个python在接个输出就报错,此版本已修复。
6)FDL-12863 rfc读取的日期时间类型经过spark计算后会变成日期类型,RFC 的时间类型映射成了 JDBC 的 Date 类型,后续计算就会丢掉时分秒,可以修改字段映射类型。
数据源BUG
1)REPORT-123697 【数据集】存储过程无法预览,此版本已修复。
2)REPORT-128710【数据连接-服务器数据集】升级后oracle数据库查询多出raak列,此版本已修复。
4.1.11.1
升级说明
血缘分析:
在升级过程中遍历任务校验数据连接,因此所有任务中若有数据连接连不上,会导致升级耗时变长。
使用血缘需要重新申请lic文件,功能点为数据血缘(试用),详情参见:功能点注册
事件调度:
升级后事件调度不可新建和编辑,需要重新申请lic文件,功能点为调度计划-高级功能(试用),详情参见:功能点注册
事件调度升级时会把存在任务上下游关系的调度整合到一个事件调度中,升级后事件调度数量可能会减少,详情参见:升级限制
如果升级后要退回,回退后必须回退 finedb,否则事件调度会丢失。
事件调度判断条件优化
支持设置当前任务执行的条件,并配置上下游任务组
支持重试当前任务以及下游任务,根据「事件调度」中配置的任务关系&条件内容,判断下游任务是否触发。
详情请参见:事件调度
支持查看血缘关系
定时任务&管道任务&数据服务任务中查看数据表、API(数据服务)、定时任务节点、管道任务的血缘关系。
详情请参见:血缘分析
DB输出(事务)性能优化
Greenplum 使用事务输出算子时,如果去向表有主键且写入方式为冲突覆盖,并行装载阶段速度会大幅上升。
修复BUG
本节中附上了已修复的 BUG 编号,若客户对某个 BUG 有问题可把对应编号发给技术支持进行解答(技术支持联系方式:前往「服务」,选择「在线支持」、电话「400-811-8890」)。
1)FDL-12980 升级4.1.10.2sqlserver写入报错sql is null,此版本已修复。
2)FDL-12898 升级之后任务调度报错任务构建失败,此版本已修复。
3)FDL-12892 numpy2.0下python算子预览报错,numpy2.0版本(2024年6月16号发布)不再支持np.float,无法调整类型,正在优化中。
4)FDL-12870 DB表输入预览失败的话,上下合并会白屏,此版本已修复。
5)FDL-12862 分组汇总算子对字符串汇总长度超出1000被截断,此版本对文本字段进行汇总-去重拼接时,放大字段长度至 100000。
6)FDL-12861 管道ddl后字段映射处显示异常,此版本已修复。
7)FDL-12839 字段拆列速度奇慢,此版本已修复。
8)FDL-12835 生产模式下可以复制粘贴算子,此版本屏蔽快捷键。
9)FDL-12834 管道任务在重试未结束前进行新的脏数据重试操作,提示信息不友好,正在优化中。
10)FDL-12824 全量阶段脏数据信息仅保留第一个主键,此版本已修复。
11)FDL-12654 调度计划页面加载巨慢【内部问题】,此版本已修复。
12)FDL-12534 参数赋值配置面板里输入框改动,在画布处点击,改动不生效,此版本已修复。
13)FDL-12333 连接池历史活跃连接数没有释放,空闲连接数和数据库连接池对的上,显示正常,此版本已修复。
14)FDL-11251 10093 调度计划的下一次运行时间计算异常【内部问题】,此版本已修复。