4.2.16更新日志

MySQL 读取方式支持 GTID

实时管道、实时任务中，MySQL 数据库作为源端，支持 GTID 的读取方式。

详情请参见：MySQL环境准备（GTID）

库表管理优化

左侧列表展示全量数据连接、库/表等文件

优化前：左侧列表仅支持展示单一数据连接下的库/表等文件，无法同时查看不同数据连接下的文件。

优化后：全量展示文件夹、数据连接、库/表等文件。

详情请参见：库表管理

SQL 脚本独立管理

详情请参见：库表管理

优化前：用户在数据管理模块进行查询数据或处理表单等操作时，SQL脚本与数据连接强相关，切换数据连接会关闭该连接下SQL脚本，操作麻烦。

优化后：

1）删除原 SQL 编辑器入口，将入口调整至每个数据连接下的「调试SQL」分组下，该分组展示此连接下的所有 SQL 脚本，方便查看和管理。

2）支持在右侧打开并管理多个归属不同数据连接的脚本，各脚本完全独立；切换数据连接不会影响右侧的编辑器。

支持导出 SQL 查询结果

支持展示 SQL 查询结果的总行数，支持导出查询结果。

详情请参见：调试SQL

文件传输算子优化

优化前：文件去向配置中，若文件夹地址中使用了参数，运行后，对应路径没有文件夹时，输出会报错。

优化后：当配置的文件夹地址不存在时，可选择「自动创建」或「运行报错」。运行时发现文件夹地址不存在，可以自动创建文件夹并输出数据。

详情请参见：文件传输功能说明

数据服务配置请求Body时增加JSONPath配置方式

优化前：旧版本升级到 4.2.6.2-4.2.16.3 版本，若升级前接口为 POST 请求方式&& Body 格式为 application/json&&自定义参数为多个，升级后若再编辑保存该接口，调用该接口时传参的顺序不能变，否则参数传入会错位。

优化后：

• 旧版本升级到 4.2.16.4 及之后版本，不会出现上述问题。

• 若已经出现上述问题，升级到 4.2.16.4 及之后版本，可点击「API接口配置-请求参数」中的「自定义 JSONPath」按钮，修改JSONPath。

详情请参见：数据查询API功能说明

修复BUG

本节中附上了已修复的 BUG 编号，若客户对某个 BUG 有问题可把对应编号发给技术支持进行解答（技术支持联系方式：前往「服务」，选择「在线支持」、电话「400-811-8890」）。

1）FDL-23703 Hive 数据连接失败。此版本已修复。

2）FDL-23730 OceanBase（MySQL模式）数据连接配置完成后，基础配置信息展示不全。此版本已修复。

3）FDL-23768 实时管道任务中，json 数据在写入到目标端的时候出现了异常。此版本已修复。

4）FDL-23765 实时管道任务中，sqlserver 同步数据到 doris，时间默认补全年月日 1970-01-01。此版本已修复。

5）FDL-23735  修改传输队列中的 topic 大小上限未生效。此版本已修复。

6）FDL-23799 oracle管道启动报错。此版本已修复。

7）FDL-23004 实时管道任务批量同步表，部分表描述未同步。此版本已修复。

8）FDL-23783 实时管道任务 mysql 写入 YMatrix 报错脏数据。此版本已修复。

字段映射规则优化

详情请参见：通用配置-字段映射规则

来源端/目标端数据连接配置优化

1）原「适用数据连接」分为「来源端数据连接」与「目标端数据连接」。如下图所示：

2）下拉框中新增「全部数据连接」选项，支持选择同一数据库下所有数据连接进行字段映射配置，统一配置映射规则。在减少重复工作量的同时，也避免了逐个配置可能导致的规则不一致问题。

映射规则优化

1）支持识别无精度的 number 和 varchar 类型；

2）SQL Server 数据库中 decimal 、numeric 类型的映射规则，默认标度从 0 开始；

3）来源字段的下拉框旁新增切换按钮，支持切换为「输入框」，支持自定义输入特殊字段类型进行配置。如下图所示：

实时管道复制逻辑优化

优化前：复制实时管道任务后，会跳转到新建任务页面，让用户以为点击保存才能生效；且点击保存后，会导致原任务的一些自定义配置丢失。

优化后：实时管道任务复制后，原样复制，直接进入复制后任务的详情页。

采集任务异常中止提示优化

优化前：采集任务异常中止时，在实时管道、实时任务处打印的日志是「被手动暂停」，而且现在共享中心的接口没区分手动暂停和异常中止，造成误解。

优化后：优化提示，更改为「采集任务xx已停止运行，管道任务中止同步」。

外部系统调用定时任务接口优化

优化前：外部系统调用定时任务接口时，默认触发当前任务，下游事件调度不能触发。

优化后：支持调用时使用「运行本任务及下游」方式，如需运行下游，需要在请求 body 中增加请求参数 triggerDownstream：true 。

详情请参见：定时任务相关接口介绍

修复BUG

本节中附上了已修复的 BUG 编号，若客户对某个 BUG 有问题可把对应编号发给技术支持进行解答（技术支持联系方式：前往「服务」，选择「在线支持」、电话「400-811-8890」）。

1）FDL-23361 升级至 4.2.14.1 后启动实时管道报错：CaptureGlobalConfig is not initialized yet。此版本已修复。

各功能模块界面优化

首页内容优化

定时任务、实时任务、实时管道、定时管道、数据服务、数据检测首页内容中，显示该功能模块创建任务时的流程图、任务概览、最近编辑任务、我的收藏任务等。如下图所示：

详情请参见：定时任务界面介绍

新增收藏功能

定时任务、实时任务、实时管道、定时管道、数据服务、数据检测任务支持收藏/取消收藏，收藏后，将展示在功能模块首页，方便查看。

任务信息界面中新增最近编辑时间

定时任务、实时任务、实时管道、定时管道、数据服务、数据检测任务详情页或者任务信息功能中，显示最近编辑时间。

任务管理表格中新增最近编辑人、最近编辑时间

定时任务、实时任务、实时管道、定时管道、数据服务、数据检测的任务管理表格中，新增最近编辑人、最近编辑时间字段。

运维概览界面优化

运维概览 界面中，定时任务指标卡新增「待更新」的定时任务数。

资源导入优化

详情请参见：批量导入导出定时任务、调度计划

支持创建数据连接

优化前：在导入资源前，用户需要做一些准备来适配自身环境，需要严格按照流程，不然整个导入过程不顺畅。

优化后：匹配数据连接时，若替换时没有可选择的数据连接，点击「去创建」按钮，配置数据连接后，下拉框中自动增加新的数据连接，导入前无需额外准备。

导入内容展示优化

导入内容展示优化，将内容分为「导入的资源」和「导入的依赖配置」两类；依赖配置中，分开展示「全局参数」和「调度日历」。

全局参数支持修改参数值

导入资源时，支持修改全局参数的参数值。

Doris & StarRocks 数据连接支持参数配置

Doris 和 StarRocks 数据连接新增「参数配置」，可通过配置参数，写入时仅更新指定字段，提升大数据量场景下的数据写入性能。

详情请参见：配置星石数据库StarRocks数据源、配置Doris数据源

数据服务应用绑定体验优化

创建API时支持新建应用

优化前：

创建 API 时若想绑定应用只能绑定已有应用。

优化后：

创建 API 时若想绑定应用，支持新建应用，将 API 绑定到新建应用中。

API详情页优化

1）API详情页，绑定应用处，可：将 API 绑定到其他应用上、显示且可复制完整访问路径、解绑应用、修改授权有效期。

2）API 详情页展示最近编辑时间。

应用详情页优化

1）应用编辑界面表格中「API路径」修改为「访问路径」，「访问路径」下显示完整的API地址。

2）应用详情页增加最近编辑时间。

规则管理中应用的生效路径为完整地址

配置黑白名单-自定义规则、流控规则&报警规则 中，添加应用后，应用的生效路径为完整API地址格式。

修复BUG

本节中附上了已修复的 BUG 编号，若客户对某个 BUG 有问题可把对应编号发给技术支持进行解答（技术支持联系方式：前往「服务」，选择「在线支持」、电话「400-811-8890」）。

1）FDL-23710 定时任务读取数据时报错：Caused by: java.lang.ArrayIndexOutOfBoundsException。此版本已修复。

2）FDL-23653 5.0 集群高可用测试后(网络延迟、丢包)，任务启动出现异常。此版本已修复。

3）FDL-23694 数据服务中，大数值调用返回科学计数法。此版本已修复。

4）FDL-23701 任务执行失败后，重试卡住。此版本已修复。

5）FDL-23673 启动任务后会自动停止并无法启动。此版本已修复。

新增定时任务触发方式

定时任务运行记录中，触发方式新增「定时任务调用」类型。当父任务运行后，其调用的子任务触发方式归为「定时任务调用」。

详情请参见：定时任务运维-运行记录

数据查询 API 参数调试值支持 NULL 值

数据查询 API 的参数和变量设置项中，调试值可选择：NULL值、自定义，便于测试时区分 NULL 值与空字符串。

详情请参见：数据查询API功能说明

查看模式视觉优化

对定时任务、实时管道、数据服务三大模块的查看模式进行视觉优化，精简冗余信息，提升信息密度，让内容更直观易读。

以定时任务为例，生产环境下，界面仅保留核心配置信息，一目了然。

修复BUG

本节中附上了已修复的 BUG 编号，若客户对某个 BUG 有问题可把对应编号发给技术支持进行解答（技术支持联系方式：前往「服务」，选择「在线支持」、电话「400-811-8890」）。

1）FDL-22887 文件输入预览报错：thread interrupt error。此版本已修复。

2）FDL-18302 读取服务器的 EXCEL 时，数字精度丢失。此版本已修复。

3）FDL-23660 实时任务运行报错内存超限。此版本已修复。

4）FDL-23539 SAP HAHA 同步到 MySQL 有延迟问题。此版本已修复。

5）FDL-23564 实时管道任务中，若来源表有注释，目标表为 Oracle，自动建表会报错。此版本已修复。

6）FDL-23593 SQL Server2000，DB 表输入选表时报错。此版本已修复。

7）FDL-23612 文件输入读取 CSV 文件时，「读取列范围」没有生效。此版本已修复。

8）FDL-23627 SAP HAHA 源端，读取日志时间解析异常。此版本已修复。

9）FDL-23620 实时管道任务中设置分区键，执行后该表未建立分区。此版本已修复。

10）FDL-23610 SFTP 多文件合并读取缺少数据。此版本已修复。

11）FDL-23481 采集到的 DB2 的增量数据，消息时间为 2016 年。此版本已修复。

12）FDL-23576 定时任务模块卡死，任务无法保存。此版本已修复。

13）FDL-23651 实时管道任务重命名后报错任务不存在。此版本已修复。

14）FDL-23609 将数据写入 FineBI 中，已存在表缺少更新目标表功能。此版本已修复。