兼容说明
1）4.1.6.2 及之后版本，JSON 解析算子中，JSON 路径默认从根节点开始，生成完整的绝对路径；若升级前用户配置了 JSON 相对路径，则升级后默认不勾选相应节点。
2）4.1.6.2 及之后版本，「Python 算子」加载文件时，默认运行的路径从%fdl_honme%\webapps\webroot\WEB-INF\assist\python迁移到%fdl_honme%\webapps\webroot\WEB-INF\plugin\fdl_python
3）升级到 4.1.6.5 及之后版本，定时任务列表中，目录树均初始化为「按名称排序」的结果。
4）4.1.6.5 之前版本，定时任务名称已超过 60 字符，升级到 4.1.6.5 及之后版本，保留任务名称，修改任务名称时，限制 60 字符。
4.1.6.5
定时任务支持添加任务描述
新建定时任务时，可为定时任务添加任务描述；定时任务保存后，可修改描述。如下图所示：
详情请参见：数据开发界面介绍
定时任务/管道任务/API及所在的文件夹，支持拖拽排序
定时任务/管道任务/API及所在的文件夹，支持拖拽排序。如下图所示：
详情请参见：数据开发界面介绍、单个管道任务管理、数据服务运维
修复BUG
本节中附上了已修复的 BUG 编号，若客户对某个 BUG 有问题可把对应编号发给技术支持进行解答（技术支持联系方式：前往「服务」，选择「在线支持」、电话「400-811-8890」）。
1）FDL-11209 集群工程中管道任务源端为 Oracle，升级到 4.1.6.4 版本后，读取编号为 0 的管道任务异常终止。此版本已修复。
2）FDL-11188 4.1.0 版本的工程，定时任务中「MongoDB输入」算子中选择「条件查询」，配置之后，再选择其他查询方式。升级到 4.1.6.4 版本后，再选择「条件查询」，任务报错。此版本已修复。
3）FDL-11180 定时任务中，Oracle 数据同步到 Greenplum 数据库，开启并发读取和DDL，后台报错select * from null where 1=2。此版本已修复。
4）FDL-11178 4.1.1 升级到 4.1.6.4 后，工程重启成功，但管道任务报错Get pipeline task listerror。此版本已修复。
5）FDL-11147 定时任务无法终止，但任务运维中已显示失败。此版本已修复。
6）FDL-11125 定时任务写入 PostgreSQL 数据库的 jsonb 字段，写入报错：ERROR: cannot cast type bytea to jsonb。此版本已修复。
7）FDL-11037 4.1.6.2 版本，JSON 解析时，报错：Spark 执行错误：json parse error -index:0,size:0；此版本已修复。
8）FDL-10986 管道任务源端为 Oracle 数据库，增量阶段一个事务中处理的数据大于 1w 条时，会将记录缓存到磁盘中，如果任务在事务未提交前就暂停或者异常失败以及工程异常（kill -9等）退出，会导致缓存文件无法删除。此版本已修复。
4.1.6.4
定时任务支持写入MongoDB
有些用户业务系统的数据库是 MongoDB，需要通过定时任务将数仓或其他业务系统的数据输出到 MongoDB 。
1）「数据同步」节点中，可将数据输出到 MongoDB。如下图所示：
2）「数据转换」节点中，新增「MongoDB输出」算子，可将处理后的数据输出到 MongoDB。如下图所示：
详情请参见：MongoDB输出
支持导出 API 说明文档
API 开发完成后，需要将 API 说明文档提供给调用者，供调用者查看，本版本可将 API 说明文档导出。
如果用户有某应用的管理权限，可以点击「导出API文档」按钮，导出该应用下所有上线API的说明文档，文档格式为 word 。如下图所示：
详情请参见：导出 API 文档
发布 API 步骤优化
详情请参见：发布API概述
1）「发布内容及参数」步骤中，增加返回值配置。如下图所示：
可不点击「获取」按钮获取返回值，不影响 API 的正常使用；但若不获取，导出的 API 文档中，该 API 的返回内容不完整。
2）API 详情页中，展示返回值。如下图所示：
修复BUG
本节中附上了已修复的 BUG 编号，若客户对某个 BUG 有问题可把对应编号发给技术支持进行解答（技术支持联系方式：前往「服务」，选择「在线支持」、电话「400-811-8890」）。
1）FDL-11129 每天都有几个定时任务为「中断」状态，finedb 中查看 fine_dp_work_exec_record 表，taskStatus 值为INVALID。此版本已修复。
2）FDL-11128 Greenplum 并行装载写入条数不准确。此版本已修复。
3）FDL-11101 SQLServer 数据写入到 SQLServer，并发读取时报错：数据来源端中断退出。此版本已修复。
4）FDL-11066 4.1.5.3 升级到 4.1.6.3，部分定时任务升级失败，日志报错：数据连接失败以及找不到需要重命名的文件。此版本已修复。
5）FDL-11064 双节点集群环境，4.1.6.2 升级到 4.1.6.3 版本之后，平台可以启动，数据开发报错数据平台启动中。此版本已修复。
6）FDL-11044 在以前创建的定时任务中，点击之前创建的备注，页面会卡死，持续等待响应。此版本已修复。
7）FDL-11018 在进行接口全量取数时，pagesize 设置到7000，可以预览到数据但是运行后却没有数据读取写入。通过日志判断用户单次请求超过了64M，按理应该抛出异常，但是却运行成功了。此版本已修复。
8）FDL-11012 数据同步任务未开启脏数据容忍，脏数据成功写入，但写入的是 NULL 值。此版本已修复。
9）FDL-10961 用户管道来源和目标端都是 pgsql ，来源表的 geometry 字段类型适配有问题，这个类型的字段取消映射后，还是影响到了管道任务。此版本已修复。
10）FDL-10331 4.1集成到 BI 的工程，「本地公共数据更新」按钮关闭，点击「DB表输出」，会对 BI 进行请求，然后报错。此版本已修复。
4.1.6.3
数据开发界面可查看节点运行状态
定时任务运行后，用户希望可在任务编辑界面快速定位到出错节点、快速看到本次运行了哪些节点。
所以本次版本，定时任务编辑界面中新增「显示/隐藏节点状态」按钮，若开启「显示节点状态」按钮，画布内可显示节点运行状态。如下图所示：
详情请参见：数据开发界面介绍 3.10 节内容。
运行状态图标含义：
任务禁止被多人同时编辑
一个任务同时被多人打开编辑时，先保存的内容会被之后保存的内容覆盖，导致前者开发内容被误删。
本次版本，定时任务、管道任务、API任务、数据服务应用禁止被多人同时编辑。用户编辑某个任务时，其他用户也打开该任务，则会提示：当前任务/API/应用正在被XX编辑，其他人无法编辑该任务，只能查看。如下图所示：
详情请参见：任务禁止被多人同时编辑
定时任务支持读取 Gbase 8s
定时任务支持读取 Gbase 8s。
数据服务适配更多数据源
数据服务支持 GBase8s、KingbaseES、ClickHouse、HANA、达梦、Vertica 数据源。
修复BUG
本节中附上了已修复的 BUG 编号，若客户对某个 BUG 有问题可把对应编号发给技术支持进行解答（技术支持联系方式：前往「服务」，选择「在线支持」、电话「400-811-8890」）。
1）FDL-11030 管道任务中设置「仅增量同步+自动建表」，运行后自动建表不成功，运行报错找不到表，数据库中也没有表。此版本已修复。
2）FDL-11001 非管理员查看定时任务的全量运行记录时，需要耗时 6 min，管理员同样操作只需 1 s。此版本已修复。
3）FDL-10987 用户的调度开始时间为 2024-02-02，每隔 4 小时执行一次,，中间把调度停了一段时间，调度再开启后，FDL 创建了 2 月 2 日到 3 月 19 日每天 6 个共 276+ 个任务实例，导致大量任务排队。此版本已修复。
4）FDL-10985 4.1.6.2 版本，定时任务中数据同步到 doris，多任务运行时会报错FDLIntegrationConfig.fdlDorisLoaderMemory插入主键冲突。删掉字段再重启，这个字段又会自动加上。此版本已修复。
5）FDL-10974 用户管道任务来源端是 oracle，目标表是 starrocks ，选择自动建表同步数据；自动建表时，无法选择表模型，不选择表模型自动建表报错Create olap table should contain distribution desc。此版本已修复。
6）FDL-10951 集群工程中，定时任务无法终止。此版本已修复。
7）FDL-10928 用户管道任务将 MySQL 数据同步到 starrocks，总是出现脏数据。此版本已修复。
8）FDL-10864 4.1.5.5 版本，Oracle 数据同步到 doris，目标表为自动建表时，任务执行需要 130 多秒。此版本已修复。
9）FDL-10695 云端运维插件占用 CPU 。此版本已修复。
10）FDL-9101 sap hana数据连接时，报错认证失败。此版本已修复。
11）FDL-11034 管道任务中批量修改目标表为已存在表，运行后报错：get pk names failed，此版本已修复。
4.1.6.2
数据转换内的算子支持禁用
支持禁用数据转换内的算子。如下图所示：
详情请参见：节点支持禁用
JSON解析算子使用体验优化
详情请参见：JSON解析算子功能说明
1）JSON解析支持同时解析多个字段，减少「简道云输入」多个复杂字段的解析成本。如下图所示：
2）所有生成的 JsonPath 默认从根节点开始，生成完整的绝对路径，用户可手动修改。
3）当 JSON 数据存在多层且有同名字段时，会自动给重名字段增加后缀，如下图所示：
4）支持同时解析一个JSON源字段的数组部分和非数组部分 。
例如想要解析在不同增层级中的 class 和 name 字段，则可直接选择对应的字段，即可同时解析一个数据源的数组和非数组部分，如下图所示：
5）在「选择JSON节点」时，用户可以通过粘贴JSON文本的方式修改选择节点的内容，以防止出现上游有多行 JSON 文本流进时，因为第一行的 JSON 属性较少，导致其他json属性无法直接选择的情况 。
例如，若选择节点处缺少需要选择的 JSON 属性，则可以手动粘贴包含需要选择的 JSON 属性文本，如下图所示：
然后即可在节点中选择想要解析的字段 。
6）使用两个「JSON解析」算子，分别解析两个不同字段。但「选择JSON节点」时，两个「JSON解析」算子选择的字段名相同，都为 name 。如下图所示：
4.1.6.2 之前版本，此场景下，若有多个「JSON解析」算子，解析后字段名称不能相同，需要修改解析后字段名称。否则，后面的同名字段会覆盖前面的同名字段。
4.1.6.2 及之后版本，字段重名时，重名字段名称后会自动递增数字。
修复BUG
本节中附上了已修复的 BUG 编号，若客户对某个 BUG 有问题可把对应编号发给技术支持进行解答（技术支持联系方式：前往「服务」，选择「在线支持」、电话「400-811-8890」）。
1）FDL-10860 集群节点重启后，调用子任务时会卡住，此版本已修复。
2）FDL-10859 工程是 4 节点集群，升级到 4.1.6.1 后，四个节点内存都占满。此版本已修复。
3）FDL-10850 升级后打开定时任务，显示：任务不存在，无法获取文件。此版本已修复。
4）FDL-10843 文件输入算子中，上传 XLSX 大写结尾的文件加载会异常。此版本已修复。
5）FDL-10714 集群节点失去响应时，该节点上运行的任务无法终止。此版本已修复。
6）FDL-10701 失联节点重启后, 任务自动变成中断状态，但是有终止按钮。此版本已修复。
4.1.6.1
库表管理功能
针对以下场景：
1）SQL 调试：数据开发过程中，数据开发人员常常需要编写和调试 SQL ，目前在 FDL 中不能预览 SQL 执行结果，用户往往在数据库中执行 SQL 确认无误后，再复制到 FDL 中，数据开发过程涉及多个工具参与，不够方便便捷。
2）查看数据处理效果：FDL 中数据经过处理后，没有一个专门的入口查看处理效果是否符合预期，用户只能通过参数赋值、数据同步等取数类节点或者第三方数据库管理工具查询数据。
本次版本新增「库表管理」功能。
用户可在 FDL 内进行SQL的编写/调试、查看新建表效果、删除表、清空表、复制表等操作。如下图所示：
详情请参见：库表管理
登录页底部可显示备案信息
FDL 工程登录页可显示备案信息。如下图所示：
详情请参见：显示备案信息
上下合并算子优化
上下合并算子中，修改合并结果字段名称后，若再修改合并的数据表字段，不影响合并结果字段名。如下图所示：
详情请参见：上下合并
分组汇总算子优化
详情请参见：分组汇总算子
1）「分组汇总」算子内支持切换维度和指标，如下图所示：
2）支持拖拽移除，如下图所示：
3）将数值字段拖入「维度分组」并选择「区间分组」后，需要保证分组区间没有重合，且不支持设置数值区间属于无限制。
参数赋值节点界面优化
在「参数赋值」节点中批量操作时，优化界面上按钮名称和备注，使其更好理解。如下图所示：
详情请参见：参数赋值节点
节点支持禁用逻辑优化
对于「参数赋值」「条件分支」「虚拟节点」这些不支持单独运行的节点，当其下游节点设置为「禁用」，则该节点不支持设置「运行节点及下游」。如下图所示：
详情请参见：节点支持禁用
管道任务支持写入达梦数据库
管道任务支持写入达梦数据库。
修复BUG
本节中附上了已修复的 BUG 编号，若客户对某个 BUG 有问题可把对应编号发给技术支持进行解答（技术支持联系方式：前往「服务」，选择「在线支持」、电话「400-811-8890」）。
1）FDL-10820 管道任务中，来源端为 kafka 数据源，报错数据连接失效，此版本已修复。
2）FDL-10069 父任务配置了重试机制，当子任务在第一次运行失败，第二次成功运行时，点击「日志」Tab下的「查看日志」按钮，只会显示最近一次成功运行的日志，而不是第一次失败的日志。此版本已修复。
上一篇：4.1.7更新日志
