更新日志索引

1）定时任务重试支持设置指定业务日期

2）数据转换新增分组汇总算子

3）新增「字段拆行」/「字段拆列」算子 

4）新增通用JDBC取数插件

5）定时任务支持筛选脏数据、支持显示脏数据错误堆栈

6）数据服务API支持发布Starrocks、GaussDB、MaxCompute数据源

7）数据管道支持多租户架构的Oracle作为数据来源

8）管道任务支持查看和筛选脏数据

9）优化内置参数${cyctime}的取值逻辑

10）优化定时任务重试的逻辑

11）优化 Greenplum 数据源写入

12）优化 GaussDB 200数据源写入

13）优化单个管道任务管理

1）支持设置业务日志-诊断日志的级别

2）支持手动/自动清理任务运行记录

3）依赖任务/调用任务中屏蔽成环任务

4）管道任务支持无主键表的同步，详情请参见：配置管道任务-选择数据去向

5）管道任务Oracle数据源支持对接XStream

6）支持 SQL Server 作为来源端的 DDL

7）过滤/条件分支里的判断逻辑统一和优化，详情请参见：条件判断逻辑说明

8）打开多个定时任务时，支持左右拖拽更换打开顺序

9）配置私有云数据连接时，暂不需要 SSL 证书

10）定时任务 API 对接取数优化

1）新增和优化注册方式

2）定时任务新增内置参数

4）定时任务数据转换支持上下合并

5）数据服务定义API时支持绑定应用和测试

6）数据服务支持指定多级API路径

7）数据服务API支持发布(Doris\Impala\TiDB\星环)数据源

8）定时任务连线交互优化

9）数据服务调用API报错优化

1）数据支持输出为 Excel 形式

2）定时任务中支持设置全局参数

3）支持设置定时任务的调度依赖和优先级

4）支持可视化展示定时任务的调用关系/依赖关系

5）定时任务&管道任务&API任务支持导入导出

6）管道任务支持增量同步

7）数据管道和数据服务适配集群

8）数据服务支持按照应用维度查看调用记录

9）4.0.30 版本，暂时屏蔽 独立部署下定时任务结果输出至FineBI 功能

10）FDL 适配高版本 Kafka

1）支持调用定时任务相关接口

2）定时任务支持Bat脚本

3）定时任务节点支持禁用

4）数据服务发布API支持摘要认证方式

5）定时任务支持脏数据配置

6）定时任务提供Python算子

7）管道任务DDL同步支持PostgreSQL数据源

8）支持将 BI SQL 数据集中的参数作为 API 请求参数。

BI SQL 数据集参数支持在定时任务中使用

9）管道任务日志读取权限检测和优化主键冲突策略

10）管道任务支持以文件夹进行权限管理

1）新增「Python脚本」节点，支持直接调用 Python 脚本

2）数据服务可通过应用管理API。详情请参见：绑定API至应用

3）数据发布 API 支持 GET 请求方式和更多 BODY 格式，详情请参见：使用数据服务发布的API（GET 请求）、（POST x-www-form-urlencoded请求）

4）定时任务支持读取和写入 TiDB 数据库、Amazon Redshift 数据库

5）管道任务支持写入 Clickhouse、TiDB、Amazon Redshift、SeaboxMPP 数据库

6）数据发布API查询功能优化。详情请参见：发布API-多值查询、发布API-查询NULL值数据、发布API-忽略参数查询条件

7）消息通知 节点新增飞书渠道

8）「任务控制>结果通知」中，新增钉钉、飞书、企业微信通知渠道；通知内容展示具体节点和日志报错；短信/邮件/平台渠道，可基于平台体系配置通知对象

9）「管道控制>结果通知」中，新增钉钉群机器人、飞书群机器人、企业微信群机器人通知渠道；短信/邮件/平台渠道，可基于平台体系配置通知对象

10）数据同步节点 新增「基于标识字段，追加/更新/删除数据」的写入方式，帮助用户灵活实现数据的增删改

调整「写入方式」和「字段映射」的顺序，更加符合实际业务逻辑

1）FineBI「公共数据」支持作为数据库来源端和发布为API

2）独立部署工程支持将数据输出至 FineBI 公共数据

3）定时任务支持批量配置和管理调度

4）独立部署工程支持集群

5）管道任务交互优化和文件夹管理

6）管道脏数据查看和处理&日志整体优化

1）FDL 支持在 WebSphere 和 Weblogic 中部署。

2）数据服务支持权限和注册控制：

• 用户若想使用 数据服务 功能，需要注册「数据服务-基础」功能点

• 数据服务在未注册和注册到期时进行功能限制

• 数据服务功能支持授权和管理权限的配置

3）数据支持输出为 CSV 文件形式。详情请参见：文件输出

4）定时任务支持读取 MaxCompute 数据

5）定时任务「调度配置」中，新增「超时限制」和「失败重试」功能。详情请参见：定时任务调度配置

6）API 任务和定时任务支持复制

7）管道任务新增「失败重试」功能，可设置重跑次数和间隔时间。详情请参见：设置管道控制

支持使用 StarRocks 数据库作为「数据管道」管道任务的写入端；

2）支持使用星环 TRANSWARP INCEPTOR 数据库作为「数据开发」定时任务的读写端

3）文件输入优化。

• 支持批量读取同格式的Excel和CSV文件。

• 支持 Excel 和 CSV 文件自定义输出字段类型。

• 支持CSV文件跳过前N行取数。

• 支持TXT文件读取，选择 CSV 类型支持 TXT 文件读取。

• 支持忽略后缀名大小写读取，不需要手动修改文件后缀即可自动识别读取，更加便捷。

1）数据管道支持 Doris 作为写入数据源

2）定时任务的读写支持 Doris 数据源

3）对于无法设置物理主键的数据表，数据管道支持设置逻辑主键

4）「数据转换」节点中新增「新增计算列」算子，可利用原有字段通过引用或计算获得一个新的字段

5）API 配置中的 body 请求内容支持使用 Content-Type 为 form-data 和 x-www-form-urlencoded 请求格式，允许添加多行、每行均为自定义输入、支持引用参数，详情参见 功能说明中的Headers请求参数表格

其中，API 输出、数据同步-API、API输入、参数赋值的API输入 中都做了上述修改

1）定时任务运行日志由原来的 http 请求获取改为 websocket 推送的方式，提高了日志推送效率

2）登录页风格优化

1）独立部署的 FineDataLink ，资源迁移支持次管可用

2）定时模块中，自动建表支持设定主键

3）DB表输出算子 的数据去向 Tab、数据同步节点 的数据去向 Tab、数据管道 的选择去向步骤中，若数据源有模式，支持将数据输出到指定模式的某张表中

4）SQL 编辑器使用体验优化

5）数据源类型、数据连接使用体验优化

6）Oracle数据源作为来源端，适配同步源表结构变化

1）支持实时同步读取 Kafka 数据，转换成 JSON 格式数据并将其解析成二维表，实时同步至指定数据库。

2）数据管道任务目标端同步源表结构变化支持：gaussDB200、SQLServer、Oracle、PostgreSQL、Greenplum、Greenplum（并行装载）数据库。

3）新增数据服务功能，支持将处理好的数据库中的数据通过 API 形式发布出去，供其他工具使用。

1）支持新建独享版简道云的数据连接，可通过 FDL 从独享版简道云中取数据，或者写入数据

2）用户有多套业务系统，在其他系统维护好的主数据可以通过「简道云输出」算子同步到简道云表单，供简道云使用

3）「数据同步」节点的数据去向 Tab 中，数据源类型支持简道云，可通过「数据同步」节点实现简道云表单间的数据迁移

4）「数据转换」节点中，用户可根据业务需要，对不同字段给予加工处理后再流向不同表

5）用户可以定时从 Vertica 数据库取数或往 Vertica 数据库写数

1）新增「数据过滤」功能，可进行数据过滤处理。

2）新增「JSON 生成」功能，生成 JSON 格式数据。

3）新增「API 输出」功能，通过 API 写入满足应用集成场景。

1）新增数据比对算子

2）数据写入方式-插入/更新/删除优化

3）「管道任务」、「数据同步」、「数据转换」等任务进行「自动建表」同步数据时，表名和字段名支持大小写转换，表名、字段名支持大小写自动纠正

4）实时同步支持Oracle18c、19c、Oracle RAC集群读取

5）管道任务支持批量设置表名前后缀

6）定时任务运行记录支持查看节点运行状态

7）集成部署 客户若未购买 FDL ，集成部署后的工程将屏蔽 FDL 功能入口，避免给客户带来困扰

1）数据管道任务支持MySQL 数据库同步源表结构变化

在源数据库发生DDL（删除表、新增字段、删除字段、修改字段名称、修改字段类型（长度修改 & 兼容类型修改））时，可以自动同步这些来源端变化至目标端。

2）API 加密认证取数优化

3）数据开发校验数据量优化

1）FineDataLink 「数据转换」节点新增行转列，将多行一列数据转为一行多列显示。

2）支持使用人大金仓KingbaseES V8 数据源进行定时任务开发。

3）数据管道数据去向写入端支持 Greenplum、Greenplum（并行装载），便于用户业务库实时同步数据至GP数仓。

1）FineDataLink 数据转换新增「文件输入」功能，从 FineDataLink 服务器本地或者共享目录中读取 Excel 、CSV 文件数据。同时可以通过 FDL 将Excel 、CSV 文件直接上传至 FDL 服务器本地。

2）FineDataLink 「数据同步」、「数据转换」、「参数赋值」支持 FTP、SFTP 、本地服务器目录数据源，便于用户对文件数据进行处理。

3）在同步数据时，存在一些用户并不想真正删除目标端的数据，FineDataLink 数据管道任务支持逻辑删除和标记数据增删改时间戳。

4）为了便于用户更好的使用产品，对交互提示进行了优化。

5）为了便于用户快速理解数据开发中的不同节点的用法，新增节点使用用法提示。

1）FineDataLink 数据开发新增「参数输出」功能，能够对数据进行复杂处理后直接输出参数，不需要将处理结果输出数据库在从数据库取值作为参数。

2）FineDataLink 支持备份「数据开发」任务 dpworks 文件，满足用户在日常开发过程中对单个或整体定时任务进行备份的需求。

3）对数据同步和数据转换功能设计一致性增强，数据同步、参数赋值支持一键「生成数据转换」，便于用户快速从数据同步切换至数据转换。

4）数据开发任务节点样式交互优化，帮助用户快速的通过样式区分节点类型。

FineDataLink 交互体验优化。

1）FineDataLink 对数据转换中 API 输入取 webservice 接口数据方式进行优化。

2）FineDataLink 支持使用 PostgreSQL 作为来源数据实时同步。

3）FineDataLink 支持读取Hadoop Hive 中的数据进行数据处理，但是直接通过Hive、Impala的接口写入数据性能不佳，因此 FDL 提供了Hive(HDFS) 写入数据。

4）FineDataLink 支持读取Gbase 8A的数据进行数据处理。

1）FineDataLink 支持通过 RFC 接口调用 SAP 系统内已经开发好的函数，并将数据取出。

2）支持使用Gbase 8A 数据源写入，可以在系统中配置数据开发任务。

3）支持通过 API 接口进行取数，本次更新对 API 取数进行了界面优化，提升用户的使用体验，同时支持使用 text/plain 类型的请求格式。

4）画布界面优化，新增「自动布局」功能，同时支持撤销还原节点步骤。

1）支持在数据转换中使用 XML 解析将XML格式数据解析为行列格式数据，以供后续加工存储。

2）数据管道实时同步支持 PostgreSQL 写入数据。

3）数据管道实时同步支持 Oracle 写入数据。

4）注册授权新增数据管道部分。

5）数据管道支持权限控制。

6）权限管理交互优化。

1）支持通过 Shell 脚本在 FineDataLink 中调用Kettle任务、调用Python计算任务，或者进行数据库备份还原等操作。

2）数据管道实时同步支持 GaussDB 200 写入数据

3）数据开发支持GaussDB 200 读取和写入数据

1）数据管道实时同步支持 SQL Server 读取和写入数据

2）数据管道实时同步支持 Oracle 读取数据

3）数据开发支持达梦数据源

4） FineDataLink 优化数据转换与其他节点的层级关系：编辑「数据转换」时显示当前所在任务名称，同时支持返回任务配置界面

5）管道任务列表交界面优化

1）新增工程首页，用户可以快速查看工程中的任务情况；了解产品基础功能；获取其他相关周边资源。

2）独立部署部署版本修改默认访问端口为 8068，避免原先默认的 8080  端口经常被占用导致部署好的工程无法启动。

3）数据开发任务设计界面优化。

1）新增「数据管道」功能， 支持对 MySQL 数据源进行单表、多表、整库数据的实时全量和增量同步，可以配置实时同步任务。

2）新增「管道任务运维」功能。

3）多产品连接工具插件，支持连接FineDataLink。

-

-

-

-

-