FineDataLink更新日志索引

支持使用 StarRocks 数据库作为「数据管道」管道任务的写入端；

2）支持使用星环 TRANSWARP INCEPTOR 数据库作为「数据开发」定时任务的读写端

3）文件输入优化。

• 支持批量读取同格式的Excel和CSV文件。

• 支持 Excel 和 CSV 文件自定义输出字段类型。

• 支持CSV文件跳过前N行取数。

• 支持TXT文件读取，选择 CSV 类型支持 TXT 文件读取。

• 支持忽略后缀名大小写读取，不需要手动修改文件后缀即可自动识别读取，更加便捷。

1）数据管道支持 Doris 作为写入数据源

2）定时任务的读写支持 Doris 数据源

3）对于无法设置物理主键的数据表，数据管道支持设置逻辑主键

4）「数据转换」节点中新增「新增计算列」算子，可利用原有字段通过引用或计算获得一个新的字段

5）API 配置中的 body 请求内容支持使用 Content-Type 为 form-data 和 x-www-form-urlencoded 请求格式，允许添加多行、每行均为自定义输入、支持引用参数，详情参见 功能说明中的Headers请求参数表格

其中，API 输出、数据同步-API、API输入、参数赋值的API输入 中都做了上述修改

1）定时任务运行日志由原来的 http 请求获取改为 websocket 推送的方式，提高了日志推送效率

2）登录页风格优化

1）独立部署的 FineDataLink ，资源迁移支持次管可用

2）定时模块中，自动建表支持设定主键

3）DB表输出算子 的数据去向 Tab、数据同步节点 的数据去向 Tab、数据管道 的选择去向步骤中，若数据源有模式，支持将数据输出到指定模式的某张表中

4）SQL 编辑器使用体验优化

5）数据源类型、数据连接使用体验优化

6）Oracle数据源作为来源端，适配同步源表结构变化

1）支持实时同步读取 Kafka 数据，转换成 JSON 格式数据并将其解析成二维表，实时同步至指定数据库。

2）数据管道任务目标端同步源表结构变化支持：gaussDB200、SQLServer、Oracle、PostgreSQL、Greenplum、Greenplum（并行装载）数据库。

3）新增数据服务功能，支持将处理好的数据库中的数据通过 API 形式发布出去，供其他工具使用。

1）支持新建独享版简道云的数据连接，可通过 FDL 从独享版简道云中取数据，或者写入数据

2）用户有多套业务系统，在其他系统维护好的主数据可以通过「简道云输出」算子同步到简道云表单，供简道云使用

3）「数据同步」节点的数据去向 Tab 中，数据源类型支持简道云，可通过「数据同步」节点实现简道云表单间的数据迁移

4）「数据转换」节点中，用户可根据业务需要，对不同字段给予加工处理后再流向不同表

5）用户可以定时从 Vertica 数据库取数或往 Vertica 数据库写数

1）新增「数据过滤」功能，可进行数据过滤处理。

2）新增「JSON 生成」功能，生成 JSON 格式数据。

3）新增「API 输出」功能，通过 API 写入满足应用集成场景。

1）新增数据比对算子

2）数据写入方式-插入/更新/删除优化

3）「管道任务」、「数据同步」、「数据转换」等任务进行「自动建表」同步数据时，表名和字段名支持大小写转换，表名、字段名支持大小写自动纠正

4）实时同步支持Oracle18c、19c、Oracle RAC集群读取

5）管道任务支持批量设置表名前后缀

6）定时任务运行记录支持查看节点运行状态

7）集成部署 客户若未购买 FDL ，集成部署后的工程将屏蔽 FDL 功能入口，避免给客户带来困扰

1）数据管道任务支持MySQL 数据库同步源表结构变化

在源数据库发生DDL（删除表、新增字段、删除字段、修改字段名称、修改字段类型（长度修改 & 兼容类型修改））时，可以自动同步这些来源端变化至目标端。

2）API 加密认证取数优化

3）数据开发校验数据量优化

1）FineDataLink 「数据转换」节点新增行转列，将多行一列数据转为一行多列显示。

2）支持使用人大金仓KingbaseES V8 数据源进行定时任务开发。

3）数据管道数据去向写入端支持 Greenplum、Greenplum（并行装载），便于用户业务库实时同步数据至GP数仓。

1）FineDataLink 数据转换新增「文件输入」功能，从 FineDataLink 服务器本地或者共享目录中读取 Excel 、CSV 文件数据。同时可以通过 FDL 将Excel 、CSV 文件直接上传至 FDL 服务器本地。

2）FineDataLink 「数据同步」、「数据转换」、「参数赋值」支持 FTP、SFTP 、本地服务器目录数据源，便于用户对文件数据进行处理。

3）在同步数据时，存在一些用户并不想真正删除目标端的数据，FineDataLink 数据管道任务支持逻辑删除和标记数据增删改时间戳。

4）为了便于用户更好的使用产品，对交互提示进行了优化。

5）为了便于用户快速理解数据开发中的不同节点的用法，新增节点使用用法提示。

1）FineDataLink 数据开发新增「参数输出」功能，能够对数据进行复杂处理后直接输出参数，不需要将处理结果输出数据库在从数据库取值作为参数。

2）FineDataLink 支持备份「数据开发」任务 dpworks 文件，满足用户在日常开发过程中对单个或整体定时任务进行备份的需求。

3）对数据同步和数据转换功能设计一致性增强，数据同步、参数赋值支持一键「生成数据转换」，便于用户快速从数据同步切换至数据转换。

4）数据开发任务节点样式交互优化，帮助用户快速的通过样式区分节点类型。

FineDataLink 交互体验优化。

1）FineDataLink 对数据转换中 API 输入取 webservice 接口数据方式进行优化。

2）FineDataLink 支持使用 PostgreSQL 作为来源数据实时同步。

3）FineDataLink 支持读取Hadoop Hive 中的数据进行数据处理，但是直接通过Hive、Impala的接口写入数据性能不佳，因此 FDL 提供了Hive(HDFS) 写入数据。

4）FineDataLink 支持读取Gbase 8A的数据进行数据处理。

1）FineDataLink 支持通过 RFC 接口调用 SAP 系统内已经开发好的函数，并将数据取出。

2）支持使用Gbase 8A 数据源写入，可以在系统中配置数据开发任务。

3）支持通过 API 接口进行取数，本次更新对 API 取数进行了界面优化，提升用户的使用体验，同时支持使用 text/plain 类型的请求格式。

4）画布界面优化，新增「自动布局」功能，同时支持撤销还原节点步骤。

1）支持在数据转换中使用 XML 解析将XML格式数据解析为行列格式数据，以供后续加工存储。

2）数据管道实时同步支持 PostgreSQL 写入数据。

3）数据管道实时同步支持 Oracle 写入数据。

4）注册授权新增数据管道部分。

5）数据管道支持权限控制。

6）权限管理交互优化。

1）支持通过 Shell 脚本在 FineDataLink 中调用Kettle任务、调用Python计算任务，或者进行数据库备份还原等操作。

2）数据管道实时同步支持 GaussDB 200 写入数据

3）数据开发支持GaussDB 200 读取和写入数据

1）数据管道实时同步支持 SQL Server 读取和写入数据

2）数据管道实时同步支持 Oracle 读取数据

3）数据开发支持达梦数据源

4） FineDataLink 优化数据转换与其他节点的层级关系：编辑「数据转换」时显示当前所在任务名称，同时支持返回任务配置界面

5）管道任务列表交界面优化

1）新增工程首页，用户可以快速查看工程中的任务情况；了解产品基础功能；获取其他相关周边资源。

2）独立部署部署版本修改默认访问端口为 8068，避免原先默认的 8080  端口经常被占用导致部署好的工程无法启动。

3）数据开发任务设计界面优化。

1）新增「数据管道」功能， 支持对 MySQL 数据源进行单表、多表、整库数据的实时全量和增量同步，可以配置实时同步任务。

2）新增「管道任务运维」功能。

3）多产品连接工具插件，支持连接FineDataLink。

-

-

-

-

-