4.2.10.1
库/模式、来源表、集合配置支持引用参数
在数据工程复用和迁移过程中,用户需要批量修改数据同步任务中的库、模式等配置。当多任务涉及的库、来源表配置存在重复操作逻辑时,需要大量重复的手动操作,效率低下且易出错。
本次更新后,库/模式、来源表、集合配置均支持引用参数,可大幅减少库表配置重复操作,提升数据开发效率与工程复用性。
数据同步/数据转换的DB表输入、参数赋值
配置方式为「选表」时,原「来源表」配置拆分为:库/模式、来源表两个配置项,且「库/模式」、「来源表」配置项新增支持引用参数。如下图所示:
详情请参见:数据同步-数据来源
数据同步/数据转换的DB表输出
「库/模式」、「目标表-已存在表」配置新增支持引用参数。如下图所示:
详情请参见:数据同步-数据去向与映射
数据同步/数据转换里的MongoDB输入
「集合」配置新增支持引用参数。如下图所示:
PostgreSQL 支持选择 pgoutput 的读取方式
PostgreSQL 作为数据开发-实时任务、实时管道任务的数据来源时,支持选择 pgoutput 的读取方式。
详情参见文档:PostgreSQL-pgoutput读取方式
字段设置优化
当前字段设置存在功能局限,例如输入算子/解析算子获取字段需调整后才能正常解析或取数、字段名长度受限等问题,影响数据处理的效率与准确性。本次更新将对涉及到字段设置的节点进行优化,以解决上述痛点。
API输入
「API输入」节点中,新增「输出字段」配置,支持:自动获取、手动获取。手动获取支持自定义字段,例如修改字段名、修改字段类型等操作。
详情请参见:API输入
JSON解析
「JSON 解析」节点中,支持自定义勾选需要保留的上游输出字段;支持配置输出字段类型。如下图所示:
详情请参见:JSON解析算子功能说明
XML解析
「XML解析」节点中,支持自定义勾选需要保留的上游输出字段;支持配置输出字段类型。如下图所示:
详情请参见:XML解析算子
数据关联
「数据关联」节点中,支持选择数据关联后输出的字段。如下图所示:
详情请参见:数据关联
值替换
「值替换」节点中,支持选择数据关联后输出的字段。如下图所示:
详情请参见:值替换
字段拆列
「字段拆列」节点中,拆分结果支持编辑新增列名。如下图所示:
详情请参见:字段拆列
字段拆行
「字段拆行」节点中,拆分结果支持编辑新增列名。如下图所示:
详情请参见:字段拆行算子
MongoDB输入
「MongoDB输入」节点中,支持搜索字段;新增 decimal 字段类型,并且支持设置精度、标度。
详情请参见:MongoDB输入
新增计算列
「新增计算列」节点中,支持修改字段类型;支持类型转换配置。如下图所示:
详情请参见:新增计算列功能说明
字段设置
「字段设置」节点中,优化字段命名规则、新增 decimal 字段类型等。如下图所示:
详情请参见:字段设置
简道云输入
「简道云输入」节点中,新增「输出字段」配置,支持:自动获取、手动获取。手动获取输出字段时,支持修改字段名、替换字段名等操作。如下图所示:
详情请参见:简道云输入功能说明
文件输入
「文件输入」节点中,输出字段配置中选择「手动获取」,新增支持搜索字段。如下图所示:
详情请参见:文件输入功能说明
注册版本号
注册成功后,在「注册管理>注册信息」中,显示「注册版本号」。如下图所示:
修复BUG
本节中附上了已修复的 BUG 编号,若客户对某个 BUG 有问题可把对应编号发给技术支持进行解答(技术支持联系方式:前往「服务」,选择「在线支持」、电话「400-811-8890」)。
1)FDL-20716 复制写入 Doris 任务后,点击新任务中编辑写入方式,会出现白屏。此版本已修复。
2)FDL-20450 实时管道任务中,编辑界面无法点击「下一步」。此版本已修复。
3)FDL-20692 来源库和目标库都为 Microsoft SQL Server,源表中存在一条数据,基于逻辑主键更新数据,目标表出现重复数据,设置逻辑主键失效。此版本已修复。
4)FDL-20615 4.2.7.3 升级到 4.2.9.2 后 ,导出的数据服务 api 文档步骤不支持微软的 word2016。此版本已修复。
5)FDL-20786 资源不足导致定时任务无法正常运行。此版本已修复。
6)FDL-20756 定时任务中,两张表一直显示同步中。此版本已修复。
7)FDL-20777 数据服务导出API文档报错。此版本已修复。