4.2.15.1
实时管道脏数据场景优化
产生脏数据可进行提醒
实时管道任务产生脏数据时，不会进行通知，等运维人员处理脏数据时，可能已经超过 Kafka 的保存时间，导致需要重新同步管道任务，恢复成本较高。
本次版本中，实时管道任务的「任务控制>结果通知>通知内容」中新增脏数据变化(每小时通知)选项，可将过去一个小时中产生的脏数据情况通知给用户。
脏数据重试逻辑优化
详情请参见：实时管道任务处理脏数据
1）实时管道任务全量阶段，产生的脏数据支持重试。
2）脏数据存储逻辑优化：
优化前：
脏数据被存储在 FineDB 的 fdl_pipe_dirty_record 和 Kafka 中，如果脏数据存储失败时，实时管道不会报错中止，后续处理脏数据时会报错，到时就需要重新同步或者指定开始时间进行恢复，恢复成本较高。
优化后：
脏数据存储失败时，会报错单表异常中止。
注：脏数据存储异常时，不会更新任务断点，保证下次恢复启动时，能够从正确位置开始同步，避免数据不一致。
3）脏数据处理后，日志显示内容优化：
优化前：
脏数据处理（重试、忽略）都会打印开始重试、重试完成、处理失败、开始忽略、忽略完成的日志，但是结果的日志没有表名，无法准确判断结果日志是哪个表名。
优化后：
单表的「开始重试」、「开始忽略」日志，在日志详情里统一添加重试和忽略的数据条数。
单表的「脏数据重试完成」、「脏数据处理失败」、「脏数据忽略完成」日志，在日志描述中统一添加来源表的表名。
对于批量重试、忽略的「开始重试」、「开始忽略」日志，在日志详情里除了表名以外，添加重试和忽略的数据条数。
对于批量重试、忽略的「脏数据重试完成」、「脏数据处理失败」、「脏数据忽略完成」日志，在日志中详情中显示每张来源表的脏数据处理详情。
适配 Hologres 数据源
FineDataLink 支持连接 Hologres 数据源，适配功能：
定时任务读取和写入。
实时任务读取和写入。
实时管道写入。
详情请参见：配置Hologres数据源
数据连接功能点未注册显示逻辑统一
1）创建数据连接时，仅展示已购买模块的数据源类型。例如未购买「定时管道」，不展示「仅支持定时管道」的数据源。
2）鼠标悬浮在数据源图标处，显示的内容与购买的模块相关。例如 PostgreSQL 支持定时管道写入，若未购买定时管道模块，此数据源问号处将不展示定时管道信息。
修复BUG
本节中附上了已修复的 BUG 编号，若客户对某个 BUG 有问题可把对应编号发给技术支持进行解答（技术支持联系方式：前往「服务」，选择「在线支持」、电话「400-811-8890」）。
1）FDL-23447 集群工程，定时任务中包含循环容器，循环方式为遍历循环，偶发少循环次数。此版本已修复。
2）FDL-23578 实时管道任务中，日志出现大量 Starrocks 认证异常的 ERROR 报错。此版本已修复。
3）FDL-23349 工程中多次启停过实时任务，数据库存在大量的锁导致数据库卡顿。此版本已修复。
4）FDL-23527 升级后 MySQL 实时管道报错日志丢失。此版本已修复。
5）FDL-23523 管道1同步1k张表，仅增量起始时间为2月2日，向1k张表插入数据，产生增量；新增管道2同步相同1k张表，仅增量，自定义起始时间为2月3日凌晨，单表耗时为 30 秒，很慢。此版本已修复。
6）FDL-23558 解析 XML 数据时，部分节点只展示根节点的数组，节点无法选择。此版本已修复。
7）FDL-23362 API 接口调用结束但是在数据开发任务中卡住。此版本已修复。
8）FDL-23492 定时任务的数据转换节点，写入速度极低。此版本已修复。
9）FDL-23560 升级到 4.2.14.3 ，数据转换节点中，右击「DB表输入」算子的删除按钮，会弹出提示“是否确认删除”。点击数据分发后，再右击「DB表输入」算子的删除按钮，提示框就没反应了，算子删不掉；右击选择数据转换节点的运行节点按钮，会弹出提示框。点击数据转换，再右击选择数据分发。页面关闭后，再右击数据转换节点的运行节点按钮，没有提示了，任务也没有运行。此版本已修复。
10）FDL-23590 定时任务切换到开发模式白屏。此版本已修复。
上一篇：5.0.x （beta）
