兼容说明
数据服务功能已内置主版本，支持一键升级。
任务运维的调度计划中：如果旧版本升级到4.0.27版本，调度名称默认为：调度1-任务名称。
新增功能
FineBI「公共数据」支持作为数据库来源端和发布为API
用户想要将 FineBI 中处理好并发布到公共数据的数据集在其他系统中使用。
独立部署和集成部署的定时任务支持读取「公共数据」，输出到其他目标端。
详情请参见：独立部署下读取FineBI公共数据
集成部署下效果如下图所示：
数据服务支持读取「公共数据」，发布为API。
详情请参见：使用FineBI公共数据发布API
独立部署工程支持将定时任务中输出的数据表输出至 FineBI 公共数据中，如下图所示：
详情请参见：独立部署下定时任务结果输出至FineBI
定时任务支持批量配置和管理调度
详情参见：定时任务运维
开发人员在开发完任务后，由运维人员在运维界面处负责统一批量设置任务的调度，FineDataLink 支持批量设置定时任务的调度配置，如下图所示：
当任务的通知对象发生变更时，需要批量修改涉及到的任务，FineDataLink 支持批量设置定时任务的结果通知，如下图所示：
独立部署工程支持集群
注：仅数据开发功能支持集群，若配置了集群，则独立部署工程中数据管道、数据服务功能无法继续使用，后续迭代中将支持，敬请期待。
用户在使用 FineDataLink 时，希望能实现高可用和高并发，提升产品使用稳定性。
FineDataLink 独立部署工程支持集群
高并发：定时任务的最小运行单元是步骤流内的节点，任务执行时会生成一个任务实例，任务实例内包含多个待运行节点。任务实例内的待运行节点均衡地分发到各集群节点执行。
高可用：集群节点被置为不可用时，原本运行在该集群节点上的节点转移至其他正常集群节点。
详情参见：集群部署概述
管道任务支持快速选表
当管道任务源库表量较大，需要从大量表中选取部分已知表名的表作为同步表，FineDataLink 支持通过粘贴表名的方式，快速选表，如下图所示：
详情参见：配置数据管道任务
优化功能
管道任务交互优化和文件夹管理
优化前：管道任务中任务均平铺，不便于进行任务管理。
优化后：展示效果更加酷炫，支持卡片、列表视图切换，如下图所示：
任务编辑过程中支持保存，如下图所示：
管道脏数据查看和处理&日志整体优化
详情参见：单个管道任务管理
优化前：管道任务脏数据仅支持重跑，不支持忽略、重试，且不能查看任务中单个数据表的脏数据情况，也不能导出脏数据。
优化后：管道任务支持用户快速查看脏数据、快速定位单条脏数据产生的原因，如下图所示：
管道任务支持用户对脏数据进行灵活处理，除了对脏数据进行重新同步，还可以进行忽略和重试（在任务运行、暂停、中止时均可进行），如下图所示：
支持查看实时数据与近期统计数据，提供了简易图表来提升数据趋势的可读性，如下图所示：
数据连接失败后的定时任务界面优化
优化前：数据连接失败，使用到这个数据连接的定时任务打开会空白。
优化后：可以正常打开。
Doris 和 StarRocks 来源端字段名或字段值里存在换行符导致写入时被切分优化
优化前：写入到 Doris 采用 stream load 导入方式，即把数据输出为 CSV 格式，然后再 load 进数据库里，但是如果来源端的字段或字段名里存在换行，将其转化为CSV的时候，会被识别为多个字段或多个值，写入时出现问题。
优化后：将换行符从/n /t 改成\01 \02 字符，正常写入数据。
修复 BUG
本节中附上了已修复的 BUG 编号，若客户对某个 BUG 有问题可把对应编号发给技术支持进行解答（技术支持联系方式：前往「服务」，选择「在线支持」、电话「400-811-8890」）。
1）FDL-6966-升级之后调用任务卡住了 调用任务走的default的线程池，默认数量只有cpu个数的一半，子任务多所以很容易就占满。版本已增加线程池大小。
2）FDL-6899 重设用户密码无法编辑 版本已修复。
3）FDL-6726 fdl对空值和null值写入的处理 版本已修复。
4）FDL-6717 【内部问题】点击数据同步 写入数据源切换后 界面空白 版本已修复。
5）FDL-6688 sqlserver数据库同步，自动建目标表datetime字段映射与源表不一致 版本已修复。
6）FDL-6663 【来源PT项目】sap数据连接BUG 版本已修复。
7）FDL-6595 数据比对更换更多配置中的字段扣报错【内部问题】 此版本数据比对的返回字段修改为数组，组件类型修改为复选下拉。
8）FDL-6578 【内部问题】点击数据转换-简道云输入后界面空白，不能出现配置项 此版本已修复。
9）FDL-6559 数据比对来源和目标表都仅查主键字段，用物理删除报错 此版本已修复。
10）FDL-6547 客户集成版本FDL从sqlite同步至mysql报错 此版本已修复，从 sqlite 数据库输出至其他数据库无问题。
11）FDL-6538 管道任务报错 此版本已修复。
12）FDL-6507 数据转换节点执行过程卡住 此版本已修复。
13）FDL-6503 客户的 Excel 有 60 多 M，文件输入获取不到 sheet，预览报错存在合并单元格：get merge cell error，客户没有合并的单元格，此版本已修复。
14）FDL-6287 DB表输出的字段映射没法保留未勾选字段【内部问题】 此版本已修复。
15）FDL-5921 FDL管道任务待同步量为负数
原因分析：
重新同步的时候，如果排队没有排上，此时暂停了任务，重启时可能导致待同步负数
GreenPlum 写入端可能会卡住
解决方案：单张表的全量同步实际开始执行的时候，不管是初次全量同步，还是重新同步，都再把目标端的 offset 再重置一次。
原因分析：重新同步的时候，如果源端数据变化比较频繁，可能导致待同步负数
解决方案：
1）关键位置加锁
2）全量同步阶段和增量同步阶段的汇报隔离开，保证重新同步的时候，全量同步的汇报不影响整体数据准确性
16）FDL-5548 【来源PT项目】紧急-管道任务假死
问题描述：
暂停任务后，如果在上次暂停还没有完全停止下来的时候再次启动任务，可能导致任务无法暂停
原因分析：
和问题 15 中的原因是相同的
除了问题 15 中的问题，还有以下可能：
RealtimeJobManager 暂停任务的时候，会先把RealtimeJobContainer从jobContainerMap中移除，然后再真正执行暂停操作，这就导致使用RealtimeJobManager.isRunning判断任务是否运行的时候，判断不准确，即一个任务可能正在暂停中（其中也是运行中），但是RealtimeJobManager.isRunning的返回值是false。
17）FDL-5920 通用配置中设置的目标表字段小写不生效 此版本中大小写转换和建表问题已修复。
18）FDL-5586 api输入接口超时 此版本已修复。
19）FDL-5541 管道任务报错，但显示正在运行。
原因分析：
由于迁移外接库时没有暂停管道任务，导致管道任务暂停。
解决方案：
此版本中迁移外接库前后自动重启和停止管道任务，避免因为迁移数据库时锁数据库导致额外问题发生。
20）FDL-5445 API取数在headers里面填入cookie 参数异常
用API取数的时候报错api response error - CSRF token validation failed 此版本已修复。
21）FDL-5220 任务打开时，第一个节点文字显示不全 此版本已修复。
22）FDL-5167 Oracle LogMiner RAC 此版本已修复。
23）FDL-5165 接口签名拼接时间参数url转码不能识别【2021_利润NA客户】 url编码问题 此版本已修复。
24）FDL-5102 【来源PT项目】紧急bug-管道任务报错null 此版本已修复。
解决方案：
管道任务点击一次保存后，保存按钮无法再点击。
同一任务，不同窗口保存，会提示任务正在保存中。
