1、版本
版本编号：2.3.6
发布日期：2022-1-21
2、新增的功能
数据管道
8163
管道任务支持重新同步存量数据
在使用管道任务进行批量表实时同步过程中，由于源库日志解析效率、源库与目标库负载、稳定性等原因，有时会出现数据差异情况。
在发现某些表持续出现数据差异时，可以进入对应的管道任务详情页面，通过【数据补全（Beta）】功能快速选表进行存量数据重新同步，快速矫正数据偏差，减少数据异常对业务的影响时间，重新同步完成后，自动接续开启增量，保证源侧与目标侧数据一致。
数据编排
8010
FT支持对接RabbitMQ消息队列
流任务中新增【RabbitMQ输入】和【RabbitMQ输出】算子，支持对接RabbitMQ消息队列，实现数据的生产与消费功能。（目前FT采用MQTT协议对接，需要RabbitMQ服务器安装MQTT协议插件）
若需要在新版本使用此功能，请参考2.3.6新增依赖包 安装新依赖包。
8368
FineTube内置公式支持Base64解码和编码
产品标准公式中，新增Base64的编码、解码公式：base64_encode、base64_decode，以支持多样性的数据处理要求。
8652
FT支持Oracle集群的连接方式
在2.3.6及以后的版本，在【数据连接】处，连接方式已支持OracleRAC集群。
8870
数据编排支持SM4加解密
在2.3.6及以后的版本，在流任务的【数据加密】算子中关于“加密”和“解密”方式，新增SM4的密钥算法。
系统管理
8869
在【定义数据连接】处，新增Hive数据源。
3、改良的功能
数据编排
流任务2个新增依赖包，请参考2.3.6新增依赖包 安装新依赖包。
8327
流任务导入设计优化
在进行任务迁移过程中，流任务中使用了【执行任务】算子，任务导出后，再进行导入，由于导入系统的时候，会生成新的任务ID，此时【执行任务】组件中所关联的子任务匹配丢失，需要重新配置。
现在改良后的逻辑为：
①提供关联资源一并导出导入功能：目前可以覆盖到数据连接，导出时勾选“同时导出任务依赖资源”；
②任务导入时，优先保留原有系统中的任务ID，以便【执行任务】算子等依赖子任务ID的组件再重新导入后可以正常使用；
③若导入过程中，会对任务名、任务ID依次进行校验，若任务名冲突，支持用户在前端提示处进行重命名，若任务ID冲突，用户可以选择是否重新生成任务ID，并在前端提示客户，重新生成ID时，如果有【执行任务】组件调用此任务，请留意维护。
若需要完全覆盖之前已经存在的流任务，需要先批量删除历史任务，再进行批量任务的导入。
4、修复的Bug
数据管道
7339- 数据管道同步的源表字段字段被删除时，且目标表对应的该字段为Not Null，如果数据源变化策略是【继续同步，目的地该字段传空值】，会写入失败。
当前版本，此类情况下，目标表字段会为空，且自动取消掉Not Null的约束，保证后续的值能正常写入。
7377- FineTube出现内存溢出时，导致管道任务一直处于停止中，无法正常停止，只能通过重启FineTube工程，对此任务进行重启，此版本已修复。
7395- 某些情况下，管道任务的数据源为SQL Server CDC时，任务出错时，一个异常在错误日志中会记录三次，此版本已修复。
8004- 在Windwos环境下，没有安装FDLoad的时候，管道任务运行监控中显示已写入，但数据未入库。
不推荐windows版本，但若遇到此类情况，请找对应的项目人员或者协助人员获取对应的FDLoad安装文件。
8372- 当目的地为FineData是，写入设置时，若对表进行分布键的设置，管道任务会执行失败，此版本已修复。
8373- 当目的地为GreenPlum时，若GreenPlum中的模式为大写，由于此数据库大小写敏感，会造成写入很慢，此版本已修复。
8487- 数据管道中对表中的主键直接执行数据更新时，写入失败导致源表和目标表数据不一致，此版本已修复。
8522- 数据管道中，当对表中的主键直接执行数据更新时，写入失败导致源表和目标表数据不一致，此版本已修复。
8545- 数据管道任务中kafka日志，在某些情况下，无法自动进行清理，此bug已修复，目前一个topic默认最大保存10G。
在2.3.6及以后的版本，此bug已修复，目前一个topic默认最大保存10G。
8629- 由于前端问题，导致管道任务中的【读取详情】无法展示表名中的下划线，此版本已修复。
8635- 简道云数据源的API Key没有被隐藏
由于部分原因，在2.3.6版本暂时下线【数据管道】模块的“简道云”数据源版本。
8638- 由于SQL Server中存在空白表名的表，导致管道任务中断后，重启后，出现很多错误队列，运行一会儿达到阈值后任务停止。
遇到此类情况，需要手动删掉此类异常表，然后重新进行同步，即可恢复正常。
8788- 当对Oracle Logminer进行增量同步时，其中的某个表的某一列数据为'\'，其该行数据为最后一行时，最后的'字符会被识别成结束字符，导致任务停止，且无法继续进行同步，此版本已修复。
8857- 极小概率情况下，由于网络异常，导致Oracle Logminer管道任务，数据库连接异常导致任务报错停止。
在2.3.6及以后的版本中，数据连接的连接池配置中，新增【获取连接超时时间】配置项，支持自定义超时时间。
数据编排
7559- 当流任务页面新增一个SQL Server CDC组件后，暂无任何配置情况下，其他正常组件无法预览，此版本已修复。
8107- FineTube预览包含【执行任务】的在算子结束后，单独对子任务进行修改，会导致子任务无法保存，或者子任务页面一直刷新，此版本已修复，且在预览主任务的时候，不会执行【执行任务】中的子任务。
8160- 连接mysql的binlog默认超时时间为3s，在某些情况下会出现binlog超时，此版本已调整超时时间为60s。
在2.3.6及以后的版本，【超时时间】已调整超时时间为60s。
8316- 在使用【SQL Server的CDC输入】作为数据源时，【表输出】勾选“智能模式”和“批量提交”后无法正常同步数据。
8387- 开发过程中在某个算子进行预览后，导致后续流程也会执行，此版本已修复。
8485- 当源表中delete时，只有主键信息，无其他字段信息的情况下，Postgre增量组件无法解析删除事件，任务报错空指针停止，此版本已修复。
8512- Mysql Binlog组件，解析Json类型字段时乱码，此版本已修复。
8521- 使用【Shell脚本】算子时，即使脚本已经正常运行完成，也会报超时错误，此版本已修复。
8531- 流任务的执行方式配置页面，在【自定义表达式】模式下点击【查看下次执行时间后】，切换到【固定时间执行】，下次执行时间会一直显示，此版本已修复。
8533- 某些情况下，服务器的磁盘空间不够，导致mysql无法获取数据连接，导致任务状态异常，导致的流任务页面一直闪烁,任务无法停止。
目前闪烁问题已修复，可以正常手动停止任务，对服务器的磁盘进行清理后，任务可以正常启动运行。
8543- 表输出采用【自定义提交】时选择【忽略数据】时，会导致数据被删除，此版本已修复。
8575- Oracle的Logminer输入，遇到Clob字段类型时，【表输出】正常建表，字段无法正常写入，任务中断，此版本已修复。
8732- 替换新版本JAR包后，全局参数引用失败，报公式错误，此版本已修复。
8774- 当关闭服务重启时，会导致之前已经运行完成的任务，在重启时再次启动，此版本已修复。
8804- 2.3.2版本之后，源库表中的字段有BIT类型，并且在【FDLoad输出】算子中，通过“添加字段”和“配置字段映射”添进行字段配置，对于BIT型的输入字段，解析有误，会导致任务报错。
遇到此类问题，可以进行通过“从数据流匹配字段”的方式进行重新获取字段，任务即可正常运行。
8827- 当【表输入】算子的数据大于2000条，且小于表输入“最大取数”设置，执行完毕后，会新增一条空流,导致在某些检测空流的情况下，任务判断错误，此版本已修复。
8872- 流任务中，【表输入】引用变量$.，当变量为空的时候会报找不到全局变量，此版本已修复。
8890- 流任务中，当同时启动两个包含了logminer算子的流任务时，同时进行数据写入，会导致后启动的任务中断，此版本已修复。
8901- 更新至2.3.3版本后，流式模式下，若FDLoad组件前存在流式转换组件，FDLoad的装载速率极慢，此版本已修复。
8911- 当表输入使用参数时，参数类型设置无效，均会被当成varchar类型，在某些需要进行计算的情况下，计算结果有误，且任务报错，此版本已修复。
8913- 在某些情况下，数据服务的数据集中加入了公式，遇到并发时，多个请求之间可能会互相影响，导致数据不一致，此版本已修复。
8924- 在某些情况下，选择“短批”模式，表输出和FDLoad批量装载异常，比如表输入取出了12345条数据，只能装载进1w条数据，后面的2345条数据丢失，此版本已修复。
8925- 某些情况下，使用流任务LogMiner解析一张表的增量数据，然后开启一个事务插入3w条以上的数据，观察运行监控可以发现，LogMiner 一次性读取出来了，继续增大数据量，则有可能导致内存溢出，系统无法正常使用。
8968- 在某些情况下，例如网络不够好、数据量过大时，通过kafka算子进行取数的时侯，默认超时时间6s不够的情况下，可能会导致无法进行正常取数。
在2.3.6及以后的版本中，可对【kafka输入】的“其他属性”页面新增“超时时间”可进行配置。
9085- 当任务日志的文件数过多时，查看日志列表会有速度过慢的情况产生，甚至前端会报错超时，导致无法查看日志。
数据服务
8609- API接口返回的totalcount数据有误，返回的是查询表的总条数，此版本已修复。
8626- 数据服务在配置身份认证后并发性能降低，此版本已修复，目前可支持200+个请求/s。
8735- 数据服务中，数据若存在1000000000000，或者0.000000000001这种数据，会出现科学计数法，此版本已修复。
系统管理
8474- 在未进行注册时，连接数超过2个的限制后会进行报错，删除数据连接后，仍然会报错。
在2.3.6及以后的版本中，此bug已修复，未注册时，删除多余的数据连接，不会继续报错，可正常使用。
8771- 在【系统设置】的【日志配置】处，选择【定时清理日志文件】后，在执行清理任务执行记录时，会误清调任务配置，此版本已修复。
