历史版本2 :2.3.3 更新日志 返回文档
编辑时间: 内容长度:图片数:目录数: 修改原因:

目录:

1、版本编辑

版本编号:2.3.3

发布时间:2021-10-25


关于产品的升级说明,请参考 产品升级说明

2、新增的功能编辑

数据编排

7429  

FT的数据编排支持DB2增量同步

  • 在海量数据场景下,例如工厂的机器数据,需要进行同步,以前对于小部分有时间戳的DB2大表,使用时间戳进行增量同步;大部分没有时间戳的表,目前是先清空再全量的方式进行同步,此种全量抽取情况下,可能由于是数据量大、跨地区专线,或者网络很慢情况,数据抽取时间较长,数据实时性较差,无法满足业务场景需求。

  • 针对数据编排,新增DB2-cdc算子,进行增量抽取,可以避免每次对表进行全量抽取,提高数据抽取效率,有效利用带宽。

7996

流任务支持Shell脚本调用

注:此功能的使用,需要在libs目录下新增 ganymed-ssh2-262.jar,请联系对应项目经理或者技术支持人员获取。

  • 在金融行业客户背景下,数据处理场景下需要引入Python风控模型,对数据流中的数据进行计算,将计算结果入库。

  • 新增Shell脚本算子,支持在流任务中通过Shell调用Python脚本,支持本地调用Python脚本、远程调用Python脚本两种情况,且能支持向Python脚本传参,支持固定值、公式及全局参数。

数据服务

8051 

数据集SQL支持公式写法

  • 在某些客户场景下,对API数据接口取数,传参中需要包含逻辑关系,返回动态筛选过的结果集

  • 在数据准备的SQL数据集中,编辑框中,where条件中,使用  ${}  来标记待计算公式部分,大括号内的内容会被当做公式计算。

8161

数据服务发布API结果中增加total字段

  • 数据服务发布API,返回结果JSON中,除明细外,额外返回数据集总数据量与当前分页信息,便于分页使用。

系统管理

8026

支持自定义logo

  • 为了支持个性化配置,对FineTube的网页端外观,新增logo图片的修改功能。

3、改良的功能编辑

数据编排

8255

FDLoad组件消息支持批量流入后续组件

  • 当FDLoad算子的下一个算子为参数更新时,其中FDLoad的装载是异步的,详细来说,即数据到达时会先缓存,到达设置的缓存上限,或到了落盘时限后,才会将缓存下来的消息落盘并装载到FineData;根据FDLoad的异步逻辑,意味着FDLoad的实际数据落盘执行,会晚于全局参数更新。

       如果数据缓存正常,但是实际执行失败,会造成全局参数已经更新,但是这一批数据没有落盘的情况;再次执行时会导致数据丢失情况发生。

  • 现在改良后的逻辑为,等FDLoad组件能够等自身消息处理完后,再将该批消息整体流入后续组件。

数据服务

7471

访问已发布API访问时不填写请求体报错

  • 使用Postman访问数据服务中已发布、没有参数的API时,不填写请求体直接返回500,使用者没有收到没有明确的提示,需要查看后台报错,需要手动假如请求体。

  • 在此版本中,支持在访问没有参数API的情况下,不传请求体也可以正常返回数据。

4、修复的Bug编辑

数据管道

7231-SqlServer 数据目的地,字段类型选择下拉框中,有两个 BINARY、VARCHAR 等选项,此版本已修复。

7413-数据管道使用 MySQL binlog 同步 LONGTEXT 类型写入后乱码,此版本已修复。

7418-读取设置中选择同步内容页面,表清单加载错位

  • 读取设置中,选择表时,若节点正在加载时,同时进行当前弹框的上下滚动的操作,会出现加载出来的子节点和父节点的关系不正确。

  • 当前版本在进行读取表展开时,新增过渡动画,防止点击其他节点。

8052-管道任务中oracle为源库时number字段精度、标度识别错误导致自动建表失败

  • Oracle为源库时,目标库为FineData和SQL Server时,number字段类型没有指定字段长度时,管道任务读取到的精度标度为 0 -127,从而导致自动建表失败。

  • 当前版本,数据源为 Oracle,字段类型为 NUMBER 且没有指定字段长度时,会对目标库的建表进行额外的处理:

          目的地为 FineData (或者 GreenPlum)时,目的地对应类型为 NUMERIC;目的地为 SQL Server 时,目的地对应类型为 NUMERIC(38, 19)。

8058-数据管道创建任务时包含 unsigned float 类型数据时报错

  • 数据源为mysql,表字段包含unsigned float 类型,任务无法正常保存,此版本已修复,可以正常保存。

8121-SQL Sever 的 ntext 同步到 FineData 报错

  • 2.3.2及以前的版本,未考虑到SQL Server的ntext字段类型 同步到FineData。

  • 当前版本,SQL Server数据源中的ntext类型同步时,会相应转换成 LONGNVARCHAR类型。

8156 -数据管道写入BIT类型报错

  • Mysql输出到FineData时,当BIT类型的字段包含null时,系统会进行报错BatchUpdateException。

  • 当前版本,Mysql输出到FineData时,可正常输出BIT类型的null值。

8194- 数据管道 Logminer 一秒内遇到多条 DDL 时无法正常处理

  • 当数据源为Oracle,源数据库的一秒内同时有多条数据库表结构的修改操作(DDL)时,只能处理一秒内的的第一条DDL操作,忽略掉后续的DDL指令,导致表结构以及数据不一致情况、严重情况下会导致任务中断,此版本已修复。

数据编排

6909-部分格式公式解析错误(已完成的历史任务)

  • 某些情况下,当公式名称为b时,有其他公式名ab后面一部分包含b的全部字符,举例replace公式和simple_replace公式,当使用simplce_replace()公式时,系统识别为非法字符串“simple_”和replace()的公式执行,此时检查语法时,会报错“非法的公式语法”,此版本已修复。

7074-表输出组件字段转换部分,调整大小写之后 NOT NULL 全部被勾上,此版本已修复。

7076-保存上一个数据流任务之后,新建一个流任务任务,页面会出现之前的任务配置,此版本已修复。

7090-表输入,若SQL语句的注释部分包含参数,预览结果和执行均会报错,此功能已修复。

7170-FDLoad输出 算子在网速较慢情况下可能匹配失败

  • 网速较慢,或者一些特殊情况时,在字段转换页面,连续多次点击“从数据流匹配字段”,会导致匹配失败

  • 此版本,当点击一次“从数据流匹配字段”按钮后,正在进行匹配时,此按钮会变成灰色,避免多次点击的误操作。

7255- 流任务中“解析logminer“算子,”需要解析的表”无法正常加载表名进行选择

  • 正常情况下,先选择”数据连接“和”模式“,然后选择“需要解析的表”;但某些情况下,若出现先展开“需要解析的表”,此时会提示”加载中“和”没有数据“,如若后续对”数据连接“和”模式“进行补充,再对“需要解析的表”进行展开选择,此时下拉框会一直没有反应

  • 当前版本已修复,即时预操作过“需要解析的表”,后续补充”数据连接“和”模式“情况下,也可以正常加载“需要解析的表”进行选择。

7295- “简道云数据推送”算子,选择“添加组件”,设置组件类型为“数字”,值类型为“字段”时,保存后再次点开详情,已选择的值字段丢失,此版本已修复。

7627- 表输入算子对hana数据进行SQL输入,采用with as的写法时,从2.0.2升级到2.3.2时,语法格式出错,此版本已修复。

8159- 当数据库为FineData (或者 GreenPlum)时,表字段类型包括BIT(48)时,获取字段报错,此版本已修复,可以正常获取字段。

8232流任务,表输出打印error日志,报错Connection setAutoCommit failed,两条错误日志之间丢失一条数据;且任务设置了报错立即停止也未暂停,原因为未捕捉到异常,此版本已修复。

8382-流任务在算子中预览时,部分场景下会出现异常

  • 表输入后接表输入,两个表输入的取数都是10000条,在第二个表输入进行结果预览时,产生10000*10000的数据量,导致FT 宕机;此版本已修复。

8408-合法公式下,含有特殊符号时公式校验出错Jos

  • 在进行企业微信机器人消息推送是,公式中含有半角方括号“[”时,公式校验报错,但是实际上公式是合法的可以执行的,此版本已修复,可以正常校验。


数据服务

6906- 部分情况下,版本升级到2.3.2后,数据服务未自动发布,需要手动发布,此版本已修复。(已完成的历史任务

8108- 数据准备的数据集页面,点击编辑按钮,显示空白弹框,无法进行数据集修改,此版本已修复。

8109- API发布在进行第3步查阅配置时,下拉框为空,无法选择对应的数据集,而这种情况下数据准备中对应的数据集已可以正常预览,此版本已修复。

8218- Kafka读取数据服务topic数据时,已有数据情况下无法读取到对应数据

  • kafka算子的“topic选取策略“ 选择”选择数据服务的tpoic”时,选择对应的topic,无法读取到数据;但“topic选取策略“ 更换为”手动输入topic“,输入同一个topic名称时,可以正常读取数据,此版本已修复。

系统管理

7393- 查看日志功能切换日志级别后,文件名会清空,但之前选择的日志仍然存在,且页码仍然可以切换,页面内容无变化,此版本已修复。

7438- License过期后,启动FineTube工程失败,且没有报错日志,此版本已修复,即使License过期之后,工程也可以正常启动。