反馈已提交

网络繁忙

2.3.3 更新日志

  • 文档创建者:FineTube
  • 历史版本:7
  • 最近更新:FineTube 于 2021-10-29
  • 1、版本

    版本编号:2.3.3

    发布时间:2021-10-25


    关于产品的升级说明,请参考 产品升级说明

    2、新增的功能

    数据编排

    7429  

    FT的数据编排支持DB2增量同步

    • 在海量数据场景下,例如工厂的机器数据,需要进行同步,以前对于小部分有时间戳的DB2大表,使用时间戳进行增量同步;大部分没有时间戳的表,目前是先清空再全量的方式进行同步,此种全量抽取情况下,可能由于是数据量大、跨地区专线,或者网络很慢情况,数据抽取时间较长,数据实时性较差,无法满足业务场景需求。

    • 针对数据编排,新增DB2-cdc算子,进行增量抽取,可以避免每次对表进行全量抽取,提高数据抽取效率,有效利用带宽。

    7996

    流任务支持Shell脚本调用

    注:此功能的使用,需要在libs目录下新增 ganymed-ssh2-262.jar,请联系对应项目经理或者技术支持人员获取。

    若脚本所在的服务器为Windows环境,推荐使用安装了 OpenSSH 客户端的 Window 10(版本 1809 及更高版本)或 Windows Server 2019 设备连接到那些安装了 OpenSSH 服务器的设备,避免产生兼容性问题。(来自Microsoft:安装 OpenSSH | Microsoft Docs

    • 在金融行业客户背景下,数据处理场景下需要引入Python风控模型,对数据流中的数据进行计算,将计算结果入库。

    • 新增Shell脚本算子,支持在流任务中通过Shell调用Python脚本,支持本地调用Python脚本、远程调用Python脚本两种情况,且能支持向Python脚本传参,支持固定值、公式及全局参数。

    数据服务

    8051 

    数据集SQL支持公式写法

    • 在某些客户场景下,对API数据接口取数,传参中需要包含逻辑关系,返回动态筛选过的结果集。

    • 在数据准备的SQL数据集中,编辑框中,where条件中,使用  ${}  来标记待计算公式部分,大括号内的内容会被当做公式计算。

    8161

    数据服务发布API结果中增加total字段

    • 数据服务发布API,返回结果JSON中,除明细外,额外返回数据集总数据量与当前分页信息,便于分页使用。

    系统管理

    8026

    支持自定义logo

    • 为了支持个性化配置,对FineTube的网页端外观,新增logo图片的修改功能。

    3、改良的功能

    数据编排

    8255

    FDLoad组件消息支持批量流入后续组件

    • 当FDLoad算子的下一个算子为参数更新时,其中FDLoad的装载是异步的,详细来说,即数据到达时会先缓存,到达设置的缓存上限,或到了落盘时限后,才会将缓存下来的消息落盘并装载到FineData;根据FDLoad的异步逻辑,意味着FDLoad的实际数据落盘执行,会晚于全局参数更新。

           如果数据缓存正常,但是实际执行失败,会造成全局参数已经更新,但是这一批数据没有落盘的情况;再次执行时会导致数据丢失情况发生。

    • 现在改良后的逻辑为,等FDLoad组件能够等自身消息处理完后,再将该批消息整体流入后续组件。

    数据服务

    7471

    访问已发布API访问时不填写请求体报错

    • 使用Postman访问数据服务中已发布、没有参数的API时,不填写请求体直接返回500,使用者没有收到没有明确的提示,需要查看后台报错,需要手动假如请求体。

    • 在此版本中,支持在访问没有参数API的情况下,不传请求体也可以正常返回数据。

    4、修复的Bug

    数据管道

    7231- SqlServer 数据目的地,字段类型选择下拉框中,有两个 BINARY、VARCHAR 等选项,此版本已修复。

    7413- 数据管道使用 MySQL binlog 同步 LONGTEXT 类型写入后乱码,此版本已修复。

    7418- 读取设置中选择同步内容页面,表清单加载错位。

    • 读取设置中,选择表时,若节点正在加载时,同时进行当前弹框的上下滚动的操作,会出现加载出来的子节点和父节点的关系不正确。

    • 当前版本在进行读取表展开时,新增过渡动画,防止点击其他节点。

    8052- 管道任务中oracle为源库时number字段精度、标度识别错误导致自动建表失败。

    • Oracle为源库时,目标库为FineData和SQL Server时,number字段类型没有指定字段长度时,管道任务读取到的精度标度为 0 -127,从而导致自动建表失败。

    • 当前版本,数据源为 Oracle,字段类型为 NUMBER 且没有指定字段长度时,会对目标库的建表进行额外的处理:

              目的地为 FineData (或者 GreenPlum)时,目的地对应类型为 NUMERIC;目的地为 SQL Server 时,目的地对应类型为 NUMERIC(38, 19)。

    8058- 数据管道创建任务时包含 unsigned float 类型数据时报错

    • 数据源为mysql,表字段包含unsigned float 类型,任务无法正常保存,此版本已修复,可以正常保存。

    8121- SQL Sever 的 ntext 同步到 FineData 报错

    • 2.3.2及以前的版本,未考虑到SQL Server的ntext字段类型 同步到FineData。

    • 当前版本,SQL Server数据源中的ntext类型同步时,会相应转换成 LONGNVARCHAR类型。

    8156- 数据管道写入BIT类型报错

    • Mysql输出到FineData时,当BIT类型的字段包含null时,系统会进行报错BatchUpdateException。

    • 当前版本,Mysql输出到FineData时,可正常输出BIT类型的null值。

    8194- 数据管道 Logminer 一秒内遇到多条 DDL 时无法正常处理

    • 当数据源为Oracle,源数据库的一秒内同时有多条数据库表结构的修改操作(DDL)时,只能处理一秒内的的第一条DDL操作,忽略掉后续的DDL指令,导致表结构以及数据不一致情况、严重情况下会导致任务中断,此版本已修复。

    数据编排

    6909- 部分格式公式解析错误

    • 某些情况下,当公式名称为b时,有其他公式名ab后面一部分包含b的全部字符,举例replace公式和simple_replace公式,当使用simplce_replace()公式时,系统识别为非法字符串“simple_”和replace()的公式执行,此时检查语法时,会报错“非法的公式语法”,此版本已修复。

    7074- 表输出组件字段转换部分,调整大小写之后 NOT NULL 全部被勾上,此版本已修复。

    7076- 保存上一个数据流任务之后,新建一个流任务任务,页面会出现之前的任务配置,此版本已修复。

    7090- 表输入,若SQL语句的注释部分包含参数,预览结果和执行均会报错,此功能已修复。

    7170FDLoad输出 算子在网速较慢情况下可能匹配失败

    • 网速较慢,或者一些特殊情况时,在字段转换页面,连续多次点击“从数据流匹配字段”,会导致匹配失败

    • 此版本,当点击一次“从数据流匹配字段”按钮后,正在进行匹配时,此按钮会变成灰色,避免多次点击的误操作。

    7255- 流任务中“解析logminer“算子,”需要解析的表”无法正常加载表名进行选择

    • 正常情况下,先选择”数据连接“和”模式“,然后选择“需要解析的表”;但某些情况下,若出现先展开“需要解析的表”,此时会提示”加载中“和”没有数据“,如若后续对”数据连接“和”模式“进行补充,再对“需要解析的表”进行展开选择,此时下拉框会一直没有反应

    • 当前版本已修复,即时预操作过“需要解析的表”,后续补充”数据连接“和”模式“情况下,也可以正常加载“需要解析的表”进行选择。

    7295- “简道云数据推送”算子,选择“添加组件”,设置组件类型为“数字”,值类型为“字段”时,保存后再次点开详情,已选择的值字段丢失,此版本已修复。

    7627- 表输入算子对hana数据进行SQL输入,采用with as的写法时,从2.0.2升级到2.3.2时,语法格式出错,此版本已修复。

    8159- 当数据库为FineData (或者 GreenPlum)时,表字段类型包括BIT(48)时,获取字段报错,此版本已修复,可以正常获取字段。

    8232- 流任务,表输出打印error日志,报错Connection setAutoCommit failed,两条错误日志之间丢失一条数据;且任务设置了报错立即停止也未暂停,原因为未捕捉到异常,此版本已修复。

    8382- 流任务在算子中预览时,部分场景下会出现异常

    • 表输入后接表输入,两个表输入的取数都是10000条,在第二个表输入进行结果预览时,产生10000*10000的数据量,导致FT 宕机;此版本已修复。

    8408合法公式下,含有特殊符号时公式校验出错

    • 在进行企业微信机器人消息推送是,公式中含有半角方括号“[”时,公式校验报错,但是实际上公式是合法的可以执行的,此版本已修复,可以正常校验。


    数据服务

    6906- 部分情况下,版本升级到2.3.2后,数据服务未自动发布,需要手动发布,此版本已修复。

    8108- 数据准备的数据集页面,点击编辑按钮,显示空白弹框,无法进行数据集修改,此版本已修复。

    8109- API发布在进行第3步查阅配置时,下拉框为空,无法选择对应的数据集,而这种情况下数据准备中对应的数据集已可以正常预览,此版本已修复。

    8218- Kafka读取数据服务topic数据时,已有数据情况下无法读取到对应数据。

    • kafka算子的“topic选取策略“ 选择”选择数据服务的tpoic”时,选择对应的topic,无法读取到数据;但“topic选取策略“ 更换为”手动输入topic“,输入同一个topic名称时,可以正常读取数据,此版本已修复。

    系统管理

    7393- 查看日志功能切换日志级别后,文件名会清空,但之前选择的日志仍然存在,且页码仍然可以切换,页面内容无变化,此版本已修复。

    7438- License过期后,启动FineTube工程失败,且没有报错日志,此版本已修复,即使License过期之后,工程也可以正常启动。

    附件列表


    主题: 发行说明
    已经是第一篇
    已经是最后一篇
    • 有帮助
    • 没帮助
    • 只是浏览

    售前咨询电话

    400-811-8890转1

    在线技术支持

    热线电话:400-811-8890转2

    总裁办24H投诉

    热线电话:173-1278-1526

    文 档反 馈

    鼠标选中内容,快速反馈问题

    鼠标选中存在疑惑的内容,即可快速反馈问题,我们将会跟进处理。

    不再提示

    10s后关闭