4.2.5.4
XML 解析算子优化
1)去掉「命名空间」设置项
2)XML 语句中支持包含一些不合法字符
3)支持自动获取 XML 文件的「命名空间前缀」、「命名空间URL」
4)支持解析非末端节点
5)可批量去除「解析后字段名称」中的空间前缀
6)解决多层拆块问题
7)优化新增删除节点逻辑
详情参见:XML解析算子
运维中心优化
管道任务:
1)数据管道任务支持新增「配置详情」,可在任务界面可直接查看当前任务的配置详情,无需进入编辑任务界面查看这些信息,包括来源端的数据源、读取方式、同步对象,目标端的信息、管道控制设置项(脏数据阈值、失败重试、通知内容、日志等级)等,如下图所示:
2)运维中心>数据管道下拆分运行记录和任务管理,更便于用户对管道任务进行管理,如下图所示:
详情参见:管道任务运维-运行记录、管道任务运维-任务管理
定时任务:
任务明细增加创建人、任务优先级等字段;「查看详情」修改为「运行记录」,更多详情参见:定时任务运维-任务管理、定时任务运维-调度计划
数据服务:
API管理支持「查看记录」修改为「调用记录」、新增「创建人」筛选项、其他交互优化;可对调用记录详情表格进行表头字段设置,更多详情参见:数据服务运维
权限管理优化
优化前:
开启「分级授权」按钮,然后根据实际情况开启指定功能任务管理按钮后,才可为用户/部门/角色分配定时任务/管道任务/数据服务API/数据服务应用/数据连接的使用、授权权限。
优化后:
「分级权限管理」与各个功能模块的资源权限控制按钮分开。
开启「分级权限管理」按钮:
可为用户/部门/角色分配人员管理、管理系统的使用、授权权限
可为用户/部门/角色分配模块功能的的授权权限
开启「资源权限控制」后可对每个资源进行权限控制;取消勾选则默认开放全部资源的权限。
可为用户/部门/角色分配指定定时任务/实时任务/管道任务/数据服务API/数据服务应用的使用、授权权限
详情参见:权限概述
修复 BUG
本节中附上了已修复的 BUG 编号,若客户对某个 BUG 有问题可把对应编号发给技术支持进行解答(技术支持联系方式:前往「服务」,选择「在线支持」、电话「400-811-8890」)。
1)FDL-18141 重启FDL服务,管道多次重试之后自动恢复,原因是多线程并发问题导致可能出现 npe,此版本已修复。
2)FDL-18105 管道报错maximum open cursors exceeded,此版本已修复。
3)FDL-18076 【来源PT项目】华为云hive数据连接报错,原连接成功的 conf文 件被修改,多了两个 kdc 地址,换回原来的后连接正常。
4)FDL-18069 【来源PT项目】pg数据连接失败,需保证网络环境稳定。
5)FDL-18058 【群组接入】ops部署 FineBI6.1.5 数据连接页面信息确认,最新的发布的 BI6.1.16 版本,已经优化了这个问题,可升级解决。
6)FDL-18056 参数赋值配置变更后预览值变空,此版本已修复。
7)FDL-18043 4.2.4.3管道增量阶段报错空指针,此版本已修复。
8)FDL-18008 数据连接显示异常,新版的数据连接信息存储在 fine_connection_catalog 表中,查到 fine_connection_catalog 表中有同名的数据连接,删除其中一个后恢复正常,原因是Oracle,SQL server 外接库新建 fine_connection_catalog 表的时候没有对 entity_key 字段唯一约束,手动给 entity_key 加上唯一约束后续不会再出现问题。
9)FDL-17993 选择已存在的kudu表,前端一闪而过,不支持非kudu表,原因是 impala 不支持非 kudu 表,但去向表是否为 kudu 表是通过异步请求获取表信息得到的。在去向表切换之后,异步结果拿到之前,会有一个时间差,这期间无有效表信息,未通过校验,所以展示了异常提示。此版本已修复。
10)FDL-17722 【数据连接】Oracle数据连接报错,开放端口后连接正常,原因是数据库集群环境,部分数据库服务器未开放 151 端口。
11)FDL-17577 清洗规则正则匹配空白字符,清洗测试时测试内容中的空白字符未被标记出来,此版本已修复。
12)FDL-17502 【来源PT项目】mysql输出表名带有,识别为了多表。
解决方案:MySQL数据库不建议表名里包含逗号。
4.2.5.3
Python 算子优化
详情参见:Python 算子
优化前:
数据开发阶段 Python算子配置时不能实时的进行调试排查代码错误。
无法接入多个输入和过程类的算子。
每个 Python 算子都会占用总内存的 20%,可能会导致整个服务器的内存资源使用过多,造成资源浪费。
优化后:
支持数据开发时调试 Python,可查看返回结果。
支持 Python 算子接入多个输入类算子、过程类型算子。
OPS 首次部署 FDL 时原本镜像包中的 python 模块会因为挂载宿主机目录导致被覆盖,此版本已经解决。
Python 算子内存占用限制优化调整。
实时任务&数据转换新增列提供地理坐标系转换函数
通过「FineDataLink 输出到 Websocket, FVS 接收 Websocket 的数据」的方式,实现了实时大屏,由于 FVS 的实时三维大屏的图层都是按照 WGS84 地理坐标系处理的,但原始数据可能是基于 GJC-02 地理坐标系或者 BD09 地理坐标系,所以无法直接使用客户原始数据进行展示,期望通过 FineDataLink 将客户基于其他坐标系的地理坐标,转换成 WGS84 坐标。
因此提供两种转换经纬度的函数,如下图所示:
详情参见:BD09TOWGS84-经纬度转换为WGS84坐标系下经纬度、GCJ02TOWGS84-经纬度转换为WGS84坐标系下经纬度
修复 BUG
本节中附上了已修复的 BUG 编号,若客户对某个 BUG 有问题可把对应编号发给技术支持进行解答(技术支持联系方式:前往「服务」,选择「在线支持」、电话「400-811-8890」)。
1)FDL-17743 oracle管道启动报了null,此版本已修复。
2)FDL-17585 数据同步输出excel文件报错,此版本已修复。
3)FDL-17562 influxdb连接预览报错:get column error-Error during query execution: timeout,此版本已修复。
4)FDL-17375 应用数据源预览没有适配参数,此版本已修复。
5)FDL-17315 内存逐渐升高,可能是内存泄露,此版本已修复。
4.2.5.2
JSON生成优化
优化前:
JSON 配置表内,嵌套不能超过三层;
在生成 JSON 时需要重复使用字段,单个字段只允许在JSON生成算子内被选择一次;
在向 API 传输 JSON 时需要使用固定值,当前不支持;
为了更加方便的生成符合接口规范的 JSON ,在 JSON 生成的配置希望支持导入模板,目前不支持;
优化后:
支持 JSON 配置表内嵌套超过三层;
单个字段支持在JSON生成算子内被选择多次;
选字段可以自定义设置固定值;
支持按照 JSON 模板生成。
详情参见:JSON生成
修复 BUG
本节中附上了已修复的 BUG 编号,若客户对某个 BUG 有问题可把对应编号发给技术支持进行解答(技术支持联系方式:前往「服务」,选择「在线支持」、电话「400-811-8890」)。
1) 4.2.3.4 后管道启动日志有报错,回收站的任务升级存在问题,此版本已经修复。
2)【来源POC项目】共享中心未配置 kafka 导致数据平台启动失败,缓存队列没配置会直接报错而非返回 null,此版本已经修复。
3)定时任务-任务控制-结果通知-平台用户组 变成必填了,此版本删除了平台用户组空校验,只保留平台用户组内部配置项的空校验。保证普通开发用户不配置平台用户组也能正常使用。
4)集群下的管道任务全都跑在一个节点上,管道任务分发到不同节点时比较剩余内存大小,由于当前的内存更新方式不对,更新前后内存不变,此版本已经修改内存更新方式。
5)多hdfs地址星环写入报错,建立外部表时不能用多个 HDFS url 地址拼接,最多只能有一个,此版本已经去掉 HDFS url 地址。
4.2.5.1
事件调度优化
优化前:在单个任务上配置依赖关系的操作路径变长;定时调度和事件调度操作入口多,操作不够连贯;事件调度任务在多个事件调度链路中调整不便。
优化后:
单个任务配置依赖关系在一个画布中即可完成,且入口方便,可以直接添加上游依赖,编辑、删除任务组、解除关系、查看任务定时调度情况等,更加方便。
详情参见:事件调度、定时任务运维-调度计划
事件调度任务在任务运维>调度计划中可以系统的管理多个任务组,如下图所示:
支持Snowflake数据源
FineDataLink 支持连接 Snowflake,进行定时任务读写、管道任务写入、实时任务写入、数据服务读取。
详情参见:配置Snowflake数据源
支持PI数据源
FineDataLink 数据开发-定时任务中支持读取 PI 数据库。
详情参见:配置PI数据源