兼容说明
在 4.1.3 之前的版本若已经设置使用过 FineBI 数据,升级后会自动在数据连接处生成「公共数据01」数据连接,升级后,无法直接获取用户名、密码
需要手动在数据连接「公共数据01」中将用户名、密码填入,测试连接并保存。
新增功能
定时任务支持调用数据库存储过程
数据源是 MySQL、Oracle、SQLServer ,定时任务的SQL脚本、数据同步、数据转换>DB表输入、参数赋值中支持调用数据库存储过程。如下图所示:
详情请参见:定时任务调用数据库存储过程
定时任务支持直接选表功能&并发读取功能
「数据源」中选择DB表输入类型时,支持直接选表功能,用户可在下拉框中选择某张数据库表读取数据,且能为这张表添加过滤条件。
使用直接选表功能,才可开启并发读取功能。在数据量很大时,开启「并行取数」,可提高读取数据的速度。
如下图所示:
详情请参见:数据同步功能说明
读取、创建、写入分区表
详情请参见:读取、创建、写入分区表
1)数据写入Hive、星环 TRANSWARP INCEPTOR数据库时,支持创建、写入分区表。如下图所示:
2)支持读取 PostgreSQL 数据库的分区表。
Python 脚本可指定 Python 版本
Python 脚本中,可指定运行脚本时使用的命令。如下图所示:
将BI公共数据作为数据连接
FineBI 和 FineDataLink 中支持新建「远程公共数据」数据连接。
配置需要远程访问的 FineBI 工程后,可在 FineDataLink 定时任务「数据同步」「参数赋值」「DB表输入」、数据服务(仅支持独立部署环境下)中作为数据源读取数据使用。如下图所示:
详情请参见:配置远程公共数据源
Doris、StarRocks 作为写入端,支持自动建表
管道任务&定时任务中,Doris、StarRocks 数据源作为写入端,支持自动建表。如下图所示:
详情请参见:配置管道任务-表字段映射、数据同步功能说明
管道任务写入端主动检测 Kafka 连接是否异常
管道任务写入端主动检测 Kafka 连接是否异常,若异常,则日志提示并终止任务。如下图所示:
详情请参见:配置传输队列
StarRocks 作为写入端支持批量删除数据
StarRocks 数据源作为写入端支持批量删除数据,大大提升同步效率。
API输入自带分页&API输出支持多行数据流
1)需要使用 FineDataLink 取出 API 数据时,由于数据量限制或者接口响应时间,有时需要分页取数。FineDataLink 提供了 API 分页功能。如下图所示:
详情请参见:API输入-分页取数
2)当前置节点的数据流有多行时,API输出支持选择其中一行数据流进行配置,无需调整前置节点的数据流行数;当API输出遍历多行数据流循环调用时,将每一次调用的响应体都添加到输出参数的数组中。
详情请参见:API输出逻辑说明
数据服务支持 DB2 数据源
数据服务支持 DB2 数据源。
优化功能
管道&定时任务中字段映射优化
优化前:
1)「自动建表」功能无法满足特异性需求,比如:
定义建表的类型
定义表编码
添加索引
自动建表时,表名包含中文、特殊字符
2)定时任务中无法修改目标表的字段名。
优化后:
详情请参见:数据同步功能说明
1)管道任务&定时任务中,通过「手动建表」功能,可自定义建表的SQL语句,例如修改字段名、字段类型、定义各种表的特性等。如下图所示:
2)定时任务的字段映射中,优化内容如下图所示:
3)管道任务的字段映射优化,如下图所示:
修复BUG
本节中附上了已修复的 BUG 编号,若客户对某个 BUG 有问题可把对应编号发给技术支持进行解答(技术支持联系方式:前往「服务」,选择「在线支持」、电话「400-811-8890」)。
1)FDL-7324 用户一开始公共数据集字段名是 A ,落库字段名识别是 A ,将 A 在前端或是使用字段设置改为 B 之后,落库还是 A ,新建一个任务也不行。此版本已修复。
2)FDL-9684 部分管道任务异常终止,读取端出错,报错:Transaction (Process ID 66) was deadlocked on lock resources with another process and has been chosen as the deadlock victim. Rerun the transaction,此版本已修复。
3)FDL-9683 实例构建后到开始排队存在延迟,此版本已修复。
4)FDL-9678 管道任务中源端删了一张表后任务中断,重新添加表也无法启动。原因是:在大小写敏感的 MySQL 数据库中,删除一张表名包含大小写的表,删除该表的 SQL 语句中表名全部为小写,删除语句没生效,但实际会被 binlog 记录,导致这条实际不生效的记录被 ddl 捕获了,但通过表名获取 topic 时失败了.
此版本已修复。
5)FDL-9677 数据服务 API ,SQL 没有参数,发现调用成功的调用记录里,显示的返回行数是 0 ,实际不是 0 。此版本已修复。
6)FDL-9662 写入 GreenPlum 数据库时,报错 gpfdist_temp 不存在。此版本已修复。
7)FDL-9618 升级到 4.1.1 之后,FD 的 Master 日志膨胀5倍。此版本已修复。
8)FDL-9564 主调度任务频繁卡主,卡主后点击终止也没有反应。此版本已修复。
9)FDL-9533 python的配置文件有空格会识别不了,报错:java.lang.NumberFormatException: For input string: "20",此版本已修复。
10)FDL-9529 4.1.2版本非管理员用户用资源迁移导出定时任务,选文件夹导出报错,提示您没有该页面的访问权限。此版本已修复。
11)FDL-9372 管道任务,SQLServer 同步到 GreenPlum,报错事务进程锁死。此版本已修复。
12)FDL-9270 FDL 拿 BI 公共数据集,报错dirty data。此版本已修复。
13)FDL-9254 FDL 资源迁移导入后任务出错(与其他文件夹名字重名)。此版本已修复。
14)FDL-9177 DB2数据源,DB表输入算子使用with as,DB表输出算子字段映射报错,使用数据关联算子的话,也报相同的错误:
com.ibm.db2.jcc.am.SqlSyntaxErrorException: DB2 SQL Error: SQLCODE=-104, SQLSTATE=42601, SQLERRMC=as;ect * from (
with t2;JOIN, DRIVER=4.19.49
此版本已修复。
15)FDL-9115 90w行的数据,写入到简道云报错,到2 0s 的时候就断了,但是 9w 的数据是正常写入的。此版本已修复。
16)FDL-9076 升级到4.1.1之后,文件夹不允许同名(目录不同)。此版本已修复。
17)FDL-8378 数据同步节点中,来源表和目标表都是 PostgreSQL 数据库,写入报错脏数据,只写入1条也报错。日志报错com.fr.dp.exception.FineDPException: 任务执行失败 - Runtime internal error. - 脏数据条数检查不通过,限制是[0]条,但实际上捕获了[1594]条
错误定位:写入["dw"."new_Productmodel_ba"]目的表时遇到了脏数据,数据无法正常写入,请做出检查并修改
异常情况:ERROR: syntax error at or near "ON"
位置:480
此版本已修复。
18)FDL-7839 用户在 BI 有一张抽取表 A ,在表 A 的基础上增加了 6 个计算列,形成了一个自助数据集 AA ,FDL 读取 AA 落库的时候发现,那 6 个计算列都没读取到。此版本已修复。