反馈已提交

网络繁忙

4.1.3更新日志

  • 文档创建者:Wendy123456
  • 历史版本:3
  • 最近更新:Wendy123456 于 2023-12-22
  • 兼容说明

    在 4.1.3 之前的版本若已经设置使用过 FineBI 数据,升级后会自动在数据连接处生成「公共数据01」数据连接,升级后,无法直接获取用户名、密码

    需要手动在数据连接「公共数据01」中将用户名、密码填入,测试连接并保存。

    35.png

    新增功能

    定时任务支持调用数据库存储过程

    数据源是 MySQL、Oracle、SQLServer ,定时任务的SQL脚本数据同步数据转换>DB表输入参数赋值中支持调用数据库存储过程。如下图所示:

    详情请参见:定时任务调用数据库存储过程

    49.png

    定时任务支持直接选表功能&并发读取功能

    「数据源」中选择DB表输入类型时,支持直接选表功能,用户可在下拉框中选择某张数据库表读取数据,且能为这张表添加过滤条件。

    使用直接选表功能,才可开启并发读取功能。在数据量很大时,开启「并行取数」,可提高读取数据的速度。

    如下图所示:

    详情请参见:数据同步功能说明

    1702976227249282.png

    读取、创建、写入分区表

    详情请参见:读取、创建、写入分区表

    1)数据写入Hive、星环 TRANSWARP INCEPTOR数据库时,支持创建、写入分区表。如下图所示:

    52.png

    2)支持读取 PostgreSQL 数据库的分区表。

    Python 脚本可指定 Python 版本

    Python 脚本中,可指定运行脚本时使用的命令。如下图所示:

    57.png

    将BI公共数据作为数据连接

    FineBI 和 FineDataLink 中支持新建「远程公共数据」数据连接。

    配置需要远程访问的 FineBI 工程后,可在 FineDataLink 定时任务「数据同步」「参数赋值」「DB表输入」、数据服务(仅支持独立部署环境下)中作为数据源读取数据使用。如下图所示:

    详情请参见:配置远程公共数据源

    2.png

    Doris、StarRocks 作为写入端,支持自动建表

    管道任务&定时任务中,Doris、StarRocks 数据源作为写入端,支持自动建表。如下图所示:

    详情请参见:配置管道任务-表字段映射数据同步功能说明

    4.png

    管道任务写入端主动检测 Kafka 连接是否异常

    管道任务写入端主动检测 Kafka 连接是否异常,若异常,则日志提示并终止任务。如下图所示:

    详情请参见:配置传输队列

    6.png

    StarRocks 作为写入端支持批量删除数据

    StarRocks 数据源作为写入端支持批量删除数据,大大提升同步效率。

    API输入自带分页&API输出支持多行数据流

    1)需要使用 FineDataLink 取出 API 数据时,由于数据量限制或者接口响应时间,有时需要分页取数。FineDataLink 提供了 API 分页功能。如下图所示:

    详情请参见:API输入-分页取数

    7.png

    2)当前置节点的数据流有多行时,API输出支持选择其中一行数据流进行配置,无需调整前置节点的数据流行数;当API输出遍历多行数据流循环调用时,将每一次调用的响应体都添加到输出参数的数组中。

    详情请参见:API输出逻辑说明

    数据服务支持 DB2 数据源

    数据服务支持 DB2 数据源。

    优化功能

    管道&定时任务中字段映射优化

    优化前:

    1)「自动建表」功能无法满足特异性需求,比如:

    • 定义建表的类型

    • 定义表编码

    • 添加索引

    • 自动建表时,表名包含中文、特殊字符

    2)定时任务中无法修改目标表的字段名。

    优化后:

    详情请参见:数据同步功能说明

    1)管道任务&定时任务中,通过「手动建表」功能,可自定义建表的SQL语句,例如修改字段名、字段类型、定义各种表的特性等。如下图所示:

    54.png

    2)定时任务的字段映射中,优化内容如下图所示:

    56.png

    3)管道任务的字段映射优化,如下图所示:

    48.png

    修复BUG

    本节中附上了已修复的 BUG 编号,若客户对某个 BUG 有问题可把对应编号发给技术支持进行解答(技术支持联系方式:前往「服务」,选择「在线支持」、电话「400-811-8890」)。

    1)FDL-7324 用户一开始公共数据集字段名是 A ,落库字段名识别是 A ,将 A 在前端或是使用字段设置改为 B 之后,落库还是 A ,新建一个任务也不行。此版本已修复。

    2)FDL-9684 部分管道任务异常终止,读取端出错,报错:Transaction (Process ID 66) was deadlocked on lock resources with another process and has been chosen as the deadlock victim. Rerun the transaction此版本已修复。

    3)FDL-9683 实例构建后到开始排队存在延迟,此版本已修复。

    4)FDL-9678 管道任务中源端删了一张表后任务中断,重新添加表也无法启动。原因是:在大小写敏感的 MySQL 数据库中,删除一张表名包含大小写的表,删除该表的 SQL 语句中表名全部为小写,删除语句没生效,但实际会被 binlog 记录,导致这条实际不生效的记录被 ddl 捕获了,但通过表名获取 topic 时失败了.

    此版本已修复。

    5)FDL-9677 数据服务 API ,SQL 没有参数,发现调用成功的调用记录里,显示的返回行数是 0 ,实际不是 0 。此版本已修复。

    6)FDL-9662 写入 GreenPlum 数据库时,报错 gpfdist_temp 不存在。此版本已修复。

    7)FDL-9618 升级到 4.1.1 之后,FD 的 Master 日志膨胀5倍。此版本已修复。

    8)FDL-9564 主调度任务频繁卡主,卡主后点击终止也没有反应。此版本已修复。

    9)FDL-9533 python的配置文件有空格会识别不了,报错:java.lang.NumberFormatException: For input string: "20"此版本已修复。

    10)FDL-9529 4.1.2版本非管理员用户用资源迁移导出定时任务,选文件夹导出报错,提示您没有该页面的访问权限。此版本已修复。

    11)FDL-9372 管道任务,SQLServer 同步到 GreenPlum,报错事务进程锁死。此版本已修复。

    12)FDL-9270 FDL 拿 BI 公共数据集,报错dirty data。此版本已修复。

    13)FDL-9254 FDL 资源迁移导入后任务出错(与其他文件夹名字重名)。此版本已修复。

    14)FDL-9177 DB2数据源,DB表输入算子使用with as,DB表输出算子字段映射报错,使用数据关联算子的话,也报相同的错误:
    com.ibm.db2.jcc.am.SqlSyntaxErrorException: DB2 SQL Error: SQLCODE=-104, SQLSTATE=42601, SQLERRMC=as;ect * from (
    with t2;JOIN, DRIVER=4.19.49

    此版本已修复。

    15)FDL-9115 90w行的数据,写入到简道云报错,到2 0s 的时候就断了,但是 9w 的数据是正常写入的。此版本已修复。

    16)FDL-9076 升级到4.1.1之后,文件夹不允许同名(目录不同)。此版本已修复。

    17)FDL-8378 数据同步节点中,来源表和目标表都是 PostgreSQL 数据库,写入报错脏数据,只写入1条也报错。日志报错com.fr.dp.exception.FineDPException: 任务执行失败 - Runtime internal error. - 脏数据条数检查不通过,限制是[0]条,但实际上捕获了[1594]条

    错误定位:写入["dw"."new_Productmodel_ba"]目的表时遇到了脏数据,数据无法正常写入,请做出检查并修改
    异常情况:ERROR: syntax error at or near "ON"
    位置:480

    此版本已修复。

    18)FDL-7839 用户在 BI 有一张抽取表 A ,在表 A 的基础上增加了 6 个计算列,形成了一个自助数据集 AA ,FDL 读取 AA 落库的时候发现,那 6 个计算列都没读取到。此版本已修复。






    附件列表


    主题: 数据开发
    已经是第一篇
    已经是最后一篇
    • 有帮助
    • 没帮助
    • 只是浏览
    • 评价文档,奖励 1 ~ 100 随机 F 豆!

    鼠标选中内容,快速反馈问题

    鼠标选中存在疑惑的内容,即可快速反馈问题,我们将会跟进处理。

    不再提示

    10s后关闭

    联系我们
    在线支持
    获取专业技术支持,快速帮助您解决问题
    工作日9:00-12:00,13:30-17:30在线
    页面反馈
    针对当前网页的建议、问题反馈
    售前咨询
    采购需求/获取报价/预约演示
    或拨打: 400-811-8890 转1
    qr
    热线电话
    咨询/故障救援热线:400-811-8890转2
    总裁办24H投诉:17312781526
    提交页面反馈
    仅适用于当前网页的意见收集,帆软产品问题请在 问答板块提问前往服务平台 获取技术支持