反馈已提交

网络繁忙

4.1.1更新日志

  • 文档创建者:Wendy123456
  • 历史版本:6
  • 最近更新:Wendy123456 于 2023-11-20
  • 兼容说明

    1)本版本统一产品内条件判断逻辑,旧版本升级到 4.1.1 及之后版本后,升级后的条件类型部分会发生变化。具体请参见:升级兼容说明

    2)将 API body 的响应字段名称从 default 改为 responseBody。详情请参见:JSON解析算子功能说明

    71.png

    新增功能

    支持设置业务日志-诊断日志的级别

    业务日志-诊断日志介绍:

    记录各业务模块使用过程中产生的过程日志

    对于FDL,包括:

    • 数据管道:读写过程日志\异常和错误日志

    • 定时任务:读写过程日志\异常和错误日志

    1)可为管道任务单独设置日志输出级别,满足用户按需查看日志、调试和排错的需求;可以在更细粒度的日志等级里,打印详细的日志,供用户查看。如下图所示:

    详情请参见:配置管道任务-管道控制

    63.png

    2)可为定时任务单独设置日志输出级别,满足用户按需查看日志、调试和排错的需求;可以在更细粒度的日志等级里,打印详细的日志,供用户查看。如下图所示:

    详情请参见:定时任务调度配置

    1700031453107429.png

    3)可统一为定时任务和管道任务设置日志输出级别。如下图所示:

    65.png

    支持手动/自动清理任务运行记录

    任务的运行记录在持续累加,大量的运行记录,导致任务运维界面打开时卡顿严重,并且一些无价值的数据干扰用户分析,期望支持清理。

    操作日志和业务日志支持手动/自动统一清理。如下图所示:

    本版本可清理管道任务的运行记录、数据服务的调用记录。详情请参见:日志简介

    78.png

    依赖任务/调用任务中屏蔽成环任务

    1)依赖任务下拉框中,屏蔽成环任务。

    示例:A 依赖 B,B 依赖 C ,C 选择依赖任务时不能选择 A 。

    2)调用任务下拉框中,屏蔽成环任务。

    示例:A 调用 B,B 调用 C ,C 调用任务时不能调用 A 。

    详情请参见:定时任务调度配置调用任务

    管道任务支持无主键表的同步

    管道任务支持在源表无主键时,在目标表也不配置逻辑主键,实现实时同步。

    1)Oracle、GP、SQLServer 数据源作为源表,支持无主键同步。如下图所示:

    详情请参见:配置管道任务-选择数据去向

    68.png

    2)支持对要同步的来源端数据进行管理,筛选无主键或者表配置异常的表。如下图所示:

    详情请参见:配置管道任务-表字段映射

    69.png

    管道任务Oracle数据源支持对接XStream

    FineDataLink 数据管道支持 Oracle 的 XStream 模式。详情请参见:Oracle环境准备(XStream)

    支持 SQL Server 作为来源端的 DDL

    支持 SQL Server 作为来源端的 DDL。详情请参见:数据管道-同步源表结构变化

    优化功能

    过滤/条件分支里的判断逻辑统一和优化

    优化前:

    1)各个功能内的判断逻辑不一致,且与 FineBI 里的过滤判断逻辑也不一致,包括:

    • 「数据过滤」-添加条件 &「数据分发」-分发条件。

    • 「条件分支」-添加条件 &「循环容器」-执行条件-配置条件。

    • 「简道云输入」-筛选条件。

    • 「MongoDB输入」-条件查询-配置条件。

    2)存在一些逻辑偏离大众理解。

    优化后:

    1)统一产品内判断逻辑。

    2)修正不合理的逻辑。

    详情请参见:条件判断逻辑说明

    打开多个定时任务后,支持左右拖拽更换顺序

    数据开发中,打开多个定时任务时,支持左右拖拽更换打开顺序。如下图所示:

    18.gif

    优化日志内容

    优化前:

    开发角色在调试任务,以及运维角色在对出现异常的用户排错时:

    • 目前前端无法获取到详细的日志,到 fanruan.log 中查找问题时,排错定位问题的成本较高。

    • 循环容器场景中,无法知道节点使用的参数运行时的值是什么。

    优化后:

    • 设计日志分级逻辑,可以让用户按需查看日志,满足调试和排错的需求。

    • 在更细粒度的日志等级里,打印详细的日志,供用户查看。

    优化内容:

    1)4.1.1 及之后版本,支持调整业务日志输出级别,因此日志内容也做了优化:

    • 增加:实例等待运行日志的打印。

    • 增加:INFO级别,打印更加详细的日志,包括参数值、执行脚本、API请求、API分页取数。

    • 优化:明确各条日志的等级,将日志级别打印到日志中。

    • 读数类节点,统一增加删除数据的统计。

    详情请参见:运行日志介绍

    2)操作日志表格的模块字段中,新增数据管道、数据开发、数据服务模块。如下图所示:

    详情请参见:平台日志

    66.png

    3)「任务运维>运行记录>定时任务」中,「运行记录」页面的指标卡运行中,新增排队中;失败指标卡中,新增运行、构建两个维度;「运行记录」页面的筛选条件运行状态下拉框中,新增构建失败。如下图所示:

    8.png

    简道云私有部署屏蔽SSL证书验证

    配置私有云数据连接时,暂不需要 SSL 证书。详情请参见:配置简道云数据源

    定时任务API对接取数优化

    优化前:

    • API 输出不支持 PATCH 方法。

    • postman 不可以添加自签名证书。

    • 不支持设置调用 API 的时间间隔。

    • 当一次循环执行抛错,整个循环都会停掉,但用户希望能够继续执行。

    优化后:

    1)完善 API 调用的能力,比如:

    • 自签名证书

    • 解析 header 信息

    • 自定义编码等

    2)优化循环调用场景下的问题,比如:

    • 大数据量循环调用

    • 访问 API 频率控制

    • 分页读取 API

    具体优化内容:

    1)若用户有自签名证书,可开启自签名证书。并手动上传证书并输入密码。如下图所示:

    详情请参见:数据同步-APIAPI输入API输出逻辑说明

    74.png

    2)当用户设置当前API调用的频率限制时,可在一次执行实例中控制该API的调用频率。如下图所示:

    1700034565263855.png

    3)API 输出支持 patch 请求方式。详情请参见:API输出逻辑说明

    4)当数据源为 API 时,支持获取 API 响应的 header、body、http 状态码,便于后续将其设置为参数。如下图所示:

    详情请参见:参数赋值节点

    76.png

    5)循环容器支持设置容错机制;当循环容器中有节点报错时(例如API循环取数时取出数据为空),支持继续执行循环。如下图所示:

    详情请参见:循环容器逻辑说明

    1700034944430855.png

    修复 BUG

    1)FDL-9049 管道任务针对数据插入做了语句调整,考虑了无主键场景下的数据同步(加了into table."Last DateTime" is nulland from table. "Last DateTime" is null语句),从 4.0.28 升级到 4.1 之后,管道任务阻塞。此版本已修复。

    2)FDL-9011 来源表和去向表为 pg 数据库,源表 numeric 类型字段非null,在数据比对后变成空值了。此版本已修复。

    3)FDL-8930 定时任务运维中删除运行记录时,前端无法删除,但后端数据被删成功。此版本已修复。

    4)FDL-8915 循环容器在进行到某次循环的时候报错Caused by: com.fr.dp.exception.FineDPException: Spark算子计算错误 - Invalid view name: 14494383733944e78153192945397625,偶发情况,重新运行就正常。此版本已修复。

    5)FDL-8910 定时任务中,逻辑主键全选源表所有字段,运行会报错更新的字段为空。此版本已修复。

    6)FDL-8347 部分公共数据集预览会白屏。此版本已修复。

    7)FDL-7841 FDL 集成 BI,查看全局更新里的信息,点击跳转表信息时,打开的是首页。此版本已修复。




    附件列表


    主题: 数据开发
    已经是第一篇
    已经是最后一篇
    • 有帮助
    • 没帮助
    • 只是浏览
    • 评价文档,奖励 1 ~ 100 随机 F 豆!

    鼠标选中内容,快速反馈问题

    鼠标选中存在疑惑的内容,即可快速反馈问题,我们将会跟进处理。

    不再提示

    10s后关闭

    联系我们
    在线支持
    获取专业技术支持,快速帮助您解决问题
    工作日9:00-12:00,13:30-17:30在线
    页面反馈
    针对当前网页的建议、问题反馈
    售前咨询
    采购需求/获取报价/预约演示
    或拨打: 400-811-8890 转1
    qr
    热线电话
    咨询/故障救援热线:400-811-8890转2
    总裁办24H投诉:17312781526
    提交页面反馈
    仅适用于当前网页的意见收集,帆软产品问题请在 问答板块提问前往服务平台 获取技术支持