反馈已提交

网络繁忙

4.1更新日志

  • 文档创建者:Roxy
  • 历史版本:10
  • 最近更新:Roxy 于 2023-12-07
  • 兼容说明

    升级

    升级前需备份finedb!备份步骤详情参见:平台配置备份

    4.0.X 升级到 4.1 不支持一键升级,需要手动替换 JAR 包,首先删除%Tomcat_HOME%/webapps/webroot/WEB-INF/lib目录下 4 .0 后缀的 jar ,如下图所示:

    然后向技术支持(前往「服务」,选择「在线支持」、电话「400-811-8890」)获取新的JAR 包,拷贝到%Tomcat_HOME%/webapps/webroot/WEB-INF/lib。

    为便于手动替换升级时区分度更明显,4.1 版本的 JAR 包改名:从xxx-4.0.jar改成 xxx-4.1.jar。

    注册

    4.1 版本功能点注册与 4.0.x 不兼容,升级后需要生成新  license 进行注册。

    1)数据开发整个模块是否注册不再由「调度配置」功能点控制。

    2)数据管道是由「管道任务」、「数据监控及补全」两个功能点共同控制,即需要两个都要注册,才算数据管道整个模块注册。

    3)由「步骤流程-基础节点包」控制「数据开发」是否注册,将原本「调度配置」、「任务运维」的功能点控制都移到「步骤流程-基础节点包」中;

         由「数据服务-基础」控制「数据服务」是否注册;

         由「管道任务」控制「数据管道」是否注册;

    4)功能点也进行了修改。

    原「接口协议」功能点改为「接口协议(定时)」包含  API、WebService。

    原「无结构化数据存储」功能点改为「文件系统」包含  FTP/SFTP、本地文件。

    新增「应用连接器(定时)」 包含简道云、SAP RFC 。

    新增「消息队列」 包含 kafka。

    定时任务

    参数赋值节点+循环容器节点使用场景中,若「参数赋值」节点输出参数的分隔符选择「文本型分隔」,在循环容器内使用时加了单引号,升级到 4.1.0 及之后版本时,需要手动去掉单引号。

    新增功能

    新增和优化注册方式

    1)新增「容量」、「用户」、「节点」三个维度的注册限制。

    当前的注册产品注册维度分为:「容量」、「时间」、「用户」、「功能点」、「节点」五个,控制维度最终结果取交集,用户可选择适合自己的注册维度。

    详情参见:注册简介

    2)FineDataLink license可以单独控制数据开发、数据服务、数据管道三个模块的到期时间。

    3)同时新增数据开发用户类型,便于从用户维度进行 FineDataLink 的注册管理。

    详情参见:用户管理 第五章


    4)对于注册功能点,也进行了梳理和优化。

    详情参见:FineDataLink支持的数据源

    5)优化数据源类型的注册功能点。

    详情参见:注册简介 第六章

    定时任务新增内置参数

    新增参数:

    • ${workname}:当前任务名称。

    • ${workname.jobname.opresult}:指定任务(非当前任务)-指定节点的最近一次运行结果; 示例:${任务1.数据同步.opresult}

    详情请参见:内置参数第八、九章

    定时任务数据转换支持上下合并

    用户存在多个业务系统的表数据,这些表数据中存在相同字段或相同含义的字段,需要将不同的来源数据上下合并到一个表输出。用户目前使用「Spark SQL」算子实现,比较繁琐,希望能无代码实现。新增上下合并算子,可对多张表进行上下行合并,输出一张合并表。如下图所示:

    详情参见:上下合并

    数据服务定义API时支持绑定应用和测试

    用户可在创建API时将其添加至授权应用,便于后续的 API 调试和直接发布 API 进行使用。如下图所示:

    详情参见:发布API概述 3.1 节。

    数据支持发布 API 时进行应用配置测试,便于用户直接确认 API 是否已经可用并满足需求,如下图所示:

    数据服务支持指定多级API路径

    支持指定多级API路径,若用户想要对发布的API进行层级设计,可以使用连字符(-)、正斜杠(/)等符号设计API路径,如下图所示:

    详情参见:发布API 2.2节。

    数据服务API支持发布(Doris\Impala\TiDB\星环)数据源

    详情参见:发布API概述

    优化功能

    定时任务参数优化

    Shell脚本Python脚本Bat脚本中「脚本参数」下拉框中显示已配置参数,包括任务内参数、全局参数

    所有同名参数都显示,若同名参数会根据参数优先级(「参数赋值」设置的参数>调用任务中父任务参数>「自定义参数」>「全局参数」>「内置参数」),显示生效的参数。

    详情参见:Shell脚本Python脚本Bat脚本


    原「参数设置」改名为「参数列表」,包含任务内参数、全局参数、内置参数;在「参数列表」界面中,可查看该任务可用的参数,如下图所示:

    详情参见:自定义参数

    「条件分支」中添加参数时,可通过折叠树选择参数,可选的参数类型:任务内参数、全局参数、内置参数,如下图所示:

    详情参见:条件分支

    「循环容器」循环方式选择「条件循环」时,「执行条件」中选择参数时,可通过折叠树选择参数,可选的参数类型:任务内参数、全局参数、内置参数。

    详情参见:循环容器逻辑说明

    「参数赋值」设置界面优化:

    • 将「分隔符」单选按钮组改为「闭包符」开关;

    • 参数默认值可自动填入;

    • 可批量生成、修改参数;

    详情请参见:参数赋值

    定时任务连线交互优化

    详情参见:数据开发界面介绍

    1698137784520617.gif

    数据服务调用API报错优化

    对于API运维方和调用方,可在调用记录中对根据访问者IP和调用错误类型进行筛选。

    同时对调用报错优化,细化服务端失败和客户端失败的报错提示分类。

    详情参见:服务运维 第五章

    修复BUG

    本节中附上了已修复的 BUG 编号,若客户对某个 BUG 有问题可把对应编号发给技术支持进行解答(技术支持联系方式:前往「服务」,选择「在线支持」、电话「400-811-8890」)。

    1)FDL-8712 python 脚本后面接db表输出报错。此版本已修复。

    2)FDL-8612 【来源PT项目】FDL转换中API算子无法获取python算子的结果集。此版本已修复。

    3)FDL-8593 数据管道字段映射关系错误。此版本已修复。

    4)FDL-8580 任务耗时的排序是乱的 此版本已修复。

    5)FDL-8571 首页定时任务总数,在2023-10-19这天统计为0。此版本已修复。

    6)FDL-8524 复制之后原来屏蔽的clob字段会报错。此版本已修复。

    7)FDL-8523 写入到gaussdb数据库,目标表若有主键,写入很慢。此版本已修复。

    8)FDL-8523 查询finedb中【fine_dp_operate_history】时,发现路径对应不上。管道的 路径显示和作业名称是一致的。此版本已修复。

    9)FDL-8455 【性能BUG】升级后管道全量同步速度骤降。此版本已解决。

    10)FDL-8438 【数据服务】升级后前端出现一个无限报错的文件夹 。 360极速浏览器21.0.1216.0、奇安信可信浏览器v1.0.41849.7、火狐浏览器该问题均解决。

    11)FDL-8168  数据管道增量阶段脏数据报错 。此版本已修复。

    12)FDL-7616【来源PT项目】客户部分接口取数极慢且会出现timeout报错而中断。请求速度慢问题已经解决。




    附件列表


    主题: 数据开发
    已经是第一篇
    已经是最后一篇
    • 有帮助
    • 没帮助
    • 只是浏览
    • 评价文档,奖励 1 ~ 100 随机 F 豆!

    鼠标选中内容,快速反馈问题

    鼠标选中存在疑惑的内容,即可快速反馈问题,我们将会跟进处理。

    不再提示

    10s后关闭

    联系我们
    在线支持
    获取专业技术支持,快速帮助您解决问题
    工作日9:00-12:00,13:30-17:30在线
    页面反馈
    针对当前网页的建议、问题反馈
    售前咨询
    采购需求/获取报价/预约演示
    或拨打: 400-811-8890 转1
    qr
    热线电话
    咨询/故障救援热线:400-811-8890转2
    总裁办24H投诉:17312781526
    提交页面反馈
    仅适用于当前网页的意见收集,帆软产品问题请在 问答板块提问前往服务平台 获取技术支持