反馈已提交

网络繁忙

2024-03产品月报

  • 文档创建者:Wendy123456
  • 历史版本:2
  • 最近更新:Wendy123456 于 2024-03-29
  • 副本_合成风4.5清明主题横板宣传海报__2024-03-29+15_05_07.png

    产品新功能

    数据开发

    定时任务支持写入MongoDB

    有些用户业务系统的数据库是 MongoDB,需要通过定时任务将数仓或其他业务系统的数据输出到 MongoDB 。

    1)「数据同步」节点中,可将数据输出到 MongoDB。如下图所示:

    2.png

    2)「数据转换」节点中,新增MongoDB输出」算子,可将处理后的数据输出到 MongoDB。如下图所示:

    Ø详情请参见:MongoDB输出

    3.png

    任务禁止被多人同时编辑

    一个任务同时被多人打开编辑时,先保存的内容会被之后保存的内容覆盖,导致前者开发内容被误删。

    4.1.6.3 及之后版本,定时任务、管道任务、API任务、数据服务应用禁止被多人同时编辑。用户编辑某个任务时,其他用户也打开该任务,则会提示:当前任务/API/应用正在被XX编辑,其他人无法编辑该任务,只能查看。如下图所示:

    Ø详情请参见:任务禁止被多人同时编辑

    8.png

    JSON解析算子使用体验优化

    Ø详情请参见:JSON解析算子功能说明

    1)JSON解析支持同时解析多个字段,减少「简道云输入」多个复杂字段的解析成本。如下图所示:

    10.png

    2)所有生成的 JsonPath 默认从根节点开始,生成完整的绝对路径,用户可手动修改。

    3)当 JSON 数据存在多层且有同名字段时,会自动给重名字段增加后缀,如下图所示:


    11.png

    4)支持同时解析一个JSON源字段的数组部分和非数组部分 。

    例如想要解析在不同增层级中的 class 和 name 字段,则可直接选择对应的字段,即可同时解析一个数据源的数组和非数组部分,如下图所示:

    12.png

    5)在「选择JSON节点」时,用户可以通过粘贴JSON文本的方式修改选择节点的内容,以防止出现上游有多行 JSON 文本流进时,因为第一行的 JSON 属性较少,导致其他json属性无法直接选择的情况 。

    例如,若选择节点处缺少需要选择的 JSON 属性,则可以手动粘贴包含需要选择的 JSON 属性文本,如下图所示:

    13.png

    然后即可在节点中选择想要解析的字段 。

    6)使用两个「JSON解析」算子,分别解析两个不同字段。但「选择JSON节点」时,两个「JSON解析」算子选择的字段名相同,都为 name 。如下图所示:

    14.png

    4.1.6.2 之前版本,此场景下,若有多个「JSON解析」算子,解析后字段名称不能相同,需要修改解析后字段名称。否则,后面的同名字段会覆盖前面的同名字段。

    4.1.6.2 及之后版本,字段重名时,重名字段名称后会自动递增数字。

    库表管理功能

    针对以下场景:

    1)SQL 调试:数据开发过程中,数据开发人员常常需要编写和调试 SQL ,目前在 FDL 中不能预览 SQL 执行结果,用户往往在 Navicat 或数据库中执行 SQL 确认无误后,再复制到 FDL 中,数据开发过程涉及多个工具参与,不够方便便捷。

    2)查看数据处理效果FDL 中数据经过处理后,没有一个专门的入口查看处理效果是否符合预期,用户只能通过参数赋值、数据同步等取数类节点或者 Navicate 类的工具查询数据。

    本次版本新增库表管理」功能。

    用户可在 FDL 内进行SQL的编写/调试、查看新建表效果、删除表、清空表、复制表等操作。如下图所示:

    Ø详情请参见:库表管理

    15.png

    定时任务支持读取 Gbase 8s

    定时任务支持读取 Gbase 8s。

    数据服务

    支持导出 API 说明文档

    API 开发完成后,需要将 API 说明文档提供给调用者,供调用者查看,本版本可将 API 说明文档导出。

    如果用户有某应用的管理权限,可以点击「导出API文档」按钮,导出该应用下所有上线API的说明文档,文档格式为 word 。如下图所示:

    Ø详情请参见:导出 API 文档 

    4.png

    数据服务适配更多数据源

    数据服务支持 GBase8s、KingbaseES、ClickHouse、HANA、达梦、Vertica 数据源。

    数据管道

    管道任务支持写入达梦数据库。

    文档上新

    文件拆分:只保留最新拆分的文件

    应用场景:

    文件输出算子 可将数据按行数拆分至多个文件,但存在以下问题:

    场景
    问题
    每次运行后,被拆分的文件存在重名情况

    用户多次运行任务,根据数据量不同,被拆分的文件个数可能不同

    若用户第一次运行任务,数据被拆分为 5 个文件,第二次运行任务数据被拆分为 3 个文件,上一次被拆分的文件依然存在,影响用户查看文件数据

    每次运行后,被拆分的文件不存在重名情况

    若被拆分的文件以日期和时间命名,文件不重名,但随着运行次数增多,生成的拆分文件过多,占用空间

    本文提供方案解决上述问题。

    参考文档:

    Ø 详情请参见文件拆分:只保留最新拆分的文件

    简道云输出算子:清空目标表再写入数据

    应用场景:

    简道云输出算子 不能选择「清空目标表,再写入数据」写入方式。

    用户在以下场景时,希望能先清空简道云表单再写入数据:

    • 简道云表单数据发生全面更新,不仅仅是部分更新或增量更新时。

    • 需要将数据迁移到某张简道云表单。

    • 为了避免数据重复或冲突,出于安全考虑,希望先清空目标表再写入数据。

    参考文档:

    Ø 详情请参见简道云输出算子:清空目标表,再写入数据

    部署Kafka:KRaft模式

    应用场景:

    在 Kafka 2.8 之前,Kafka 重度依赖 Zookeeper 集群做元数据管理、Controller 的选举等(统称为共识服务);当 Zookeeper 集群性能发生抖动时,Kafka 的性能也会受到很大的影响。

    在 Kafka 2.8 之后,引入了基于 Raft 协议的 KRaft 模式,支持取消对 Zookeeper 的依赖。在 2022 年 10 月 Kafka 发布 3.3.1 版本之后,将名为 KRaft 的新元数据管理方案标记为生产环境可用。

    参考文档:

    Ø 详情请参见部署Kafka:KRaft模式

    文档共创活动

    参与活动,可赢得 F 币!!

    文档问题反馈

    无门槛,奖励F币:2-150F币

    鼓励大家直接编辑文档,只反馈问题,奖励较少,发现问题编辑后,奖励较多

    只要您觉得某篇文档有问题(BUG、描述不清晰、图片老旧、写的不够好应该XXXX等),都可反馈给我们(不限制问题类型),审核通过后发放F币

    查看详情:FineDataLink文档问题反馈-最高150F币

    文档搜索反馈

    无门槛,奖励F币:2-10F币

    搜不到?有想要的内容不知道搜什么?感觉文档搜索太垃圾,有建议等,反馈给我们

    查看详情:FineDataLink文档搜索反馈-最高10F币

    文档内容调研

    有门槛:近一年内阅读FDL文档篇数超过 40 篇,奖励F币:4F币

    查看详情:FineDataLink文档内容问卷调研-4F币





    附件列表


    主题: 更新动态
    已经是第一篇
    已经是最后一篇
    • 有帮助
    • 没帮助
    • 只是浏览
    • 评价文档,奖励 1 ~ 100 随机 F 豆!

    鼠标选中内容,快速反馈问题

    鼠标选中存在疑惑的内容,即可快速反馈问题,我们将会跟进处理。

    不再提示

    10s后关闭

    联系我们
    在线支持
    获取专业技术支持,快速帮助您解决问题
    工作日9:00-12:00,13:30-17:30在线
    页面反馈
    针对当前网页的建议、问题反馈
    售前咨询
    采购需求/获取报价/预约演示
    或拨打: 400-811-8890 转1
    qr
    热线电话
    咨询/故障救援热线:400-811-8890转2
    总裁办24H投诉:17312781526
    提交页面反馈
    仅适用于当前网页的意见收集,帆软产品问题请在 问答板块提问前往服务平台 获取技术支持