反馈已提交

网络繁忙

2023-12产品月报

  • 文档创建者:Wendy123456
  • 历史版本:3
  • 最近更新:Wendy123456 于 2023-12-26
  • 副本_元旦活动推广扁平简约横版海报__2023-12-26+17_08_21.png

    产品新功能

    数据开发

    新增分组汇总算子

    新增「分组汇总」算子,对原始数据根据条件将相同的数据先合并到一组,然后按照分组后的数据进行汇总计算。如下图所示:

    Ø 详情请参见:分组汇总算子

    45.png

    新增字段拆行、字段拆列算子

    用户可用可视化的配置方式实现按分隔符对数据的行列拆分,避免写大量 SQL ,提升数据处理效率。

    1)新增「字段拆行」算子,字段值按照特定规则(分隔符)拆分,拆分后的结果形成新的一列字段和值。如下图所示:

    Ø 详情请参见:字段拆行

    1703577415552503.png

    2)新增「字段拆列」算子,字段值按照特定规则(分隔符或字符数)拆分,拆分后的结果形成新的多列字段和值。如下图所示:

    Ø 详情请参见:字段拆列

    1703577454963847.png

    提供通用JDBC对接取数和执行SQL的能力

    当用户想要使用FineDataLink支持的数据源以外的其他的 JDBC 类型数据库作为 FineDataLink 中的定时任务数据源进行SQL 取数和执行 SQL等操作,可以使用该插件。

    Ø 详情请参见:通用JDBC取数插件

    48.png

    支持调用数据库存储过程

    数据源是 MySQL、Oracle、SQLServer ,定时任务的SQL脚本数据同步数据转换>DB表输入参数赋值中支持调用数据库存储过程。如下图所示:

    Ø 详情请参见:定时任务调用数据库存储过程

    50.png

    定时任务支持直接选表功能&并发读取功能

    「数据源」中选择DB表输入类型时,支持直接选表功能,用户可在下拉框中选择某张数据库表读取数据,且能为这张表添加过滤条件。

    使用直接选表功能,才可开启并发读取功能。在数据量很大时,开启「并行取数」,可提高读取数据的速度。

    如下图所示:

    Ø 详情请参见:数据同步功能说明

    1703577847175747.png

    读取、创建、写入分区表

    详情请参见:读取、创建、写入分区表

    1)数据写入Hive、星环 TRANSWARP INCEPTOR数据库时,支持创建、写入分区表。如下图所示:

    52.png

    2)支持读取 PostgreSQL 数据库的分区表。

    将BI公共数据作为数据连接

    FineBI 和 FineDataLink 中支持新建「远程公共数据」数据连接。

    配置需要远程访问的 FineBI 工程后,可在 FineDataLink 定时任务「数据同步」「参数赋值」「DB表输入」、数据服务(仅支持独立部署环境下)中作为数据源读取数据使用。如下图所示:

    Ø 详情请参见:配置远程公共数据源

    53.png

    Python 脚本可指定 Python 版本

    Python 脚本中,可指定运行脚本时使用的命令。如下图所示:

    Ø 详情请参见:Python脚本

    1703578229878142.png


    定时任务重试支持设置指定业务日期

    当定时任务失败后,用户可以指定业务日期手动进行任务重试,重新触发任务运行,任务运行记录重试时,默认获取「任务运维>运行记录」中当次运行记录任务中原本的调度时间,并且支持修改调度时间的值。

    Ø 详情请参见:定时任务运维

    56.png

    数据开发&数据管道

    Doris、StarRocks 作为写入端,支持自动建表

    管道任务&定时任务中,Doris、StarRocks 数据源作为写入端,支持自动建表。如下图所示:

    Ø 详情请参见:配置管道任务-表字段映射数据同步功能说明

    54.png

    数据管道

    数据管道支持多租户架构的Oracle作为数据来源

    支持使用 PDB 可插拔 Oracle 数据库作为管道任务数据来源。

    数据库准备配置详情参见:Oracle环境准备(LogMiner) 第四章、Oracle环境准备(XStream) 第四章。

    数据服务

    API输入自带分页取数功能

    需要使用 FineDataLink 取出 API 数据时,由于数据量限制或者接口响应时间,有时需要分页取数。FineDataLink 提供了 API 分页功能。如下图所示:

    Ø 详情请参见:API输入-分页取数

    49.png

    数据服务支持更多数据源

    数据服务API支持发布Starrocks、GaussDB、MaxCompute数据源。

    更多更新功能

    12 月份 FDL 更新了两个版本:4.1.2、4.1.3 。更多更新功能请参见:4.1.3更新日志4.1.2更新日志

    文档上新

    以起始行数作为参数的API接口取数

    应用场景:

    从 金蝶 k3Cloud 系统接口 进行分页报表取数时,接口中没有提供页码参数,因此不能使用API取数-按页数取数方案。

    但是接口中会返回所取数据的总行数,且接口请求参数中有开始行索引参数(从哪一行开始取数)、返回行数限制参数。

    1703578632155164.png

    1703578663645963.png

    参考文档:

    Ø 详情请参见API取数-以起始行数作为参数

    API取数-钉钉获取部门用户信息

    应用场景:

    用户想要同步钉钉通信录中的用户信息。

    API取数-获取部门通讯录数据 中获取钉钉用户信息的方案,只适用于部门下用户数量不超过 100 的场景;若某部门中用户数超过 100,可参考本文方案获取用户信息。

    参考文档:

    Ø 详情请参见方案二

    数仓拉链表(来源表数据大于10000)

    应用场景:

    数仓拉链表 文档中提供的方案,使用「参数赋值」节点将来源表中的 ID 字段输出为参数,但「参数赋值」节点要求输出的参数不能超过 10000 个,若来源表数据超过 10000 条,该方案将不适用。

    本文提供数据量较大场景(来源表数据超过 10000)下拉链表的实现方案。

    参考文档:

    Ø 详情请参见数仓拉链表(来源表数据大于10000)

    文档活动

    所有活动奖励都以 F币形式发放(1F 币=1 元),F币可在 帆软商城 兑换周边京东卡,也可以直接提现哦,积少成多大家积极参与呀~

    文档满意度调研(3F币)

    为了给您提供更便捷高效的帮助文档,我们诚邀您参与此次问卷调研,参与到帮助中心的建设中来

    您的建议和意见将成为我们努力和改进的方向,问卷填写戳这里:FineDataLink文档内容调研

    完成后可通过接取 社区任务 获得 3F币 奖励哦~

    文档反馈活动

    截止到 2023 年 5 月 1 日,FineDataLink 文档已有 18 万+的阅读量和 9000+ 的用户覆盖,帮助许多用户学习和解决问题。然而,我们也认识到文档内容仍需要不断补充和优化,以便更好地满足用户的需求和期望。

    1701310437782385.png

    我们希望收集大家的建议,共同为创建更加细致、完备、实用的文档下一番努力,让更多人更快更好地了解 FineDataLink 产品,更好地解决问题。

    参与方式:





    附件列表


    主题: 更新动态
    已经是第一篇
    已经是最后一篇
    • 有帮助
    • 没帮助
    • 只是浏览
    • 评价文档,奖励 1 ~ 100 随机 F 豆!

    鼠标选中内容,快速反馈问题

    鼠标选中存在疑惑的内容,即可快速反馈问题,我们将会跟进处理。

    不再提示

    10s后关闭

    联系我们
    在线支持
    获取专业技术支持,快速帮助您解决问题
    工作日9:00-12:00,13:30-17:30在线
    页面反馈
    针对当前网页的建议、问题反馈
    售前咨询
    采购需求/获取报价/预约演示
    或拨打: 400-811-8890 转1
    qr
    热线电话
    咨询/故障救援热线:400-811-8890转2
    总裁办24H投诉:17312781526
    提交页面反馈
    仅适用于当前网页的意见收集,帆软产品问题请在 问答板块提问前往服务平台 获取技术支持