产品新功能
数据开发
数据支持输出为 Excel 形式
支持将数据输出到本地工程或 FTP/SFTP 服务器中，且输出为 Excel 形式。
Ø 详情请参见：文件输出算子
定时任务中支持设置全局参数
当多个定时任务需要使用相同的参数时，如果参数需要修改，每个定时任务都需要进行修改，实现过程比较麻烦。支持设置全局参数，该参数可在多个定时任务中使用。如下图所示：
Ø 详情请参见：全局参数
支持设置定时任务的调度依赖和优先级
1）支持为定时任务设置事件调度。
例如：数仓构建过程中 ODS 层有 a、b、c 任务互不影响、DW 层有 d 、f 任务，需要 a、b 任务执行完触发 d 任务，来减少 DW 层对 ODS 层完全更新完等待的时间；若 a、b 执行失败则不触发，来避免数据准确性的问题。
Ø 详情请参见：定时任务调度配置 2.2 节内容。
2）支持设置定时任务的执行优先级。当线程数不足时，优先执行队列中级别高的流，相同优先级的任务按照先进先出的顺序执行。
Ø 详情请参见：定时任务调度配置 第五章内容。
支持可视化展示定时任务的调用关系/依赖关系
可视化展示父子任务层级调用关系，用户可查看该定时任务被哪些任务调用，以及该任务调用了哪些任务。
可视化展示任务间调度依赖关系，辅助事件调度决策。
Ø 详情请参见：任务间调用/依赖关系展示
新增和优化注册方式
1）新增「容量」、「用户」、「节点」三个维度的注册限制。
当前的注册产品注册维度分为：「容量」、「时间」、「用户」、「功能点」、「节点」五个，控制维度最终结果取交集，用户可选择适合自己的注册维度。
Ø 详情请参见：注册简介
2）FineDataLink license可以单独控制数据开发、数据服务、数据管道三个模块的到期时间。
3）新增数据开发用户类型，便于从用户维度进行 FineDataLink 的注册管理。
Ø 详情请参见：用户管理 第五章
4）对于注册功能点，也进行了梳理和优化。
Ø 详情请参见：FineDataLink支持的数据源
5）优化数据源类型的注册功能点。
Ø 详情请参见：注册简介 第六章
定时任务新增内置参数并提供参数管理功能
1）新增两个内置参数：
${workname}：取当前任务名称。
${workname.jobname.opresult}：获取其他任务节点最近一次运行结果。
Ø 详情请参见：内置参数
2）「参数列表」界面中，可查看该任务可用的参数。
Ø 详情请参见：自定义参数
3）任务内配置参数支持下拉选择。
数据转换新增上下合并算子
用户存在多个业务系统的表数据，这些表数据中存在相同字段或相同含义的字段，需要将不同的来源数据上下合并到一个表输出。用户目前使用「Spark SQL」算子实现，比较繁琐，希望能无代码实现。
新增「上下合并」算子，可对多张表进行上下行合并，输出一张合并表。如下图所示：
Ø 详情请参见：上下合并
定时任务&管道任务&API支持导入导出
FineDataLink 工程上做好的定时任务&管道任务&API希望能够被复用到其他工程中。
1）FineDataLink 支持将定时任务从 A 系统中导出并导入至 B 系统。
Ø 详情请参见：定时任务导入导出
2）FineDataLink 支持将管道任务从 A 系统中导出并导入至 B 系统。
Ø 详情请参见：管道任务导入导出
3）FineDataLink 支持将 API 任务从 A 系统中导出并导入至 B 系统。
Ø 详情请参见：API任务导入导出
数据管道
管道任务支持仅增量同步
数据管道任务初次运行时，采取全量+增量同步策略：
全量阶段：查询任务运行时刻数据来源表的所有数据，输出至数据目标表。
增量阶段：全量同步完成后，通过监听数据管道来源端的数据库日志变化，获取数据来源表的增量数据，将增量数据变化同步至数据目标表。
当以下场景中，用户希望进增量同步：
用户源库删除留存数据后，目标库仍保留完整数据。
希望仅增量同步源表中近期有效数据。
历史数据量很大的用户，为满足数据导入时间窗和导入成功率，历史数据往往要通过特定的高速装载方式或者分多次多批导入。
新版本的管道任务支持从指定的起点开始，持续同步新增的变化数据（增删改）。如下图所示：
Ø 详情请参见：配置管道任务 3.3 节内容。
数据管道和数据服务适配集群
数据管道和数据服务适配集群。Ø 详情请参见：集群部署概述
数据服务
数据服务支持按照应用维度查看调用记录
支持按照应用维度查看调用记录。如下图所示：
Ø 详情请参见：服务运维 4.2 节内容。
数据服务定义API时支持绑定应用和测试
用户可在创建API时将其添加至授权应用，便于后续的 API 调试和直接发布 API 进行使用。如下图所示：
Ø 详情请参见：发布API概述 3.1 节。
数据支持发布 API 时进行应用配置测试，便于用户直接确认 API 是否已经可用并满足需求，如下图所示：
数据服务支持指定多级API路径
支持指定多级API路径，若用户想要对发布的API进行层级设计，可以使用连字符（-）、正斜杠（/）等符号设计API路径。
Ø 详情请参见：发布API 2.2节。
数据服务API支持发布(Doris\Impala\TiDB\星环)数据源
Ø 详情请参见：发布API概述
暂时屏蔽功能
4.0.30 及之后版本，暂时屏蔽 独立部署下定时任务结果输出至FineBI 功能。
注意点
FineDataLink 适配高版本 Kafka
安全检测中测出性能漏洞，涉及 Kafka 版本 2.3.0~3.3.2 。
目前已适配 Kafka 3.5.1 版本，原有 2.x 也可以正常使用，对于一些稳定性敏感，且不需要响应安全问题的用户，可以采取稳定性优先的策略，在其他用户广泛验证后，再升级高版本 Kafka。
Ø 详情请参见：部署Kafka
注册相关
4.1 版本功能点注册与 4.0.x 不兼容，升级后需要生成新 license 进行注册。
新版本（4.1.0 及之后版本）功能点注册与老版本中控制逻辑不一致，新版本：
1）删除数据开发整个模块是否注册是由「调度配置」功能点控制
2）数据管道是由「管道任务」、「数据监控及补全」两个功能点共同控制，即需要两个都要注册，才算数据管道整个模块注册
3）由「步骤流程-基础节点包」控制「数据开发」是否注册，将原本「调度配置」、「任务运维」的功能点控制都移到「步骤流程-基础节点包」中
由「数据服务-基础」控制「数据服务」是否注册
由「管道任务」控制「数据管道」是否注册
4）功能点也进行了修改。
原「接口协议」功能点改为「接口协议（定时）」包含 API、WebService。
原「无结构化数据存储」功能点改为「文件系统」包含 FTP/SFTP、本地文件。
新增 应用连接器（定时） 包含简道云、SAP RFC 。
新增消息队列 包含 kafka。
定时任务
参数赋值节点+循环容器节点使用场景中，若「参数赋值」节点输出参数的分隔符选择「文本型分隔」，在循环容器内使用时加了单引号，升级到 4.1.0 及之后版本时，需要手动去掉单引号。
文档上新
最佳实践
高频指标借助参数实现轻量化修改
应用场景：
用户需要对活跃客户的占比进行分析，但由于不断变化的业务需求，活跃客户的定义会不定期修改。
例如，上半年活跃客户被定义为在过去 3 个月内至少在商城下单 2 次的连锁客户，而下半年的定义则是在过去 6 个月内至少下单 3 次的客户。这种指标变化需要 IT 团队重新评估相关数据的计算逻辑，可能会带来繁重的工作量。
参考文档：
Ø 详情请参见：高频指标借助参数实现轻量化修改
将包含两个子表单的简道云表单数据落库
应用场景：
简道云表单中包含两个子表单，其中一个子表单中包含成员单选、部门单选控件。如下图所示：
已有数据如下图所示，现希望将该表单的数据落库。
参考文档：
Ø 详情请参见：将包含两个子表单的简道云表单数据落库
API取数-计算总页数并按页取数
应用场景：
某企业现在需要将某业务数据全部取出以供业务分析使用。
由于数据量比较大，不可能一次性取全量数据，因此需要使用参数。
接口文档中 pageNum 表示数据页数；pageSize 表示在每一页的数据条数。
和API取数-按页数取数 不同的是，接口返回值中没有总页数 total_pages，需要手动计算。
参考文档：
Ø 详情请参见：API取数-计算总页数并按页取数
零售业务场景方案
业务背景
超市等零售行业对卖场效率等要求越来越高，因此提升客户体验，同时如何快速扩充门店、智能化经营也是当前的主要目标。
零售企业的数据量普遍较大，高速增长的数据量和高时效性要求，需要强大的业务系统和工具支撑业务运作，来提升业务人员统计分析、查询等的工作效率。
受限于工具，x零售企业整体数据应用效率和应用水平不高，为业务服务不够，数据价值得不到充分的发挥。
数据层面：
1）数据孤岛，公司NEC平台等多个业务系统，数据未全部打通，无法关联进行全量报表展示
2）数据质量低，业务人员前端填报未做校验，表中存在作废数据，不合法数据，空值等，无法进行准确的数据统计
3）开源ETL工具无法满足高安全性，运维成本低，数据实时同步的需求，存在以下问题：
安全性问题：在需要手动执行抽数时，会需要进入服务器去更改执行文件，在未知的网络环境下，会给服务器带来风险；
运维成本高：缺少运维管理，无法快速定位出日志，带来极高的运维成本
高实时性要求：对于抽取频率较高的数据表，或需要实时同步的数据，开源ETL无法实现，对于后期业务需求，无法支撑数据时效性
应用层面：
数据不可用：NEC系统性能不好，通过基础数据通过SQL查询生成的报表，经常因为查询量大导致平台崩溃，降低了业务人员对报表的使用频率。
移动端无法查看：NEC平台无法与企微集成，需下载软件但对收集性能有较高要求，外出人员不能做到及时点击及时查询。
解决方案
Demo：参见：案例体验
文档活动
所有活动奖励都以 F币形式发放（1F 币=1 元），F币可在 帆软商城 兑换周边京东卡，也可以直接提现哦，积少成多大家积极参与呀~
文档满意度调研（3F币）
为了给您提供更便捷高效的帮助文档，我们诚邀您参与此次问卷调研，参与到帮助中心的建设中来
您的建议和意见将成为我们努力和改进的方向，问卷填写戳这里：FineDataLink文档内容调研
完成后可通过接取 社区任务 获得 3F币 奖励哦~
文档反馈活动
截止到 2023 年 5 月 1 日，FineDataLink 文档已有 18 万+的阅读量和 9000+ 的用户覆盖，帮助许多用户学习和解决问题。然而，我们也认识到文档内容仍需要不断补充和优化，以便更好地满足用户的需求和期望。
我们希望收集大家的建议，共同为创建更加细致、完备、实用的文档下一番努力，让更多人更快更好地了解 FineDataLink 产品，更好地解决问题。
参与方式：
上一篇：2023-11产品月报
