产品新功能
数据开发&数据管道
支持设置业务日志-诊断日志的级别
业务日志-诊断日志介绍：
记录各业务模块使用过程中产生的过程日志。
对于FDL，包括：
数据管道：读写过程日志\异常和错误日志。
定时任务：读写过程日志\异常和错误日志。
1）可为管道任务单独设置日志输出级别，满足用户按需查看日志、调试和排错的需求；可以在更细粒度的日志等级里，打印详细的日志，供用户查看。如下图所示：
Ø 详情请参见：配置管道任务-管道控制
2）可为定时任务单独设置日志输出级别，满足用户按需查看日志、调试和排错的需求；可以在更细粒度的日志等级里，打印详细的日志，供用户查看。如下图所示：
Ø 详情请参见：定时任务调度配置
3）可统一为定时任务和管道任务设置日志输出级别。如下图所示：
4）日志输出内容优化：
增加：实例等待运行日志的打印。
增加：INFO级别，打印更加详细的日志，包括参数值、执行脚本、API请求、API分页取数。
优化：明确各条日志的等级，将日志级别打印到日志中。
读数类节点，统一增加删除数据的统计。
Ø 详情请参见：运行日志介绍
支持手动/自动清理任务运行记录
任务的运行记录在持续累加，大量的运行记录，导致任务运维界面打开时卡顿严重，并且一些无价值的数据干扰用户分析，期望支持清理。
操作日志和业务日志支持手动/自动统一清理。如下图所示：
本版本可清理管道任务的运行记录、数据服务的调用记录。Ø 详情请参见：日志简介
过滤/条件分支里的判断逻辑统一和优化
优化前：
1）各个功能内的判断逻辑不一致，且与 FineBI 里的过滤判断逻辑也不一致，包括：
「数据过滤」-添加条件 &「数据分发」-分发条件。
「条件分支」-添加条件 &「循环容器」-执行条件-配置条件。
「简道云输入」-筛选条件。
「MongoDB输入」-条件查询-配置条件。
2）存在一些逻辑偏离大众理解。
优化后：
1）统一产品内判断逻辑。
2）修正不合理的逻辑。
详情请参见：条件判断逻辑说明
依赖任务/调用任务中屏蔽成环任务
1）依赖任务下拉框中，屏蔽成环任务。
示例：A 依赖 B，B 依赖 C ，C 选择依赖任务时不能选择 A 。
2）调用任务下拉框中，屏蔽成环任务。
示例：A 调用 B，B 调用 C ，C 调用任务时不能调用 A 。
简道云私有部署屏蔽SSL证书验证
配置私有云数据连接时，暂不需要 SSL 证书。详情请参见：配置简道云数据源
数据服务
定时任务API对接取数优化
优化前：
API 输出不支持 PATCH 方法。
postman 不可以添加自签名证书。
不支持设置调用 API 的时间间隔。
当一次循环执行抛错，整个循环都会停掉，但用户希望能够继续执行。
优化后：
1）完善 API 调用的能力，比如：
自签名证书
解析 header 信息
自定义编码等
2）优化循环调用场景下的问题，比如：
大数据量循环调用
访问 API 频率控制
分页读取 API
具体优化内容：
1）若用户有自签名证书，可开启自签名证书。并手动上传证书并输入密码。如下图所示：
Ø 详情请参见：数据同步-API、API输入、API输出逻辑说明
2）当用户设置当前API调用的频率限制时，可在一次执行实例中控制该API的调用频率。如下图所示：
3）API 输出支持 patch 请求方式。Ø 详情请参见：API输出逻辑说明
4）当数据源为 API 时，支持获取 API 响应的 header、body、http 状态码，便于后续将其设置为参数。如下图所示：
Ø 详情请参见：参数赋值节点
5）循环容器支持设置容错机制；当循环容器中有节点报错时（例如API循环取数时取出数据为空），支持继续执行循环。如下图所示：
Ø 详情请参见：循环容器逻辑说明
数据管道
管道任务支持无主键表的同步
管道任务支持在源表无主键时，在目标表也不配置逻辑主键，实现实时同步。
1）Oracle、GP、SQLServer 数据源作为源表，支持无主键同步。如下图所示：
Ø 详情请参见：配置管道任务-选择数据去向
2）支持对要同步的来源端数据进行管理，筛选无主键或者表配置异常的表。如下图所示：
Ø 详情请参见：配置管道任务-表字段映射
管道任务Oracle数据源支持对接XStream
FineDataLink 数据管道支持 Oracle 的 XStream 模式。Ø 详情请参见：Oracle环境准备(XStream)
支持 SQL Server 作为来源端的 DDL
支持 SQL Server 作为来源端的 DDL。Ø 详情请参见：数据管道-同步源表结构变化
更多功能详情请参见：4.1.1更新日志
文档上新
最佳实践
新增/修改宜搭表单数据
应用场景：
用户希望根据业务数据库中的数据，更新、新增宜搭表单的数据。
参考文档：
Ø 详情请参见：新增/修改宜搭表单数据
循环多次读取Windows环境文件同步数据
应用场景：
用户 Windows 系统中有多个相同格式的 Excel 文件，需要读取所有文件数据并进行 行转列 操作。
由于 文件输入 算子批量读取文件时，是将所有文件数据上下合并，合并后的数据会存在重复值，行转列时会报错（行转列算子中，要求「待行转列」的字段名称不能重复）。
参考文档：
Ø 详情请参见：循环多次读取Windows环境文件同步数据
【Linux环境】PostgreSQL环境准备
应用场景：
FDL 工程部署在 Linux 环境中，通过数据管道实时同步 PostgreSQL 数据前，需要参考本文在数据源中进行一些配置，为后续的数据同步做好准备。
参考文档：
Ø 详情请参见：【Linux环境】PostgreSQL环境准备
BI仪表板展示管道任务信息
应用场景：
用户想了解某个管道任务是谁编辑的、编辑时间、断点相关信息等，FDL 工程内的 管道任务运维 无法满足需求。
参考文档：
Ø 详情请参见：BI仪表板展示管道任务信息
批量修改定时任务中的数据连接名
应用场景：
FDL 中原先采用的数据连接名为demo1，已在大量定时任务中使用。为了规范数据连接命名，需将此数据连接名更改为fdl_demo，目前需要逐个打开定时任务并手动重新选择新命名的数据连接，操作过程比较麻烦。
鉴于定时任务数量较多，手动选择过于繁琐，本文提供一种批量替换的解决方案。
参考文档：
Ø 详情请参见：批量修改定时任务中的数据连接名
FR调用定时任务后轮询是否完成
应用场景：
FR 通过任务名/任务ID运行定时任务的接口中，可设置延迟参数，在等待设置的 X 秒后可以返回任务运行状态。如下图所示：
但某些定时任务运行时间较长且不稳定，当 FDL 执行到接口设置的时间但任务还未结束时，FR 会接收到 RUNNING 的返回信息。用户无法确定后续定时任务是否运行成功。
参考文档：
Ø 详情请参见：FR调用定时任务后轮询是否完成
最终实现效果如下图所示：
电商经营场景
业务背景：
电商经营由于通常涉及多个自营店铺和其他各种分销店铺，销售渠道链路长、各类数据繁杂零碎，数据监控和取用相对困难，因此对数据的管理和整合就显得非常重要。
x电商公司在数据的整合和管理方面，主要遇到两个问题：
1）通过旺店通取数，然后在 Excel 中整合，各部门根据自己的口径进行取数和即时分析，数据口径不统一，出现大量重复工作。
2）由于采用 Excel 做了大量的数据分析，但由于电商数据庞杂，遇到了性能瓶颈限制。
3）电商全平台的分析过程中除了销售额、利润等常见指标，还有一些难以量化和对比的因素，Excel 分析存在瓶颈，无法将货盘趋势整合进来，不能敏锐捕获市场变化，导致对电商数据监控不足，为业务服务不够，数据价值得不到充分的发挥。
解决思路：
要解决上述问题，更好的管理电商经营数据，让数据充分发挥价值，就必须：
将处理好的庞杂的数仓数据统一存储数据库，并提供高性能、能够即时分析的 BI 平台进行数据分析和展示，解决各部门 Excel 分析带来的数据不统一、分析无法溯源、数据无法共享、重复工作多等问题；避免大数据量 Excel 造成的性能问题。
根据数仓数据制作全平台销售库存货盘分析，监控全平台整体销售等情况，敏锐监控市场变化。
因此采取以下方案：
1）优化获取业务数据流程：利用 FineDataLink 数据集成工具，对接旺店通等电商经营数据平台并入库，结合填报的数据，建立数据仓库，助力形成数据分析架构线上化，实现数据口径的统一。
2）搭建数据仓库框架：使用FDL搭建数仓，将各业务系统数据统一梳理到数仓，整合维度表，并建设好DW、DM层的逻辑框架；
3）提供统一的分析平台：提供统一的 BI 分析平台，将数仓处理好的统一口径的数据对外提供，便于业务进行即时分析，避免使用 Excel 带来的性能问题和重复工作，同时可实现数据共享。
解决方案：
文档：电商经营场景
Demo：参见：案例体验
财务收入核算场景
业务背景：
财务是企业发展的关键命脉，企业只有盘算清楚家底，才能打牢经济发展基础。财务数据表现是衡量一个企业发展是否良好的关键指标。
通过有效利用财务数据能够帮助企业了解、控制费用、降低消耗，为企业目标的实现提供根本保证。
财务分析的第一步就是盘点企业的收入。
x原料销售公司财务部门虽然建立了以财务数据为核心的指标导向、以 Excel 为核心建立了一系列报表，完成了简单的数据利用，但由于：
正在使用的数仓搭建工具运维监控管理太差、经常出现财务收入规整数据出错、数仓不稳定的情况，数仓维护困难；
由于收入单据编制工作量大，数据更新不及时，且利用 Excel 进行透视分析，不但步骤繁杂、加载缓慢，耗时耗力；
Excel 、EAS 系统的数据无法溯源，不方便追踪分析问题；
缺乏智能化数据分析平台，数据无法共享。
等等问题，财务收入清算和梳理非常困难，为业务服务不够，数据价值得不到充分的发挥。
解决思路：
要解决上述问题，让财务收入数据充分发挥价值，就必须解决以下问题：
替换原先的数据仓库搭建工具，保证任务运维的稳定性并降低维护成本；
将处理好的数仓数据统一存储数据库，并提供统一的报表分析平台，避免各部门 Excel 分析带来的数据不统一、分析无法溯源、数据无法共享等问题。
因此采取以下方案：
1）通过统一调度运维工具 FineDataLink 搭建数仓，提升任务稳定性，同时便于统一数据来源，实现数据统一和定时更新。
2）使用统一的 FineReport 平台进行报表处理、展现、数据分析，同时「收入调账」的填报数据也通过该平台统一实现，便于快速溯源数据来源，实现分析数据人人共享。
解决方案：
文档：财务收入核算场景
Demo：参见：案例体验
文档活动
所有活动奖励都以 F币形式发放（1F 币=1 元），F币可在 帆软商城 兑换周边京东卡，也可以直接提现哦，积少成多大家积极参与呀~
文档满意度调研（3F币）
为了给您提供更便捷高效的帮助文档，我们诚邀您参与此次问卷调研，参与到帮助中心的建设中来
您的建议和意见将成为我们努力和改进的方向，问卷填写戳这里：FineDataLink文档内容调研
完成后可通过接取 社区任务 获得 3F币 奖励哦~
文档反馈活动
截止到 2023 年 5 月 1 日，FineDataLink 文档已有 18 万+的阅读量和 9000+ 的用户覆盖，帮助许多用户学习和解决问题。然而，我们也认识到文档内容仍需要不断补充和优化，以便更好地满足用户的需求和期望。
我们希望收集大家的建议，共同为创建更加细致、完备、实用的文档下一番努力，让更多人更快更好地了解 FineDataLink 产品，更好地解决问题。
参与方式：
