我创建的文档 我编辑的文档 我收藏的文档
- 4.2.5更新日志
- 文档创建者:Roxy
- 标签:
-
摘要:4.2.5.2JSON生成优化优化前:JSON 配置表内,嵌套不能超过三层;在生成 JSON 时需要重复使用字段,单个字段只允许在JSON生成算子内被选择一次;在向 API 传输 JSON 时需要使用固[阅读全文]
- 创建时间: 编辑: | 浏览:
- 配置Snowflake数据源
- 文档创建者:Roxy
- 标签:
-
摘要:1. 概述1.1 版本 FineDataLink 版本功能变动4.2.5.1-1.2 应用场景Snowflake 是海外 top 级的云数仓,许多外企的母公司已经选型了 Snowflake,在[阅读全文]
- 创建时间: 编辑: | 浏览:
- 2025-03产品月报
- 文档创建者:Roxy
- 标签:
-
摘要:产品新功能实时任务新增实时采集任务为了避免重复解析数据库日志导致数据库压力过大,新增实时采集任务,可以对数据库日志解析进行管理,存储日志解析产生的变更数据,实时任务、管道任务能够消费实时数据共享中心的数[阅读全文]
- 创建时间: 编辑: | 浏览:
- 库表管理管理权限
- 文档创建者:Roxy
- 标签:
-
摘要:1. 概述1.1 应用场景管理员希望能为普通用户分配库表管理。本文将介绍管理员如何给用户分配库表管理的管理权限,使得用户可以「查看和编辑」指定数据连接下的数据库。1.2 前提条件已经注册了相关功能,详情[阅读全文]
- 创建时间: 编辑: | 浏览:
- 简道云表单输出(包含部门成员)
- 文档创建者:Roxy
- 标签:
-
摘要:1. 概述1.1 应用场景公司之前手动在 Excel 表中录入公司电脑借用信息,现在使用简道云表单进行录入。为了实现信息的同步,需要将之前在 Excel 表中录入的信息导入到简道云表单中。Excel 表[阅读全文]
- 创建时间: 编辑: | 浏览:
- 单个简道云子表单输出
- 文档创建者:Roxy
- 标签:
-
摘要:1. 概述1.1 应用场景用户想要将数据库系统数据输出到简道云子表单中,实现子表单数据的新增、更新和删除。1.2 实现思路1)构建数据库中需要写入的子表单 JSON 数据2)构建简道云表单中已有的子表单[阅读全文]
- 创建时间: 编辑: | 浏览:
- 数据清洗授权权限
- 文档创建者:Roxy
- 标签:
-
摘要:1. 概述1.1 版本FineDataLink 版本功能变动4.2.4.3-1.2 应用场景超级管理员可以给予某个对象「数据清洗规则」的授权权限,使该对象将成为一个次级管理员。次级管理员可以给下级成员分[阅读全文]
- 创建时间: 编辑: | 浏览:
- 数据清洗使用权限
- 文档创建者:Roxy
- 标签:
-
摘要:1. 概述1.1 版本FineDataLink 版本功能变动4.2.4.3-1.2 应用场景管理员希望能为普通用户分配「数据清洗」中指定数据清洗规则的查看和编辑。本文将介绍管理员如何给用户分配数据清洗的[阅读全文]
- 创建时间: 编辑: | 浏览:
- 使用全局清洗规则加密数据
- 文档创建者:Roxy
- 标签:
-
摘要:1. 概述1.1 应用场景用户上游总公司需要将来源表的敏感信息字段批量加密、脱敏后写入表,提供给下游公司。1.2 解决思路使用全局清洗规则,设置规则为「加解密」,并通过值替换算子批量对指定数据进行加密。[阅读全文]
- 创建时间: 编辑: | 浏览:
- 使用全局清洗规则批量替换值
- 文档创建者:Roxy
- 标签:
-
摘要:1. 概述1.1 应用场景来源表字段值都有同样的数据问题,例如需要批量替换指定的数据后写入目标表。1.2 解决思路使用全局清洗规则,将值匹配后使用公式统一修改。2. 操作步骤2.1 设置全局清洗规则在数[阅读全文]
- 创建时间: 编辑: | 浏览:
- 使用全局清洗规则删除字段值中的空值
- 文档创建者:Roxy
- 标签:
-
摘要:1. 概述1.1 应用场景简道云来源表字段值都有同样的数据问题,例如字段值中有空格,需要将空格去除后写入目标表。1.2 解决思路使用全局清洗规则,将值匹配后统一替换。2. 操作步骤2.1 设置全局清洗规[阅读全文]
- 创建时间: 编辑: | 浏览:
- 实时任务运维示例
- 文档创建者:Roxy
- 标签:
-
摘要:1. 概述用户开发实时任务,此时想要查看实时任务的状态和运行情况,本文将按照用户的操作流程,详细进行相关功能的讲解。2. 单个任务开发调试阶段2.1 运行任务报错用户开发了一个实时任务,想要运行看看效果[阅读全文]
- 创建时间: 编辑: | 浏览:
- 实时任务运行日志介绍
- 文档创建者:Roxy
- 标签:
-
摘要:1. 概述1.1 版本FineDataLink 版本功能变动4.1.11.4-4.1.13.2增加MQTT输入、IBM MQ输入数据源心跳检测4.1.13.4增加转换类算子的运行日志4.2.4.3优化日[阅读全文]
- 创建时间: 编辑: | 浏览:
- 实时采集任务
- 文档创建者:Roxy
- 标签:
-
摘要:提示:配置管道任务和实时任务之前均需要进行缓存配置,详情参见:缓存配置1. 概述1.1 版本FineDataLink版本功能变动4.2.4.3-1.2 应用场景当多个实时任务、管道任务对同一个数据库的不[阅读全文]
- 创建时间: 编辑: | 浏览:
- dbf 文件批量自动同步
- 文档创建者:Roxy
- 标签:
-
摘要:1. 概述1.1 应用场景希望将二进制的 dbf 文件处理成二维表并定时自动同步,可使用本文方案,为企业降本增效。1.2 实现思路在FDL服务器中按日期新建存放 dbf 文件到文件夹;将业务数据系统中的[阅读全文]
- 创建时间: 编辑: | 浏览:
- 定时任务排队问题排查方案
- 文档创建者:Roxy
- 标签:
-
摘要:1. 概述用户在手动触发任务或者调度触发任务过程中,FineDataLink 工程中可能会出现由于内存不足、并发不足等问题导致的任务卡住、任务排队的问题,问题原因各不相同。本文将给出部分定时任务运行排队[阅读全文]
- 创建时间: 编辑: | 浏览:
- 调度配置方案
- 文档创建者:Roxy
- 标签:
-
摘要:1. 概述用户在开发完多个定时任务后,希望对存在业务上下游关联的定时任务设置调度策略,本文将详细介绍如何通过「定时调度」和「事件调度」保证多个定时任务的协调运行。背景场景调度配置方式A、B、C、D 四个[阅读全文]
- 创建时间: 编辑: | 浏览:
- 数据处理-按编号和日期汇总顺序拼接数据
- 文档创建者:Roxy
- 标签:
-
摘要:1. 概述1.1 应用场景某公司的闸机系统会按照人员编号、通行门禁除、通信时间3个字段,记录每一个人员,经过每一处门禁,具体经过的时间。希望可以将原始通行明细数据,汇总成按:每人每天一条汇总通行详情,且[阅读全文]
- 创建时间: 编辑: | 浏览:
- API取数-获取美团企业版数据
- 文档创建者:Roxy
- 标签:
-
摘要:1. 概述1.1 应用场景用户需要将美团企业版的接口数据取出,例如希望将 订单列表查询 中的数据取出,如下图所示:而「美团企业版」的所有接口调用需要对请求参数进行加密,响应参数进行解[阅读全文]
- 创建时间: 编辑: | 浏览: