我创建的文档 我编辑的文档 我收藏的文档
- SAP数据源复用概述
- 文档创建者:light-ming
- 标签:
-
摘要:1. SAP复用背景1.1 复用目标通过提炼 SAP 中可标准化复用的数据处理过程,来提高企业项目上线效率。1.2 通用问题企业做 ETL 处理时候,很多是标准化的内容,但都要重复做一遍,影响项目上线效[阅读全文]
- 创建时间: 编辑: | 浏览:
- JSON解析前过滤出不合法的数据
- 文档创建者:Wendy123456
- 标签:
-
摘要:1. 概述1.1 应用场景大数据量场景下的 json 数据解析,存在问题如下:如果存在几条不合法的 json 格式数据,解析时会导致整个定时任务运行终止。json 解析是数据处理过程,定时任务的脏数据容[阅读全文]
- 创建时间: 编辑: | 浏览:
- 解析并关联多个JSON数组字段
- 文档创建者:Wendy123456
- 标签:
-
摘要:注:本文方案适用于 4.1.6.2 之前版本。1. 概述1.1 应用场景用户的 JSON 数据中包含多个数组字段,如下图所示:希望解析数组字段,且解析后的字段一一对应。如下图所示:1.2 实现思路「JS[阅读全文]
- 创建时间: 编辑: | 浏览:
- 多张Excel表数据关联后再进行加工计算
- 文档创建者:Wendy123456
- 标签:
-
摘要:1. 概述1.1 预期效果用户有两张表,存在不同的数据库中,表数据包含姓名和科目成绩,想要这两张表合并为一张表,且新增一列为科目成绩的总和,将最终数据输出到指定数据库中。1.2 实现思路先将两张成绩表通[阅读全文]
- 创建时间: 编辑: | 浏览:
- 数据比对后更新目标表时间列
- 文档创建者:Wendy123456
- 标签:
-
摘要:1. 概述1.1 应用场景用户希望来源表的增删改同步到目标表的同时,目标表的 update 字段能记录数据变化时间。「数据比对」算子可以进行增删改标记,通过自动生成 fdl_comp[阅读全文]
- 创建时间: 编辑: | 浏览:
- DB表输出
- 文档创建者:Wendy123456
- 标签:
-
摘要:1. 概述1.1 版本FineDataLink 版本功能变动3.1-3.7「DB表输出」算子的「数据去向」Tab 中若选择「自动建表」,「字段映射」Tab 下可删除表字段、修改表字段展示顺序、修改表字段[阅读全文]
- 创建时间: 编辑: | 浏览:
- MongoDB输出
- 文档创建者:Wendy123456
- 标签:
-
摘要:1. 概述1.1 版本FineDataLink 版本功能变更4.1.6.4定时任务支持写入 MongoDB1.2 应用场景有些用户业务系统的数据库是 MongoDB,需要通过定时任务[阅读全文]
- 创建时间: 编辑: | 浏览:
- 将包含两个子表单的简道云表单数据落库
- 文档创建者:Wendy123456
- 标签:
-
摘要:1. 概述1.1 应用场景简道云表单中包含两个子表单,其中一个子表单中包含成员单选、部门单选控件。如下图所示:已有数据如下图所示,现希望将该表单的数据落库。1.2 实现思路使用「简道云输入」算子读取表单[阅读全文]
- 创建时间: 编辑: | 浏览:
- 循环多次读取Windows环境文件同步数据
- 文档创建者:Wendy123456
- 标签:
-
摘要:1. 概述1.1 应用场景用户 Windows 系统中有多个相同格式的 Excel 文件,需要读取所有文件数据并进行 行转列 操作。由于 文件输入 算子批量读取文件时,是将所有文件数[阅读全文]
- 创建时间: 编辑: | 浏览:
- 批量扫描文件同步数据
- 文档创建者:Wendy123456
- 标签:
-
摘要:1. 概述1.1 应用场景某国有企业旗下有 100 多家分公司,子公司财务每月需要向总部提交各种财务预算和决算表,如资产负债表、利润表、现金流量表等数据表。总部财务需要手动对相同类型的财务报表进行数据汇[阅读全文]
- 创建时间: 编辑: | 浏览:
- 基于时间增量读取文件
- 文档创建者:Wendy123456
- 标签:
-
摘要:1. 概述1.1 应用场景FTP 服务器上的文件不定期自动更新,每次通过新建文件更新数据。用户希望自动读取这些文件的所有信息并将信息存储到数据库表中。1.2 实现思路文件输入 算子+参数实现。「文件输入[阅读全文]
- 创建时间: 编辑: | 浏览:
- 数据同步-基于标识字段,新增/修改/删除数据
- 文档创建者:Wendy123456
- 标签:
-
摘要:1. 概述1.1 应用场景用户希望将筛选出的数据,只做新增/更新/删除操作。用户来源表数据已经有了标识字段和标识值,需要对目标表数据进行新增/更新/删除操作。1.2 功能简介在 数据同步&nb[阅读全文]
- 创建时间: 编辑: | 浏览:
- 业务系统数据定期归档
- 文档创建者:Wendy123456
- 标签:
-
摘要:1. 概述1.1 应用场景对象问题用户期望业务数据库(新增大量数据/更新部分数据)业务系统每天都会新增大量数据,写入业务数据库业务数据库数据量过多,希望能够保证并提高业务数据库的性能存在不再使用但又不能[阅读全文]
- 创建时间: 编辑: | 浏览:
- 自动清理FineDataLink运行记录
- 文档创建者:Wendy123456
- 标签:
-
摘要:1. 概述1.1 应用场景随着 FineDataLink 工程使用时间的增长,fine_dp_work_exec_record(记录定时任务的执行情况)表中的数据会不断积累,导致数据量逐渐增多。当数据量[阅读全文]
- 创建时间: 编辑: | 浏览:
- 第一个定时开发任务-更新
- 文档创建者:Marlon.Zhao
- 标签:
-
摘要:1. 概述[helpvideo]3271[/helpvideo]1.1 预期效果希望将一个数据库中的数据定时抽取到指定数据库中。通过本文示例,您能学到:熟悉 FineDataLink 数据开发界面。简单[阅读全文]
- 创建时间: 编辑: | 浏览:
- 循环容器简单示例
- 文档创建者:Marlon.Zhao
- 标签:
-
摘要:1. 概述1.1 问题描述循环容器已经介绍了循环容器的基本功能。如果用户采用 SQL 单条件查询语句每次只能取一条数据,希望能将数据库中满足数据库表「循环容器取数表」中title的数据一条条依次取出并落[阅读全文]
- 创建时间: 编辑: | 浏览:
- 任务控制-容错机制
- 文档创建者:Wendy123456
- 标签:
-
摘要:1. 概述1.1 版本FineDataLink 版本功能变动4.0.26新增「超时限制」和「失败重试」功能4.0.29可设置脏数据阈值,使任务具备一定容错性当出现脏数据时,及时通知用户;在任务运行完成后[阅读全文]
- 创建时间: 编辑: | 浏览:
- 调度计划概述
- 文档创建者:Wendy123456
- 标签:
-
摘要:[helpvideo]8640[/helpvideo]1. 概述FineDataLink 版本功能变动4.0.27一个定时任务可设置多个执行频率「调度配置」界面优化4.0.30支持设置定时任务的调度依赖[阅读全文]
- 创建时间: 编辑: | 浏览:
- LogDB 表结构
- 文档创建者:Suki陈
- 标签:
-
摘要:1. 概述1.1 版本FineDataLink版本功能变动4.1.7.3fine_dp_work_exec_record表迁移到logdb中,表名不变,后续数据均写入迁移后数据表。升级后会将历史运行记录[阅读全文]
- 创建时间: 编辑: | 浏览:
- 字段拆列
- 文档创建者:Wendy123456
- 标签:
-
摘要:1. 概述1.1 版本FineDataLink 版本功能变动4.1.2新增「字段拆列」算子,字段值按照特定规则(分隔符或字符数)拆分,拆分后的结果形成新的多列字段和值4.1.7.3交互优化,选取字段改为[阅读全文]
- 创建时间: 编辑: | 浏览: