"公开目录" 分类下的文档该分类下有725篇文档创建该分类下的文档
条件判断逻辑说明
文档创建者:Wendy123456      创建时间:11-13 17:06      标签:      编辑:7次    |   浏览:2374次

摘要:1. 概述1.1 版本FineDataLink 版本功能变动4.1.1统一产品内条件判断逻辑4.1.5.5「文件传输」使用该条件判断说明1.2 功能简介本文对产品内条件判断逻辑进行说明。包括:「数据过滤[阅读全文:]

「包含」和「属于」的区别
文档创建者:Wendy123456      创建时间:08-12 14:45      标签:      编辑:3次    |   浏览:1486次

摘要:1. 概述条件判断逻辑说明 文档中,简单介绍了属于、不属于、包含、不包含这四种条件判断逻辑;很多用户不清楚属于与包含、不属于与不包含的区别,本文将对此进行详细解释。2. 详细说明2.1 包含和属于说明包[阅读全文:]

文本函数概述
文档创建者:Roxy      创建时间:06-19 18:05      标签:      编辑:2次    |   浏览:1974次

摘要:1. 使用位置数据开发>数据转换中的新增计算列2. 函数列表函数说明CHAR-返回指定数值的字符根据指定数字返回对应的字符CONCATENATE-字符拼接将数个字符串合并成一个字符串LEN-返回字[阅读全文:]

UUID-返回36位随机字符串
文档创建者:Roxy      创建时间:08-14 15:37      标签:      编辑:1次    |   浏览:729次

摘要:1. 概述注:4.1.11.3 及之后的版本支持该函数。语法UUID()返回通用唯一标识符 (UUID) 字符串。该值以规范的 UUID 36字符串形式返回    返回值类[阅读全文:]

定时任务相关接口介绍
文档创建者:Wendy123456      创建时间:08-16 11:02      标签:      编辑:39次    |   浏览:7528次

摘要:1. 概述本文介绍 FineDataLink 提供的可被简道云、FR、外部系统调用的定时任务相关接口。注1:接口调用说明请参见:调用定时任务相关接口说明;FR中调用接口示例请参见:FR模板调用定时任务接[阅读全文:]

FORMAT-格式转换
文档创建者:Roxy      创建时间:06-16 17:28      标签:      编辑:1次    |   浏览:1843次

摘要: 1. 概述语法FORMAT(数值/日期时间, 格式)FORMAT(数值/日期时间, 格式)返回「数值/日期时间」的指定「格式」的文本。       [阅读全文:]

CONCATENATE-字符拼接
文档创建者:Roxy      创建时间:06-14 14:18      标签:      编辑:4次    |   浏览:1598次

摘要:1. 概述语法CONCATENATE(文本1/日期时间1/数值1, 文本2/日期时间2/数值2, ……)将数个值合并成一个值。如果值是数值,直接转成数值字符串(有小数要保留小数)拼接如果值是T[阅读全文:]

REGEXP_SUBSTR-正则表达式提取字符串中相匹配的内容
文档创建者:Roxy      创建时间:08-13 17:04      标签:      编辑:1次    |   浏览:1086次

摘要: 1. 概述注:4.1.11.3 开始支持此函数。语法REGEXP_SUBSTR(字符串, 正则表达式, 起始位置, 输出组次序, 模式)使用正则表达式提取字符串中相匹配的内容  &[阅读全文:]

FineDataLink与Kettle的区别
文档创建者:Wendy123456      创建时间:08-12 10:28      标签:      编辑:4次    |   浏览:8172次

摘要:分类FineDataLinkKettle任务开发学习成本低:流程化任务开发,快速上手,更低的学习门槛,具有 SQL 能力即可完成复杂数据处理任务开发成本高:Kettle 产品功能设计风格接近传[阅读全文:]

LogDB 表结构
文档创建者:帆软用户ki9NQpCL3P      创建时间:05-31 16:33      标签:      编辑:17次    |   浏览:3418次

摘要:1. 概述1.1 版本FineDataLink版本功能变动4.1.7.3fine_dp_work_exec_record表迁移到logdb中,表名不变,后续数据均写入迁移后数据表。升级后会将历史运行记录[阅读全文:]

批量扫描文件同步数据
文档创建者:Wendy123456      创建时间:11-03 10:26      标签:      编辑:6次    |   浏览:1883次

摘要:1. 概述1.1 应用场景某国有企业旗下有 100 多家分公司,子公司财务每月需要向总部提交各种财务预算和决算表,如资产负债表、利润表、现金流量表等数据表。总部财务需要手动对相同类型的财务报表进行数据汇[阅读全文:]

数据关联
文档创建者:Wendy123456      创建时间:03-18 11:01      标签:      编辑:26次    |   浏览:13488次

摘要:1. 概述[helpvideo]8612[/helpvideo]1.1 版本FineDataLink 版本功能变更3.1「数据转换」节点新增算子「数据关联」1.2 应用场景用户两张数据表在不同的数据库中[阅读全文:]

常见日期公式
文档创建者:Roxy      创建时间:06-06 19:56      标签:      编辑:8次    |   浏览:3021次

摘要:1. 概述在对日期型数据进行操作时,经常会遇到要获取当前日期、获取当前时间、获取日期的年月日等等操作。在 FineDataLink 中可以在新增计算列中实现。注:其中的日期字段需要从函数编辑框左侧的字段[阅读全文:]

条件分支
文档创建者:Wendy123456      创建时间:03-17 13:52      标签:      编辑:18次    |   浏览:9333次

摘要:1. 概述[helpvideo]8630[/helpvideo]1.1 版本说明FineDataLink 版本功能变动2.0ETL 作业新增一种节点类型:「条件分支」4.0.19「条件分支」中,支持定义[阅读全文:]

4.0.6更新日志
文档创建者:Roxy      创建时间:08-12 14:50      标签:      编辑:2次    |   浏览:1742次

摘要:4.0.6.1 版本新增功能新增 FineDataLink 安装包,通过独立的安装包直接在 Window 和Linux 系统中进行部署。详情参见:FineDataLink 安装和启动4.0.6 版本新增[阅读全文:]

循环多次读取Windows环境文件同步数据
文档创建者:Wendy123456      创建时间:11-03 10:33      标签:      编辑:7次    |   浏览:2408次

摘要:1. 概述1.1 应用场景用户 Windows 系统中有多个相同格式的 Excel 文件,需要读取所有文件数据并进行 行转列 操作。由于 文件输入 算子批量读取文件时,是将所有文件数[阅读全文:]

数据过滤
文档创建者:Wendy123456      创建时间:02-28 10:27      标签:      编辑:12次    |   浏览:6526次

摘要:1. 概述1.1 版本FineDataLink 版本功能变动4.0.19新增「数据过滤」算子,过滤符合条件的数据4.0.28运算符选择「为空」时,可过滤出值为空格的数据1.2 应用场景用户数据存在空值,[阅读全文:]

初始化设置
文档创建者:Roxy      创建时间:08-22 15:12      标签:      编辑:10次    |   浏览:12527次

摘要:1. 概述FDL 部署并启动后 ,访问http://IP:端口号/工程名/decision,可打开决策系统配置页面。本文介绍首次访问 FineDataLink 和再次登录的步骤。2. 首次访问系统注:只[阅读全文:]

智能运维概述
文档创建者:帆软用户ki9NQpCL3P      创建时间:05-23 19:45      标签:      编辑:5次    |   浏览:1755次

摘要:1. 概述作为系统管理人员,系统就像自己的孩子一样,看到他健康成长,心里充满满足和自豪,相反的,如果他经常生病,可以说寝食难安。当前系统内哪些模板有问题,哪些模板有出问题的风险,系统的硬件和软件配置是否[阅读全文:]

管理系统简介
文档创建者:帆软用户ki9NQpCL3P      创建时间:06-06 16:00      标签:      编辑:6次    |   浏览:4274次

摘要:1. 概述1.1 版本FineDataLink 版本 4.01.2 功能简介管理员或次级管理员登录到 FineDataLink 后,点击「管理系统」,可[阅读全文:]

DB输出(事务)
文档创建者:Roxy      创建时间:01-17 16:01      标签:      编辑:4次    |   浏览:1616次

摘要:1. 概述1.1 版本FineDataLink 版本功能变动4.1.5.2-4.1.5.5若「写入方式」设置为直接将数据写入目标表,在设置主键冲突策略中,支持设置「主键相同,覆盖目标表数据」4.1.8.[阅读全文:]

每天获取Excel昨日新增数据导入数据库
文档创建者:Wendy123456      创建时间:04-19 15:53      标签:      编辑:8次    |   浏览:4441次

摘要:1. 概述1.1 预期效果Excel 数据表为源数据表,每天会新增数据,用户希望数据库中的某张表自动新增 Excel 里面昨天新增的数据。1.2 实现思路Excel 数据集作为要输入的数据,使用&nbs[阅读全文:]

2024-07产品月报
文档创建者:Wendy123456      创建时间:07-31 11:11      标签:      编辑:4次    |   浏览:1520次

摘要:产品新功能数据开发循环容器循环次数无限制插件应用场景:用户希望定时任务中「循环容器」的循环次数可以更多甚至无限制(当前默认 10000 次)。希望参数输出个数没有限制,便于用户进行一次性取数。功能简介:[阅读全文:]

导出管道任务中来源表及对应的目标表信息
文档创建者:Wendy123456      创建时间:07-29 11:46      标签:      编辑:3次    |   浏览:986次

摘要:1. 概述1.1 应用场景用户的管道任务实现上百张表的实时同步,且存在部分来源表和目标表的表名不同、多张来源表同步到一张目标表等情况,导致用户在管理来源表和目标表的对应关系时(例如重构任务)较为困难。1[阅读全文:]

任务调度专题
文档创建者:Roxy      创建时间:07-17 15:36      标签:      编辑:7次    |   浏览:1564次

摘要:1. 概念调度平台是管理和自动化 ETL 的任务执行工具,通过指定任务依赖关系和执行顺序实现任务的自动执行,一般需要代码开发,使用数仓需要有调度软件,来确保 ETL过程顺利执行。FineDataLink[阅读全文:]

API取数-钉钉获取部门列表
文档创建者:Roxy      创建时间:08-28 18:56      标签:      编辑:6次    |   浏览:4531次

摘要:1. 概述1.1 应用场景用户想要同步钉钉通信录中的部门信息。1.2 接口说明接口文档详情参见:获取部门列表、获取企业内部应用的access_token1.3 实现思路由于接口只能获取当前部门的下一级部[阅读全文:]

4.1.10更新日志
文档创建者:Wendy123456      创建时间:07-04 09:24      标签:      编辑:7次    |   浏览:2325次

摘要:4.1.10.4管道来源端适配MySQL5.5数据管道来源端支持 MySQL 5.5 版本。详情请参见:支持的数据源范围ETL结果表可拉起子表更新FDL 输出到 BI 「公共数据」指定目录下的[阅读全文:]

补数据示例
文档创建者:Wendy123456      创建时间:07-22 11:28      标签:      编辑:3次    |   浏览:1287次

摘要:1. 概述注:本文适用于 4.1.2 及之后版本。1.1 应用场景用户设计的定时任务取数逻辑为:每天抽取当天调度时间往前推 24h 内的数据,汇集到目标数据库。节假日期间 3 天,系统宕机,定时任务没有[阅读全文:]

配置 SQL server 外接数据库
文档创建者:Roxy      创建时间:08-08 17:16      标签:      编辑:9次    |   浏览:2610次

摘要:1. 概述1.1 功能简介FineDataLink 系统配置外接数据库后,遇到集群环境或数据量较大情况时,可保证系统的稳定性。用户可在「初始化时」配置外接数据库或在「管理系统」配置[阅读全文:]

关闭或重启FineDataLink工程
文档创建者:Wendy123456      创建时间:05-07 10:52      标签:      编辑:7次    |   浏览:2810次

摘要:1. 概述1.1 应用场景FDL 手动进行升级后,需要重启工程。FDL 工程修改某些配置后,需要重启工程。1.2 功能简介本文提供 Linux 系统中,关闭和重启 FDL 工程的方法。1.3 其他说明1[阅读全文:]

多流数据合并、运算专题
文档创建者:Roxy      创建时间:05-21 18:46      标签:      编辑:4次    |   浏览:2832次

摘要:1. 概述在使用 FineDataLink 「数据开发」搭建数仓或者进行数据处理时,经常需要进行数据的清洗、处理、计算等,FineDataLink 提供了多种可视化算子,用户无需编写复杂的 SQL 语句[阅读全文:]

登录页
文档创建者:Fay      创建时间:10-27 17:42      标签:      编辑:6次    |   浏览:2385次

摘要:1. 概述1.1 版本FineDataLink 版本功能变动4.0.221)新增登录风格「大窗口」2)原「默认」风格更名为「小窗口」4.1.6.1新增「显示备案信息」按钮,支持在登录页底部显示[阅读全文:]

获取上月末、上年末等作为参数使用
文档创建者:Roxy      创建时间:04-07 11:11      标签:      编辑:4次    |   浏览:2020次

摘要:1. 概述1.1 应用场景用户想要使用上月末、上年末、上季度末、每个月第一天、最后一天等自定义参数(任务参数)无法直接设置的动态数据作为参数,进行定时任务的开发。1.2 实现思路使用 SparkSQL[阅读全文:]

WEEKDAY-星期数
文档创建者:Roxy      创建时间:06-19 16:54      标签:      编辑:1次    |   浏览:1040次

摘要:1. 概述语法WEEKDAY(文本/日期时间)获取日期并返回星期数。返回值为介于0到6之间的某一整数,分别代表星期中的某一天(从星期日到星期六)   参数serial_number表[阅读全文:]

SparkSQL日期函数
文档创建者:Roxy      创建时间:06-16 17:31      标签:      编辑:13次    |   浏览:6768次

摘要:1. 概述本文介绍 SparkSQL 中的日期函数语法。本文同时提供新增计算列公式写法和 SparkSQL 语法写法,用户可自行选择。2. 时间戳推荐使用FineDataLink 新增计算列中[阅读全文:]

DATEDIF-日期差
文档创建者:Roxy      创建时间:06-16 17:01      标签:      编辑:4次    |   浏览:1834次

摘要:1. 概述语法DATEDIF(文本/开始日期, 文本/结束日期, 单位)返回两个指定日期间的天数、月数或年数     参数1文本/开始日期开始日期:代表所指定时间段的初始日[阅读全文:]

Linux下Tomcat开机自启动
文档创建者:Roxy      创建时间:07-12 13:43      标签:      编辑:8次    |   浏览:2706次

摘要:1. 概述本文介绍 Linux 系统安装 Tomcat 后,设置开机自启动的方法。2. Ubuntu16.04及之前&CentOS6.x&RedHat6.x配置 Tomcat 开机自启动[阅读全文:]

数仓拉链表(来源表数据大于10000)
文档创建者:Wendy123456      创建时间:12-21 15:59      标签:      编辑:9次    |   浏览:3526次

摘要:1. 概述1.1 应用场景数仓拉链表 文档中提供的方案,使用「参数赋值」节点将来源表中的 ID 字段输出为参数,但「参数赋值」节点要求输出的参数不能超过 10000 个,若来源表数据超过 10000 条[阅读全文:]

FDL调用FR/BI的定时调度任务
文档创建者:Wendy123456      创建时间:07-15 10:53      标签:      编辑:6次    |   浏览:2010次

摘要:1. 概述1.1 应用场景某公司的 FineReport/FineBI 工程每月都会通过 定时调度任务 给销售发送月报数据。月报发送前,需要使用 FDL 处理月报数据。若分别设置 F[阅读全文:]

增删改数据同步概述(高效率)
文档创建者:Roxy      创建时间:07-12 14:09      标签:      编辑:2次    |   浏览:1925次

摘要:1. 概述用户在定时任务进行数据同步时,如果源数据库同时有增删改变化,可以使用数据比对,但是如果数据量很大,想要提高同步效率,就可以使用本文的方案进行数据同步。2. 时间戳和业务时间说明时间戳:一般是记[阅读全文:]

增删改数据同步至目标表(MD5校验)
文档创建者:Roxy      创建时间:07-12 17:37      标签:      编辑:4次    |   浏览:1520次

摘要:1. 概述1.1 应用场景用户在定时任务进行数据同步时,如果源数据库同时有增删改变化,且没有时间戳,可以直接使用数据比对,但是如果数据量很大,想要提高同步效率,就可以使用本文的方案进行数据同步。1.2[阅读全文:]

增删改数据同步(非数据比对且无时间戳,有业务时间)
文档创建者:Roxy      创建时间:07-11 18:24      标签:      编辑:6次    |   浏览:1552次

摘要:1. 概述1.1 问题描述用户在定时任务进行数据同步时,如果源数据库同时有增删改变化,且来源表中没有时间戳时,可以使用数据比对,但是如果数据量很大,想要更好的提高同步效率,就可以使用本文的方案进行数据同[阅读全文:]

平台日志 LogDB 数据库
文档创建者:帆软用户ki9NQpCL3P      创建时间:06-01 15:34      标签:      编辑:6次    |   浏览:3088次

摘要:对于运维平台部署的工程,如在部署时勾选了ElasticSearch组件,ElasticSearch会替换swift(logdb)作为日志存储。如在工程「管理系统>系统管理>常规」界面看到「E[阅读全文:]

读取单Excel多Sheet文件数据
文档创建者:Wendy123456      创建时间:07-11 15:08      标签:      编辑:3次    |   浏览:2124次

摘要:1. 概述1.1 应用场景财务报表、销售数据表、学生成绩表等 Excel 表格中,往往包含多个 Sheet,用户希望使用 FDL 读取单 Excel 多 Sheet 文件数据。1.2 实现思路1)在待读[阅读全文:]

数据同步-服务器数据集
文档创建者:Wendy123456      创建时间:03-17 10:44      标签:      编辑:21次    |   浏览:10090次

摘要:1. 概述1.1 版本说明FineDataLink 版本功能变动V2.2数据源类型支持服务器数据集,支持从 CSV、Excel 文件中读取数据1.2 应用场景用户希望读取 Excel 、CSV[阅读全文:]

Kettle调用插件
文档创建者:Roxy      创建时间:06-14 12:46      标签:      编辑:7次    |   浏览:3276次

摘要:1. 概述1.1 版本FineDataLink版本4.1.9.31.2 应用场景用户如果有历史的 Kettle 任务想要统一用 FineDataLink 进行管理,使用 FineDataLink 对 k[阅读全文:]

容器化部署常见问题
文档创建者:Carly      创建时间:11-21 14:24      标签:      编辑:1次    |   浏览:1518次

摘要:1. 概述1.1 版本FineReport服务器版本FineKey工具版本11.0V1.51.2 应用场景本文将介绍容器化部署过程中常见问题和解决方案。2. 容器工具启动失败2.1 finekey is[阅读全文:]

2024-06产品月报
文档创建者:Wendy123456      创建时间:07-02 09:25      标签:      编辑:3次    |   浏览:924次

摘要:产品新功能数据开发新增回收站在使用 FineDataLink 时,用户清理无效任务的时候可能会把正式任务删除,为了减少任务误删问题的风险,希望能恢复被删除的任务。回收站支持对「数据开发」、「数据管道」、[阅读全文:]

配置管道任务
文档创建者:Roxy      创建时间:08-04 17:11      标签:      编辑:67次    |   浏览:29892次

摘要:[helpvideo]8634[/helpvideo]1.概述完成数据源、数据库环境、管道任务环境准备配置后,可创建管道任务,将多种类型的数据源输入输出链路进行组合,进行单表或整库数据的实时同步。2.[阅读全文:]

数据分发
文档创建者:Wendy123456      创建时间:03-15 09:30      标签:      编辑:13次    |   浏览:5055次

摘要:1. 概述1.1 版本FineDataLink 版本功能变动4.0.20支持对表中不同字段给予加工处理后再流向不同表1.2 应用场景处理后的数据输出前,用户希望按照不同的过滤条件输出到多张表中,若做多个[阅读全文:]

文件输出算子功能说明
文档创建者:Wendy123456      创建时间:06-25 11:00      标签:      编辑:9次    |   浏览:3935次

摘要:[helpvideo]8618[/helpvideo]1. 概述1.1 版本FineDataLink 版本功能变动4.0.26新增「文件输出」算子,可将数据输出为 CSV 类型的文件4.0.30可将数据[阅读全文:]

行转列
文档创建者:Roxy      创建时间:11-24 11:36      标签:      编辑:15次    |   浏览:11940次

摘要:1. 概述[helpvideo]8615[/helpvideo]1.1 版本说明版本功能变动4.0.15-1.2 应用场景行转列可将一维表转成二维表。一维表也常称为流水线表格。一般有固定的列名,平常输入[阅读全文:]

简道云输入功能说明
文档创建者:Wendy123456      创建时间:07-21 11:40      标签:      编辑:20次    |   浏览:4147次

摘要:1. 概述[helpvideo]8611[/helpvideo]1.1 版本FineDataLink 版本功能变更4.0.2.1数据连接新增「简道云」类型「数据转换」节点新增算子「简道云输入」1.2 应[阅读全文:]

定时任务版本管理
文档创建者:Roxy      创建时间:05-22 18:20      标签:      编辑:2次    |   浏览:1950次

摘要:[helpvideo]8603[/helpvideo]1. 概述1.1 版本FineDataLink 版本功能说明4.1.8.2-1.2 应用场景用户有多名开发人员,为防止自己的定时任务被他人误操作修改[阅读全文:]

4.1.9更新日志
文档创建者:Roxy      创建时间:06-04 09:53      标签:      编辑:11次    |   浏览:2793次

摘要:4.1.9.4修复BUG本节中附上了已修复的 BUG 编号,若客户对某个 BUG 有问题可把对应编号发给技术支持进行解答(技术支持联系方式:前往「服务」,选择「在线支持」、电话「400-811-8890[阅读全文:]

SAP数据源复用概述
文档创建者:light-ming      创建时间:05-24 10:50      标签:      编辑:5次    |   浏览:2246次

摘要:1. SAP复用背景1.1 复用目标通过提炼 SAP 中可标准化复用的数据处理过程,来提高企业项目上线效率。1.2 通用问题企业做 ETL 处理时候,很多是标准化的内容,但都要重复做一遍,影响项目上线效[阅读全文:]

②SAP_FI_FR看板
文档创建者:light-ming      创建时间:05-29 15:19      标签:      编辑:5次    |   浏览:1033次

摘要:1. 概述1.1 解决的问题SAP 报表本身不方便钻取到最明细的凭证数据;且对于数据的再处理没有FDL方便,能够快速生成想要的维度、指标;一些线下规则不好融入到SAP报表中,比如费用的重分类、[阅读全文:]

参数赋值示例
文档创建者:Wendy123456      创建时间:10-23 17:03      标签:      编辑:8次    |   浏览:3664次

摘要:1. 概述1.1 应用场景demo1 数据库中有一张数据表名为「S产品」,想要将「类别ID」=2 的数据同步到 demotest 数据库中。1.2 实现思路「S产品」中,「产品ID」为主键,先取出「类别[阅读全文:]

提取简道云表单多值字段并显示为一行
文档创建者:Wendy123456      创建时间:07-31 15:06      标签:      编辑:10次    |   浏览:1930次

摘要:1. 概述1.1 应用场景公司人员信息保存在简道云表单中,在公司内部,有些人可能会同时担任多个职位,如王小明既是总经理又在财务部工作。在王小明出差时,为了方便报销,需要将他所在的多个部门展示出来,方便后[阅读全文:]

数据去重
文档创建者:Roxy      创建时间:06-06 18:41      标签:      编辑:5次    |   浏览:3099次

摘要:1. 概述1.1 预期效果在搭建数据仓库时,可能需要对重复的脏数据进行去重,此时可以使用 SparkSQL 算子中的 GROUP BY 进行处理。例如:有的订单数据不小心触发了两次,一个订单有两个订单数[阅读全文:]

数仓拉链表(来源表数据小于10000)
文档创建者:Wendy123456      创建时间:03-17 14:29      标签:      编辑:27次    |   浏览:12989次

摘要:1. 概述1.1 应用场景在实际业务场景中,做数据增量更新的时候,有时候会碰到以下情况:当表数据很大时,每次更新只有很小一部分数据,如果只保留一张全量表,则无法查询历史某个时间段表的全量记录。如果每天都[阅读全文:]

Cron表达式设置
文档创建者:Roxy      创建时间:05-12 17:24      标签:      编辑:5次    |   浏览:5427次

摘要:1. 概述1.1 应用场景当设置 定时任务调度计划 时,如果定时更新频率比较复杂,无法通过「简单重复执行」或「明细频率设置」直接设置时,我们可以通过 Cron 表达式实现。本文将以示[阅读全文:]

生成数据转换
文档创建者:Roxy      创建时间:11-15 15:52      标签:      编辑:8次    |   浏览:7208次

摘要:1. 概述1.1 版本说明FineDataLink 版本功能变动4.0.13-1.2 应用场景数据同步与数据转换的区别 已经说明了两个功能的应用区别。「数据同步」:数据获取—简单处理—输出「数[阅读全文:]

数据抽取失败后进行数据回滚
文档创建者:Wendy123456      创建时间:02-27 15:20      标签:      编辑:26次    |   浏览:4055次

摘要:1. 概述1.1 应用场景在数据同步时,当历史数据量很大,为保证数据的时效性,需要对数据定时进行增量更新。在增量更新过程中,若遇到字段异常值、脏数据等问题,将导致数据同步一段时间后任务失败。此时目标表中[阅读全文:]

FDL&简道云&BI组合应用示例
文档创建者:Roxy      创建时间:09-05 18:26      标签:      编辑:18次    |   浏览:4833次

摘要:1. 概述1.1 背景某公司使用简道云表单填报获取订单明细数据,并且这些数据需要和数据库中的客户信息「S客户」进行关联,从而构建出客户订单明细宽表;在 FineBI 中使用此数据表制作可视化看板进行订单[阅读全文:]

业务系统数据定期归档
文档创建者:Wendy123456      创建时间:03-22 10:52      标签:      编辑:27次    |   浏览:4223次

摘要:1. 概述1.1 应用场景对象问题用户期望业务数据库(新增大量数据/更新部分数据)业务系统每天都会新增大量数据,写入业务数据库业务数据库数据量过多,希望能够保证并提高业务数据库的性能存在不再使用但又不能[阅读全文:]

循环容器典型示例-API取数
文档创建者:Roxy      创建时间:05-23 19:38      标签:      编辑:6次    |   浏览:6858次

摘要:1. 概述1.1 应用场景API 接口中包含参数 data_id,可取出特定 data_id 的接口数据。现在 data_id 保存在数据库中,希望取出这些 da[阅读全文:]

云端运维日志包表结构说明
文档创建者:Roxy      创建时间:04-28 17:02      标签:      编辑:5次    |   浏览:1105次

摘要:1. 概述1.1 版本FineDataLink版本功能变更4.0.5-1.2 功能简介treasures 数据包的具体 CSV 表结构,下面将详细说明。2. 获取数据包管理员登录FineDataLink[阅读全文:]

2023-08产品月报
文档创建者:Wendy123456      创建时间:08-24 10:37      标签:      编辑:13次    |   浏览:2220次

摘要:2023年 8 月 FineDataLink 继续为您带来新物料。产品新功能文档上新文档共创活动产品新功能数据开发定时任务支持批量配置和管理调度Ø 详情请参见:定时任务运维开发人员在开发完任务[阅读全文:]

4.0.1更新日志
文档创建者:Wendy123456      创建时间:04-24 13:49      标签:      编辑:8次    |   浏览:2103次

摘要:4.0.1.1 版本新增功能1)数据输出适配 Impala。2)「管理系统>智能运维>资源迁移」的资源导出 Tab 下,新增 ETL 任务的导出;资源导入 Tab 下,可导入 ET[阅读全文:]

FineDataLink模块介绍
文档创建者:Wendy123456      创建时间:10-09 18:07      标签:      编辑:5次    |   浏览:8056次

摘要:1. 概述本文介绍 FineDataLink 各个模块的功能及使用流程。2. 模块介绍FineDataLink 各模块支持的数据源请参见:FineDataLink支持的数据源各模块价值场景:价值场景2.[阅读全文:]

FR模板调用定时任务接口示例
文档创建者:Wendy123456      创建时间:09-08 10:17      标签:      编辑:12次    |   浏览:7720次

摘要:1. 概述本文介绍 FR 模板调用定时任务接口的示例。查看本文档前,请先查看以下两篇文档,了解更多调用接口相关知识:开放平台-FineDataLink接口插件调用FineDataLink接口说明注:本文[阅读全文:]

4.0.4更新日志
文档创建者:Wendy123456      创建时间:06-10 17:01      标签:      编辑:7次    |   浏览:2079次

摘要:4.0.4.2 版本新增功能1)数据连接新增 MongoDB 类型;「数据转换」节点新增算子「MongoDB输入」,满足用户接入 MongoDB 数据源进行数据处理的需求。详情请参见:MongoDB输入[阅读全文:]

FineDataLink&FineBI组合应用概述
文档创建者:Roxy      创建时间:08-10 17:06      标签:      编辑:5次    |   浏览:4439次

摘要:1. 概述帆软产品体系覆盖企业全部的数据分析应用场景,依托原厂产品天然融合的优势,提供从数据采集, 数据处理,数据分析与挖掘到数据可视化展现的一体化商业智能解决方案。FineDataLink 一站式数[阅读全文:]

4.0.27更新日志
文档创建者:Roxy      创建时间:08-03 16:04      标签:      编辑:16次    |   浏览:2595次

摘要:兼容说明数据服务功能已内置主版本,支持一键升级。任务运维的调度计划中:如果旧版本升级到4.0.27版本,调度名称默认为:调度1-任务名称。新增功能FineBI「公共数据」支持作为数据库来源端和发布为AP[阅读全文:]

FDL启动问题排查
文档创建者:Cecilia12321      创建时间:09-30 16:03      标签:      编辑:18次    |   浏览:9657次

摘要:1.1 平台界面报错:数据平台启动未成功,请稍等原因1:查看fanruan.log日志,报错未知的名称或服务服务器的主机地址没有绑定ip地址解决方案:Linux服务器下输入hostname,查看主机名。[阅读全文:]

云端运维报告
文档创建者:Roxy      创建时间:04-28 14:13      标签:      编辑:5次    |   浏览:1627次

摘要:1. 概述1.1 版本FineDataLink版本功能变更4.0.5-1.2 应用场景用户可根据云端运维报告了解 FineDataLink 功能使用情况,比如定时任务月度变[阅读全文:]

4.0.26更新日志
文档创建者:Wendy123456      创建时间:06-30 17:18      标签:      编辑:15次    |   浏览:2241次

摘要:升级说明「一键升级」功能中,暂未上线 4.0.26 版本。即 4.0.26 之前版本独立部署用户,无法通过「一键升级」按钮升级到 4.0.26 版本。若客户需要升级到 4.0.26 版本,需联系技术支持[阅读全文:]

2024-05产品月报
文档创建者:Wendy123456      创建时间:05-31 10:58      标签:      编辑:6次    |   浏览:1628次

摘要:产品新功能数据开发定时任务提供版本管理和版本比对功能Ø 详情请参见:定时任务版本管理1)发布的定时任务内容可以进行版本内容查看详情、回滚操作。如下图所示:2)各个版本之间、开发环境的任务在发布[阅读全文:]

4.1.8更新日志
文档创建者:Wendy123456      创建时间:05-15 20:08      标签:      编辑:8次    |   浏览:2205次

摘要:升级兼容4.1.8.3 及之后版本,新增计算列 算子的公式中,若使用了参数 cyctime(类型从字符串变成了日期) 或者是 looptimes(类型从字符串变成了数值),会出现兼容问题。4.1.8.3[阅读全文:]

入门指南
文档创建者:Roxy      创建时间:05-04 18:36      标签:      编辑:16次    |   浏览:23921次

摘要:1. 概述为降低新手用户的学习成本, FineDataLink 帮助文档介绍了新手入门学习路径,帮助用户快速入门。2. 学习路径FineDataLink 支持「数据开发」、「数据管道」、「数据[阅读全文:]

2023-05产品月报
文档创建者:Roxy      创建时间:05-30 15:24      标签:      编辑:4次    |   浏览:1517次

摘要: 2023年 5 月 FineDataLink 继续为您带来新功能和物料。产品新功能视频上新文档共创活动产品新功能支持计算生成新列数据在进行数据开发过程中,经常需要对数据列进行进一步加工、校验[阅读全文:]

2023-09产品月报
文档创建者:Wendy123456      创建时间:09-25 10:33      标签:      编辑:9次    |   浏览:1426次

摘要:2023年 9 月 FineDataLink 继续为您带来新物料。产品新功能文档上新文档共创活动产品新功能数据开发支持调用定时任务相关接口用户希望能够按需触发\执行定时任务,以提高数据时效性,例如:业[阅读全文:]

2023-12产品月报
文档创建者:Wendy123456      创建时间:12-26 15:51      标签:      编辑:4次    |   浏览:1588次

摘要:产品新功能数据开发新增分组汇总算子新增「分组汇总」算子,对原始数据根据条件将相同的数据先合并到一组,然后按照分组后的数据进行汇总计算。如下图所示:Ø 详情请参见:分组汇总算子新增字段拆行、字段[阅读全文:]

20240613-Wendy-集成部署下定时任务结果输出至FineBI
文档创建者:Wendy123456      创建时间:06-30 10:22      标签:      编辑:20次    |   浏览:9494次

摘要:1. 概述1.1 版本FineDataLink 版本功能变动4.0.4.2「数据同步」节点和「DB表输出」算子的「数据去向」界面新增「在FineBI公共数据中自动创建ETL结果表」按钮,勾选配置后,定时[阅读全文:]

调用循环容器任务
文档创建者:Roxy      创建时间:07-28 10:40      标签:      编辑:3次    |   浏览:1960次

摘要:1. 概述1.1 应用场景使用SparkSQL构建日期列并循环取数 中使用构建的日期序列进行 API 取数。如果用户将使用「循环容器」进行 API 取数作为最小调度单位,有多个前置的参数输出、[阅读全文:]

使用条件分支获取优秀员工信息
文档创建者:Wendy123456      创建时间:03-17 14:51      标签:      编辑:9次    |   浏览:4527次

摘要:1. 概述1.1 应用场景公司每月定期对员工销量总和进行计算,若销量总和大于 500,则筛选出销售量大于平均值的员工信息,写入优秀员工信息表,进行表扬嘉奖。若销量总和小于 500 则筛选出销售量小于平均[阅读全文:]

高频指标借助参数实现轻量化修改
文档创建者:Wendy123456      创建时间:10-26 14:06      标签:      编辑:6次    |   浏览:1995次

摘要:1. 概述1.1 应用场景用户需要对活跃客户的占比进行分析,但由于不断变化的业务需求,活跃客户的定义会不定期修改。例如,上半年活跃客户被定义为在过去 3 个月内至少在商城下单 2 次的连锁客户,而下半年[阅读全文:]

一条消息提醒一个人,可发送多条消息
文档创建者:Wendy123456      创建时间:01-16 10:32      标签:      编辑:5次    |   浏览:2126次

摘要:1. 概述1.1 应用场景群通知中,用户希望:每条消息对应一个通知人。某个人对应的通知内容中,文字使用颜色代表事务的紧急程度。通知内容中包含链接,用户点击即可跳转到详情页面。如下图所示:1.2 实现思路[阅读全文:]

嵌套循环取数
文档创建者:Roxy      创建时间:08-21 18:21      标签:      编辑:5次    |   浏览:3916次

摘要:1. 概述1.1 应用场景某企业现在需要将某业务工单数据全部取出以供业务分析使用。API取数-按页数取数 中可以使用页数和内置参数 loopTimes 进行取数。但是如果遇到接口中需要使用业务[阅读全文:]

缺失值处理
文档创建者:Roxy      创建时间:06-07 16:08      标签:      编辑:2次    |   浏览:2088次

摘要:1. 概述数仓需要接收来自不同源的大量数据,数据之间可能存在格式、口径、数值上的差异。因此不可避免会出现缺失数据,本文介绍如何对缺失值进行处理。示例数据:internet_v.xls2. 删除缺失值如果[阅读全文:]

使用FDL接口形式实现阿里云服务器数据监听
文档创建者:Roxy      创建时间:01-24 18:00      标签:      编辑:5次    |   浏览:1765次

摘要:1. 概述1.1 应用场景用户需要对阿里云产品进行数据监控,实时掌握服务器性能情况。由于阿里云服务器签名认证很复杂,官方文档仅提供代码形式来获取签名。比如python或者java,且由于代码是开源的,扫[阅读全文:]

参数进行分组后再从接口循环取数
文档创建者:Roxy      创建时间:08-10 20:11      标签:      编辑:6次    |   浏览:3014次

摘要:1. 概述1.1 应用场景公司内部使用企业微信,行政部门想要统计每月员工的打卡数据,将这些数据取出至指定数据库使用。1.2 接口信息首先将「通讯录同步」的企业微信人员 userid 和 departme[阅读全文:]

使用高德接口获取城市天气数据
文档创建者:Wendy123456      创建时间:08-28 20:13      标签:      编辑:7次    |   浏览:6227次

摘要:1. 概述1.1 应用场景FR 日报表中需要填写对应城市的天气信息,包括日期、天气、最高温度、最低温度等,目前只能通过城市名人工查询后获得这些信息。FineDataLink 可简化上述操作流程:根据数据[阅读全文:]

将经纬度数据转换为中文地址
文档创建者:Wendy123456      创建时间:08-21 10:29      标签:      编辑:9次    |   浏览:3929次

摘要:1. 概述1.1 应用场景用户数据库存储了经纬度数据,希望转换成对应的中文地址(国家、省份、城市、区县、街道等),最后将转换后的数据保存到数据库中。1.2 实现思路可以调用高德或百度地址转换的 API[阅读全文:]

按日期分表,每天保存当天数据
文档创建者:Wendy123456      创建时间:01-09 16:11      标签:      编辑:6次    |   浏览:3617次

摘要:1. 概述1.1 应用场景API 接口中每天有 20 多万的数据,若落库到同一张表中,随着时间该表数据不断累积,可能造成查询慢的问题。希望能按日期分表,每天创建一个新的数据表,保存该天数据。1.2 实现[阅读全文:]

①SAP_FI_FDL复用说明
文档创建者:light-ming      创建时间:05-28 10:02      标签:      编辑:3次    |   浏览:1384次

摘要:1. FDL复用前准备在复用 FDL 具体任务前需要检查以下事项来确保后续的复用步骤顺利进行;序号检查项详细说明1sap版本确保 sap 版本为s4/hana2功能范围确认是否启用WBS(对FDL复用细[阅读全文:]

分页取数-按偏移量取数
文档创建者:Roxy      创建时间:08-17 17:38      标签:      编辑:8次    |   浏览:4747次

摘要:1. 概述1.1 应用场景公司内部使用金蝶云星空进行供应链管理。希望将 销售报价单的单据查询接口 中的数据取出,以便进行数据分析。1.2 接口说明接口文档详情参见:销售报价单的单据查[阅读全文:]

FR模板展示FDL定时任务信息
文档创建者:Wendy123456      创建时间:08-09 15:37      标签:      编辑:19次    |   浏览:2729次

摘要:1. 概述1.1 应用场景公司中有许多成员使用 FineDataLink 开发定时任务,若成员 A 修改了定时任务 1 没有通知成员 B,成员 B 运行定时任务 1 的时候运行报错或数据不对,B 不知道[阅读全文:]

物理删除和逻辑删除的区别
文档创建者:Wendy123456      创建时间:05-24 10:37      标签:      编辑:2次    |   浏览:1713次

摘要:1. 概述用户在使用 FDL 处理数据时,常常有疑问:什么是物理删除?什么是逻辑删除?物理删除和逻辑删除有什么区别本文介绍这两种删除方式。2. 数据开发2.1 功能使用说明1)4.0.28 及[阅读全文:]