摘要:本文仅面向非运维平台部署的帆软项目运维平台部署的项目,在工程外挂目录/customlib/fonts文件夹,可用于存放客户自定义的字体文件,等同于直接放置在/usr/share/fonts下1.&nbs[阅读全文:]
摘要:1. 概述单点登录 Single Sign On,简称为 SSO,SSO 的定义是在多个应用系统中,用户只需要登录一次就可以访问所有相互信任的应用系统。2. 索引注:点击下方链接中的[阅读全文:]
摘要:[helpvideo]8617[/helpvideo]1. 概述1.1 版本FineDataLink 版本功能变更3.6.2数据转换节点 新增算子「Spark SQL」算子,可实现较灵活的数据转换功能4[阅读全文:]
摘要:1. 概述为满足客户的新需求以及完善之前版本某些功能的不足之处,FineDataLink在不断地更新迭代。若需要体验新产品功能或者修复之前版本中存在的一些问题,客户需要将FDL升级到当前最新版本。本文简[阅读全文:]
摘要:1. 概述1.1 版本FineDataLink 版本功能变更4.0-1.2 功能简介FineDataLink 配置外接数据库后,遇到集群环境或数据量较大情况时,可[阅读全文:]
摘要:1. 概述FDL 提供两个功能进行接口取数,区别如下:功能说明「数据同步-API」功能若接口返回值为较简单的 JSON 格式,不需要复杂的解析处理,可参考本文进行接口取数API输入 算子若用户[阅读全文:]
摘要:邮箱报错 535 Error: authentication failed问题描述:发送邮件失败,报错:535 Error: authentication failed解决方案:密码应该填写授权码,而不[阅读全文:]
摘要:[helpvideo]8623[/helpvideo]1. 概述为方便数据平台任务各节点相互关联,例如 B 节点的运行结果作为 A 节点的输入值进行后续计算;或者方便用户对数据进行调度配置。FineDa[阅读全文:]
摘要:1. 概述1)用户在搭建数仓时希望关联 Excel、csv 等文件数据进行业务分析;2)希望将加工后的数据以文件形式分享使用、以文件形式进行数据归档;3)文件数据流传输归档:将简道云/API接口中的附件[阅读全文:]
摘要:1. 概述1.1 应用场景用户业务流程中下发的文件,有特定的文件生成则代表下发完成。比如:文件下发完成后,目录下会生成与文件同名的 .ok 文件(用来判断文件是否下发完成)、.del 文件(根[阅读全文:]
摘要:1. 概述1.1 版本FineDataLink 版本功能变动4.1.2新增「分组汇总」算子,对原始数据根据条件将相同的数据先合并到一组,然后按照分组后的数据进行汇总计算4.1.6.1分组与汇总框支持拖拽[阅读全文:]
摘要:本文仅用于指导非运维平台部署的FineDataLink4.1.x工程升级。运维平台部署的FineDataLink工程,请通过运维平台进行升级,详情请参见:外网升级运维项目、内网升级运维项目1. 概述为满[阅读全文:]
摘要:产品新功能数据开发定时任务支持读取 FineLogDB(FDL) 数据用户希望同步 FineDataLink 的 LogDB 数据到指定数据库,然后报表使用这些数据制作看板。FineDataLink 支[阅读全文:]
摘要:4.1.11.5定时任务数据同步优化配置方式选择「选表」时,若选择了指定数据表,来源表界面展示表所在数据库或者模式,例如下面的来源表展示了所在数据库 demo1,如下图所示:当数据来源的配置方式为「选表[阅读全文:]
摘要:1. 概述1.1 版本FineDataLink 版本功能变更3.6.2数据转换节点 新增算子「Spark SQL」算子,可实现较灵活的数据转换功能4.0.17「Spark SQL」算子支持使用[阅读全文:]
摘要: 版本FineDataLink版本功能变动4.1.3定时任务自动建表支持指定分区定时任务支持选择分区表作为数据去向任务开发配置数据连接 详情请参见:配置Hadoop Hive数据源数[阅读全文:]
摘要:1. 概述1.1 版本FineDataLink 版本功能变动4.1.3数据写入Hive、星环 TRANSWARP INCEPTOR数据库时,支持创建、写入分区表支持读取 Postgr[阅读全文:]
摘要:1. 概述如果在使用在线支持窗口的过程中,遇到收不到消息、发不了文件等情况,可以按照如下提示排查下浏览器和网络情况。2. 浏览器无法收到消息提醒1)推荐使用PC端的Chrome、Firefox、Edge[阅读全文:]
摘要:1. 概述1.1 应用场景帆软服务平台 https://home.fanruan.com/service (以下简称「服务平台」)是帆软提供给合作/准合作客户的一套自助服务受理平台。[阅读全文:]
摘要:1. 概述帆软旗下支持与服务平台 https://service.fanruan.com/(以下简称「服务平台」)是帆软提供给合作/准合作客户的一套自助服务受理平台。客户使用此平台可以实现自助[阅读全文:]
摘要:1. 概述帆软旗下支持与服务平台 https://service.fanruan.com/(以下简称「服务平台」)是帆软提供给合作/准合作客户的一套自助服务受理平台。客户使用此平台可以实现自助[阅读全文:]
摘要:1. 概述帆软旗下支持与服务平台 https://service.fanruan.com/(以下简称「服务平台」)是帆软提供给合作/准合作客户的一套自助服务受理平台。客户使用此平台可以实现自助[阅读全文:]
摘要:版本FineDataLink版本数据库版本功能变动4.1.11.25.X定时任务支持读取和写入 YMatrix 数据库管道任务支持写入 YMatrix 数据库数据服务支持读取 YMa[阅读全文:]
摘要:版本FineDataLink版本功能变动4.1.3支持定时任务读取 PostgreSQL 数据库的分区表4.1.9.3分区表和普通表有标识区别定时任务、管道任务自动建表支持指定分区定时任务支持[阅读全文:]
摘要:1. 概述本文对 FineDataLink 的特有概念进行解释说明,以便用户进行使用。2. 功能模块名称包含数据开发、数据管道、数据服务、任务运维等功能,满足用户对数据进行同步、处理、清洗等一[阅读全文:]
摘要:1. 概述数据同步包括定时同步、实时同步两个功能模块。选择使用哪个功能模块,需考虑要进行的数据同步是定时还是实时、增量还是全量等,不同模块的支持情况不同,此外还需要重点关注:数据的来源与去向、待同步的表[阅读全文:]
摘要:1. 概述1.1 应用场景用户希望将筛选出的数据,只做新增/更新/删除操作。用户来源表数据已经有了标识字段和标识值,需要对目标表数据进行新增/更新/删除操作。1.2 功能简介在 数据同步&nb[阅读全文:]
摘要:1. 概述1.1 背景某公司大量使用简道云表单进行业务填报,每天产生大量数据。为了与其他系统数据联合使用,这些数据需要定期同步至指定数据库中。根据简道云录入表单数据的增删改情况,有以下几种情况:表单数据[阅读全文:]
摘要:版本 FineDataLink 版本功能变动4.0.24定时任务输入输出支持 StarRocks管道任务数据输出支持 StarRocks4.1.2数据服务支持 StarRocks4.1.3St[阅读全文:]
摘要:1. 并发数1.1 问题描述由于 FineDataLink 中定时任务需要占用内存和并发资源等,因此用户可能需要根据实际的使用情况进行任务调整。阅读此部分,你可以解决和理解如下问题:问题一:如何配置定时[阅读全文:]
摘要:1. 概述1.1 功能简介 FineDataLink 系统配置外接数据库后,遇到集群环境或数据量较大情况时,可保证系统的稳定性。用户可在「初始化时」配置外接数据库或在「管理[阅读全文:]
摘要:1. 概述数据同步-写入方式 文档中,介绍了三种写入方式:直接将数据写入目标表、清空目标表,再写入数据、基于标识字段,新增/修改/删除数据。本文为您展示这三种写入方式的实际效果。注:本文只是介绍三种写入[阅读全文:]
摘要:1. 概述1.1 版本FineDataLink 版本系统运维插件版本功能变更4.0--4.0.8V1.4.51)「自定导出内存堆栈」支持选择导出内容:堆栈、histo、dump2)「自定导出内[阅读全文:]
摘要:概述本文对帮助文档中 FineDataLink 的实际应用文档进行筛选、整理、归类、排版,形成了内容合辑,文章按难易程度、内容模块整理分类为不同的篇章,点击标题即可进入相应文章。持续更新中……业务场景案[阅读全文:]
摘要:1. 概述1.1 应用场景从接口取数后,数据保存格式为:{{主数据},{子数据1,子数据2}{子数据a,子数据b}};其中,子数据中包含多个字段,以逗号分割存储。如下图所示:实际业务场景中,每个子数据相[阅读全文:]
摘要:1. 概述[helpvideo]8604[/helpvideo]1.1 应用场景用户同步数据时,在以下场景中,可使用「数据同步」节点实现:数据无需进行复杂的数据处理,希望快速完成数据表的同步。目标库计算[阅读全文:]
摘要:1. 概述[helpvideo]8606[/helpvideo]1.1 版本说明FineDataLink 版本功能变动3.1新增节点「数据转换」4.1.2新增「字段拆列」「字段拆行」「分组汇总」算子4.[阅读全文:]
摘要:1. 概述1.1 版本FineDataLink 版本功能变动4.1.6.1用户可在 FDL 内进行SQL的编写/调试、查看新建表效果、删除表、清空表、复制表等操作4.1.8.2库表管理功能支持神通数据库[阅读全文:]
摘要:1. 概述1.1 版本FineDataLink 版本功能变动4.1.11.3-1.2 应用场景用户通过从关系型数据库中将待检索的数据写入到 Elasticsearch 里,将 Elasticsearch[阅读全文:]
摘要:1. 概述1.1 版本FineDataLink 版本功能变动4.1.1统一产品内条件判断逻辑4.1.5.5「文件传输」使用该条件判断说明1.2 功能简介本文对产品内条件判断逻辑进行说明。包括:「数据过滤[阅读全文:]
摘要:1. 概述条件判断逻辑说明 文档中,简单介绍了属于、不属于、包含、不包含这四种条件判断逻辑;很多用户不清楚属于与包含、不属于与不包含的区别,本文将对此进行详细解释。2. 详细说明2.1 包含和属于说明包[阅读全文:]
摘要:1. 使用位置数据开发>数据转换中的新增计算列2. 函数列表函数说明CHAR-返回指定数值的字符根据指定数字返回对应的字符CONCATENATE-字符拼接将数个字符串合并成一个字符串LEN-返回字[阅读全文:]
摘要:1. 概述注:4.1.11.3 及之后的版本支持该函数。语法UUID()返回通用唯一标识符 (UUID) 字符串。该值以规范的 UUID 36字符串形式返回 返回值类[阅读全文:]
摘要:1. 概述本文介绍 FineDataLink 提供的可被简道云、FR、外部系统调用的定时任务相关接口。注1:接口调用说明请参见:调用定时任务相关接口说明;FR中调用接口示例请参见:FR模板调用定时任务接[阅读全文:]
摘要:1. 概述1.1 版本FineDataLink 版本功能变动4.0.23支持对常量、参数和其他字段进行公式计算或逻辑映射,将结果放到新的一列,参与后续运算或进行输出4.1.8.3在公式编辑可选的参数中,[阅读全文:]
摘要: 1. 概述语法FORMAT(数值/日期时间, 格式)FORMAT(数值/日期时间, 格式)返回「数值/日期时间」的指定「格式」的文本。 [阅读全文:]
摘要:1. 概述语法CONCATENATE(文本1/日期时间1/数值1, 文本2/日期时间2/数值2, ……)将数个值合并成一个值。如果值是数值,直接转成数值字符串(有小数要保留小数)拼接如果值是T[阅读全文:]
摘要: 1. 概述注:4.1.11.3 开始支持此函数。语法REGEXP_SUBSTR(字符串, 正则表达式, 起始位置, 输出组次序, 模式)使用正则表达式提取字符串中相匹配的内容 &[阅读全文:]
摘要:1. 概述在现实的业务中,有很多数据需要通过 API 接口调用使用。因此本文为用户介绍在 FineDataLink 中使用 API 取数并进行数据解析处理,最终将数据写入指定数据库的方案。注:若需要使用[阅读全文:]
摘要:1. 概述本文讲述如何从 PI 数据库取数。1.1 什么是PI数据库PI 数据库是由美国 OSIsoft 公司开发的一种适用于实时数据管理的系统。它提供了高性能的数据采集、存储和检索服务,通常用于工业自[阅读全文:]
摘要:1. 概述1.1 版本FineDataLink 版本功能变动4.0.9-4.1.7.2支持「上传更新」,即前端手动上传 JAR 包进行更新升级,解决每个月发布的中间版本不能提供一键升级的问题4.1.11[阅读全文:]
摘要:1. 概述1.1 应用场景应用场景一:4.0.24 之前版本,用户希望自动化读取相同类型的文件,为企业降本增效。例如:某国有企业旗下有 100 多家分公司,子公司财务每月需要向总部提交各种财务预算和决算[阅读全文:]
摘要:1. 概述1.1 版本FineDataLink版本功能变动4.1.7.3fine_dp_work_exec_record表迁移到logdb中,表名不变,后续数据均写入迁移后数据表。升级后会将历史运行记录[阅读全文:]
摘要:1. 概述1.1 应用场景某国有企业旗下有 100 多家分公司,子公司财务每月需要向总部提交各种财务预算和决算表,如资产负债表、利润表、现金流量表等数据表。总部财务需要手动对相同类型的财务报表进行数据汇[阅读全文:]
摘要:1. 概述1.1 版本FineDataLink版本功能变动4.1.5.4-4.1.8.2DB表输出支持来源字段结构变化后提示更新字段映射,详情参见本文 2.2 节4.1.9.3支持用户自定义字段类型映射[阅读全文:]
摘要:1. 概述[helpvideo]8612[/helpvideo]1.1 版本FineDataLink 版本功能变更3.1「数据转换」节点新增算子「数据关联」1.2 应用场景用户两张数据表在不同的数据库中[阅读全文:]
摘要:1. 概述文件输入 文档讲述了「文件输入」算子的基本功能,「文件输入」算子支持从 FineDataLink 服务器本地和 FTP/SFTP 服务器上读取 Excel 和 CSV 文件[阅读全文:]
摘要:1. 概述在对日期型数据进行操作时,经常会遇到要获取当前日期、获取当前时间、获取日期的年月日等等操作。在 FineDataLink 中可以在新增计算列中实现。注:其中的日期字段需要从函数编辑框左侧的字段[阅读全文:]
摘要:1. 概述[helpvideo]8630[/helpvideo]1.1 版本说明FineDataLink 版本功能变动2.0ETL 作业新增一种节点类型:「条件分支」4.0.19「条件分支」中,支持定义[阅读全文:]
摘要:4.0.6.1 版本新增功能新增 FineDataLink 安装包,通过独立的安装包直接在 Window 和Linux 系统中进行部署。详情参见:FineDataLink 安装和启动4.0.6 版本新增[阅读全文:]
摘要:1. 概述1.1 应用场景用户 Windows 系统中有多个相同格式的 Excel 文件,需要读取所有文件数据并进行 行转列 操作。由于 文件输入 算子批量读取文件时,是将所有文件数[阅读全文:]
摘要:1. 概述1.1 版本FineDataLink 版本功能变动4.0.19新增「数据过滤」算子,过滤符合条件的数据4.0.28运算符选择「为空」时,可过滤出值为空格的数据1.2 应用场景用户数据存在空值,[阅读全文:]
摘要:1. 概述FDL 部署并启动后 ,访问http://IP:端口号/工程名/decision,可打开决策系统配置页面。本文介绍首次访问 FineDataLink 和再次登录的步骤。2. 首次访问系统注:只[阅读全文:]
摘要:1. 概述作为系统管理人员,系统就像自己的孩子一样,看到他健康成长,心里充满满足和自豪,相反的,如果他经常生病,可以说寝食难安。当前系统内哪些模板有问题,哪些模板有出问题的风险,系统的硬件和软件配置是否[阅读全文:]
摘要:1. 概述1.1 版本FineDataLink 版本 4.01.2 功能简介管理员或次级管理员登录到 FineDataLink 后,点击「管理系统」,可[阅读全文:]
摘要:[helpvideo]8640[/helpvideo]1. 概述FineDataLink 版本功能变动4.0.27一个定时任务可设置多个执行频率「调度配置」界面优化4.0.30支持设置定时任务的调度依赖[阅读全文:]
摘要:1. 概述1.1 版本FineDataLink 版本功能变动4.1.5.2-4.1.5.5若「写入方式」设置为直接将数据写入目标表,在设置主键冲突策略中,支持设置「主键相同,覆盖目标表数据」4.1.8.[阅读全文:]
摘要:1. 概述1.1 预期效果Excel 数据表为源数据表,每天会新增数据,用户希望数据库中的某张表自动新增 Excel 里面昨天新增的数据。1.2 实现思路Excel 数据集作为要输入的数据,使用&nbs[阅读全文:]
摘要:产品新功能数据开发循环容器循环次数无限制插件应用场景:用户希望定时任务中「循环容器」的循环次数可以更多甚至无限制(当前默认 10000 次)。希望参数输出个数没有限制,便于用户进行一次性取数。功能简介:[阅读全文:]
摘要:1. 概述本文整理用户在使用 FineDataLink 过程中遇到的问题,便于用户进行任务问题排查。2. 索引序号分类说明文档1部署升级工程部署常见问题回复工程部署FAQ部署报错:部署环境异常部署环境异[阅读全文:]
摘要:1. 概念调度平台是管理和自动化 ETL 的任务执行工具,通过指定任务依赖关系和执行顺序实现任务的自动执行,一般需要代码开发,使用数仓需要有调度软件,来确保 ETL过程顺利执行。FineDataLink[阅读全文:]
摘要:1. 概述1.1 版本FineDataLink 版本功能变动4.0.27支持批量设置任务调度计划4.0.30「调度计划」中新增「事件调度」,可为多个定时任务配置统一事件调度「调度计划」中定时调度 Tab[阅读全文:]
摘要:1. 概述1.1 应用场景用户想要同步钉钉通信录中的部门信息。1.2 接口说明接口文档详情参见:获取部门列表、获取企业内部应用的access_token1.3 实现思路由于接口只能获取当前部门的下一级部[阅读全文:]
摘要:4.1.10.4管道来源端适配MySQL5.5数据管道来源端支持 MySQL 5.5 版本。详情请参见:支持的数据源范围ETL结果表可拉起子表更新FDL 输出到 BI 「公共数据」指定目录下的[阅读全文:]
摘要:1. 概述注:本文适用于 4.1.2 及之后版本。1.1 应用场景用户设计的定时任务取数逻辑为:每天抽取当天调度时间往前推 24h 内的数据,汇集到目标数据库。节假日期间 3 天,系统宕机,定时任务没有[阅读全文:]
摘要:1. 概述1.1 功能简介FineDataLink 系统配置外接数据库后,遇到集群环境或数据量较大情况时,可保证系统的稳定性。用户可在「初始化时」配置外接数据库或在「管理系统」配置[阅读全文:]
摘要:1. 概述1.1 应用场景FineDataLink 内置的数据库为 HSQL 数据库。HSQL 数据库不能多线程访问,集群环境、数据量较大可能会导致 HSQL 数[阅读全文:]
摘要:1. 概述1.1 应用场景FDL 手动进行升级后,需要重启工程。FDL 工程修改某些配置后,需要重启工程。1.2 功能简介本文提供 Linux 系统中,关闭和重启 FDL 工程的方法。1.3 其他说明1[阅读全文:]
摘要:1. 概述在使用 FineDataLink 「数据开发」搭建数仓或者进行数据处理时,经常需要进行数据的清洗、处理、计算等,FineDataLink 提供了多种可视化算子,用户无需编写复杂的 SQL 语句[阅读全文:]
摘要:1. 概述1.1 版本FineDataLink 版本功能变动4.0.221)新增登录风格「大窗口」2)原「默认」风格更名为「小窗口」4.1.6.1新增「显示备案信息」按钮,支持在登录页底部显示[阅读全文:]
摘要:1. 概述1.1 应用场景用户想要使用上月末、上年末、上季度末、每个月第一天、最后一天等自定义参数(任务参数)无法直接设置的动态数据作为参数,进行定时任务的开发。1.2 实现思路使用 SparkSQL[阅读全文:]
摘要:1. 概述语法WEEKDAY(文本/日期时间)获取日期并返回星期数。返回值为介于0到6之间的某一整数,分别代表星期中的某一天(从星期日到星期六) 参数serial_number表[阅读全文:]
摘要:1. 概述本文介绍 SparkSQL 中的日期函数语法。本文同时提供新增计算列公式写法和 SparkSQL 语法写法,用户可自行选择。2. 时间戳推荐使用FineDataLink 新增计算列中[阅读全文:]
摘要:1. 系统部署1.1 数据库配置打开「管理系统>数据连接>数据连接管理」,新建两个数据连接:源数据的连接,连接名必须为”NC数据连接“数据抽取出来后要存放的数据库连接(目标库),连接名必须为[阅读全文:]
摘要:1. 概述语法DATEDIF(文本/开始日期, 文本/结束日期, 单位)返回两个指定日期间的天数、月数或年数 参数1文本/开始日期开始日期:代表所指定时间段的初始日[阅读全文:]
摘要:1. 概述本文介绍 Linux 系统安装 Tomcat 后,设置开机自启动的方法。2. Ubuntu16.04及之前&CentOS6.x&RedHat6.x配置 Tomcat 开机自启动[阅读全文:]
摘要:1. 概述1.1 应用场景数仓拉链表 文档中提供的方案,使用「参数赋值」节点将来源表中的 ID 字段输出为参数,但「参数赋值」节点要求输出的参数不能超过 10000 个,若来源表数据超过 10000 条[阅读全文:]
摘要:1. 概述1.1 应用场景某公司的 FineReport/FineBI 工程每月都会通过 定时调度任务 给销售发送月报数据。月报发送前,需要使用 FDL 处理月报数据。若分别设置 F[阅读全文:]
摘要:1. 概述用户在定时任务进行数据同步时,如果源数据库同时有增删改变化,可以使用数据比对,但是如果数据量很大,想要提高同步效率,就可以使用本文的方案进行数据同步。2. 时间戳和业务时间说明时间戳:一般是记[阅读全文:]
摘要:1. 概述1.1 应用场景用户在定时任务进行数据同步时,如果源数据库同时有增删改变化,且没有时间戳,可以直接使用数据比对,但是如果数据量很大,想要提高同步效率,就可以使用本文的方案进行数据同步。1.2[阅读全文:]
摘要:1. 概述1.1 问题描述用户在定时任务进行数据同步时,如果源数据库同时有增删改变化,且来源表中没有时间戳时,可以使用数据比对,但是如果数据量很大,想要更好的提高同步效率,就可以使用本文的方案进行数据同[阅读全文:]
摘要:1. 概述1.1 问题描述用户在定时任务进行数据同步时,如果源数据库同时有增删改变化,且来源表有时间戳时,可以使用数据比对,但是如果数据量很大,想要更好的提高同步效率,就可以使用本文的方案进行数据同步。[阅读全文:]
摘要:对于运维平台部署的工程,如在部署时勾选了ElasticSearch组件,ElasticSearch会替换swift(logdb)作为日志存储。如在工程「管理系统>系统管理>常规」界面看到「E[阅读全文:]
摘要:1. 概述1.1 应用场景财务报表、销售数据表、学生成绩表等 Excel 表格中,往往包含多个 Sheet,用户希望使用 FDL 读取单 Excel 多 Sheet 文件数据。1.2 实现思路1)在待读[阅读全文:]
摘要:1. 概述1.1 版本说明FineDataLink 版本功能变动V2.2数据源类型支持服务器数据集,支持从 CSV、Excel 文件中读取数据1.2 应用场景用户希望读取 Excel 、CSV[阅读全文:]
摘要:1. 概述1.1 版本FineDataLink版本4.1.9.31.2 应用场景用户如果有历史的 Kettle 任务想要统一用 FineDataLink 进行管理,使用 FineDataLink 对 k[阅读全文:]
摘要:1. 概述1.1 版本说明FineDataLink 版本功能变动1.7增加内置参数:${cyctime}、${workname.opresult}、${jobname.opresult}4.0.31)增[阅读全文:]
摘要:1. 概述1.1 版本FineDataLink 版本功能变动4.1.1「操作日志」表格的模块字段中,新增数据管道、数据开发、数据服务模块4.1.5.4新增「用户行为」Tab1.2 应用场景FineDat[阅读全文:]
摘要:1. 概述1.1 版本FineDataLink 版本功能变动4.0.4.2定时任务支持读取 MongoDB4.1.6.4定时任务支持写入 MongoDB1.2 功能简介FineDataLink[阅读全文:]