"公开目录" 分类下的文档该分类下有725篇文档创建该分类下的文档
简道云输出(清空目标表,再写入数据)
文档创建者:Wendy123456      创建时间:03-25 11:33      标签:      编辑:9次    |   浏览:2015次

摘要:1. 概述1.1 应用场景用户在以下场景时,希望能先清空简道云表单再写入数据:简道云表单数据发生全面更新,需要将数据库增删改数据写入简道云,同时不需要标记增删改历史情况。简道云更新数据量比较小,且有更新[阅读全文:]

Shell脚本
文档创建者:Roxy      创建时间:09-01 18:52      标签:      编辑:45次    |   浏览:11794次

摘要:1. 概述[helpvideo]8627[/helpvideo]1.1 版本说明FineDataLink 版本功能变动4.0.8-4.1.0「脚本参数」下拉框中显示已配置参数1.2 应用场景用户希望在[阅读全文:]

4.1.14更新日志
文档创建者:Wendy123456      创建时间:11-07 17:17      标签:      编辑:3次    |   浏览:1198次

摘要:升级兼容说明升级到 4.1.14.1 前,需注意:使用公共数据读写功能的用户,请等待 BI 发布 6.1.4 后同步升级,该功能适配的 BI 版本提升为 6.1.4 。4.1.14.1读取 BI 公共数[阅读全文:]

连线执行判断
文档创建者:Wendy123456      创建时间:05-25 15:10      标签:      编辑:19次    |   浏览:4939次

摘要:1. 概述1.1 版本FineDataLink 版本功能变动4.0.31)在定时任务编辑界面中,右键点击节点连线,提供「无条件执行」、「成功时执行」、「报错时执行」的节点连线配置2)在定时任务编辑界面中[阅读全文:]

任务控制-容错机制
文档创建者:Wendy123456      创建时间:01-02 11:19      标签:      编辑:5次    |   浏览:3217次

摘要:1. 概述1.1 版本FineDataLink 版本功能变动4.0.26新增「超时限制」和「失败重试」功能4.0.29可设置脏数据阈值,使任务具备一定容错性当出现脏数据时,及时通知用户;在任务运行完成后[阅读全文:]

全局参数-赋值参数
文档创建者:Roxy      创建时间:05-11 14:58      标签:      编辑:11次    |   浏览:2640次

摘要:1. 概述1.1 版本FineDataLink 版本功能变动4.1.8.1新增动态赋值参数设置功能4.1.13.2配置方式为「选表」时,支持选字段4.1.14.1全局参数调试值的长度,最大为 20001[阅读全文:]

【通知】FDL不再支持集成部署
文档创建者:Wendy123456      创建时间:06-13 15:41      标签:      编辑:6次    |   浏览:5490次

摘要:背景说明FineDataLink 暂停与 FineReport/FineBI 集成部署,文档已删除相关内容。提示:测试一下文档下线时间2024 年 6 月 13 日。影响版本4.1.8.2 及之后版本不[阅读全文:]

4.1.13更新日志
文档创建者:Wendy123456      创建时间:10-11 20:06      标签:      编辑:11次    |   浏览:2374次

摘要:升级兼容说明升级到 4.1.13.3 版本前,请务必做好 FineDB 备份。4.1.13.4实时任务支持数据关联可视化使用数据关联功能,需要实时数据源和1个或多个维度表输入进行关联,如下图所示:注:该[阅读全文:]

获取目录下符合条件的文件,按写入方式读取入库并记录状态
文档创建者:Wendy123456      创建时间:09-02 10:20      标签:      编辑:7次    |   浏览:1119次

摘要:1. 概述1.1 应用场景用户业务流程中下发的文件,有特定的文件生成则代表下发完成。比如:文件下发完成后,目录下会生成与文件同名的 .ok 文件(用来判断文件是否下发完成)、.del 文件(根[阅读全文:]

FineDataLink服务器时间和数据库时间不一致
文档创建者:Roxy      创建时间:08-22 15:55      标签:      编辑:7次    |   浏览:2260次

摘要:1. 概述1.1 应用场景部署工程时,可能会使用多个不同的服务器,部署多个工程节点、集群组件、外接配置库等。用户必须确保这些服务器的时区一致,否则可能导致部署失败、启动失败、取数异常等。问题一:用户读写[阅读全文:]

数据连接概述
文档创建者:Wendy123456      创建时间:07-24 15:25      标签:      编辑:11次    |   浏览:8535次

摘要:1. 概述FineDataLink 的数据开发、数据管道、数据服务、库表管理模块支持连接多种数据源进行数据的处理操作。在使用 FineDataLink 处理、同步数据前,您需要先定义数据连接,以便在执行[阅读全文:]

定时任务能力说明
文档创建者:Wendy123456      创建时间:07-25 11:42      标签:      编辑:14次    |   浏览:4817次

摘要:1. 概述「数据开发>定时任务」模块支持在可视化界面使用各个节点和算子进行数据的抽取、转换和装载,并可以通过定时调度功能自动运行定时任务,帮助您轻松构建离线数仓,保证数据生产的高效稳定。本文为您说[阅读全文:]

4.1.11 更新日志
文档创建者:Roxy      创建时间:07-31 16:50      标签:      编辑:10次    |   浏览:2990次

摘要:4.1.11.5定时任务数据同步优化配置方式选择「选表」时,若选择了指定数据表,来源表界面展示表所在数据库或者模式,例如下面的来源表展示了所在数据库 demo1,如下图所示:当数据来源的配置方式为「选表[阅读全文:]

数据连接权限概述
文档创建者:Roxy      创建时间:10-31 11:23      标签:      编辑:6次    |   浏览:2796次

摘要:1. 概述1.1 应用场景普通用户希望创建/编辑/删除一个数据连接。普通用户希望使用某个数据连接做定时任务/管道任务、发布API等操作。超管希望分配数据连接的编辑、删除权限给某个用户。超管希望某个用户,[阅读全文:]

任务控制-任务属性
文档创建者:Wendy123456      创建时间:01-02 11:47      标签:      编辑:2次    |   浏览:2209次

摘要:1. 概述1.1 版本FineDataLink 版本功能变动4.0.30支持设置定时任务的执行优先级4.1.1可为定时任务单独设置日志输出级别4.1.4提供确认、取消按钮:进行设置后,可保存、取消操作1[阅读全文:]

定时任务界面介绍
文档创建者:Wendy123456      创建时间:04-18 10:04      标签:      编辑:29次    |   浏览:4323次

摘要:1. 概述1.1 版本FineDataLink 版本功能变动1.9-4.1.4任务工具栏中的「保存并运行」按钮,修改为「运行」按钮「任务控制」中的调度配置Tab,单独独立出来,为「调度计划」4.1.5.[阅读全文:]

FDL工程运维说明
文档创建者:Wendy123456      创建时间:10-22 15:30      标签:      编辑:4次    |   浏览:592次

摘要:1. 概述部署好 FDL 后,我们还需配置项目,让平台完成自动运维。对于关键项目要定期手动检查,平台出现异常项时,及时进行处理,保证工程的健康运行。2. 运维说明具体说明重点内容运维监控指导手册(必读)[阅读全文:]

工程备份还原
文档创建者:Wendy123456      创建时间:10-24 15:18      标签:      编辑:2次    |   浏览:465次

摘要:1. 概述1.1 应用场景备份工程的必要性在于保护数据、确保业务连续性和提供灵活性。1)数据保护:通过备份,管理员可以恢复丢失或损坏的业务数据,确保数据的完整性和可用性。2)业务连续性:通过备份,在发生[阅读全文:]

对接文件数据专题
文档创建者:Roxy      创建时间:05-21 18:29      标签:      编辑:5次    |   浏览:2183次

摘要:1. 概述1)用户在搭建数仓时希望关联 Excel、csv 等文件数据进行业务分析;2)希望将加工后的数据以文件形式分享使用、以文件形式进行数据归档;3)文件数据流传输归档:将简道云/API接口中的附件[阅读全文:]

解析多层嵌套JSON并实现1:n关系
文档创建者:Wendy123456      创建时间:10-11 16:02      标签:      编辑:5次    |   浏览:1353次

摘要:1. 概述1.1 应用场景用户的 JSON 数据结构是多层数组嵌套,如下图所示:现需要解析上层数组元素和下层数组元素,实现 1:n 的关系。例如:希望 titles 数组中的字段,能与 items 数组[阅读全文:]

Python脚本
文档创建者:Roxy      创建时间:08-01 14:29      标签:      编辑:13次    |   浏览:9294次

摘要:[helpvideo]8621[/helpvideo]1. 概述1.1 版本FineDataLink 版本功能变动4.0.28新增「Python脚本」节点4.1.0「脚本参数」下拉框中显示已配置参数4.[阅读全文:]

调度计划概述
文档创建者:Wendy123456      创建时间:01-02 10:23      标签:      编辑:15次    |   浏览:4722次

摘要:[helpvideo]8640[/helpvideo]1. 版本FineDataLink 版本功能变动4.0.27-4.1.4「调度配置」从 任务控制 中单独独立出来,为「调度计划」4.1.7[阅读全文:]

定时调度
文档创建者:Roxy      创建时间:08-02 11:27      标签:      编辑:3次    |   浏览:2143次

摘要:1. 概述1.1 版本FineDataLink 版本功能变动4.0.27一个定时任务可设置多个执行频率「调度配置」界面优化4.1.4「调度计划-定时调度」中,可引用调度日历「调度计划-定时调度」中,执行[阅读全文:]

列转行
文档创建者:Wendy123456      创建时间:03-17 10:55      标签:      编辑:22次    |   浏览:10089次

摘要:1. 概述[helpvideo]8615[/helpvideo]1.1 版本FineDataLink 版本功能变动3.5「数据转换」节点新增算子「行列转换」,目前支持列转行功能,行转列功能敬请期待4.0[阅读全文:]

JSON解析算子功能说明
文档创建者:Wendy123456      创建时间:07-31 09:21      标签:      编辑:25次    |   浏览:7022次

摘要:[helpvideo]8608[/helpvideo]1. 概述1.1 版本FineDataLink 版本功能变动3.5.1「数据转换」节点新增算子「JSON 解析」;支持将 JSON 结构的[阅读全文:]

Pulsar输入
文档创建者:Roxy      创建时间:08-22 14:54      标签:      编辑:6次    |   浏览:1363次

摘要:注:数据开发中实时任务当前属于内测阶段,如需试用或者了解详细信息,请联系技术支持(技术支持联系方式:前往「服务」,选择「在线支持」、电话「400-811-8890」)。1. 概述1.1 版本FineDa[阅读全文:]

Kafka输入
文档创建者:Roxy      创建时间:08-22 11:54      标签:      编辑:5次    |   浏览:3753次

摘要:注:数据开发中实时任务当前属于内测阶段,如需试用或者了解详细信息,请联系技术支持(技术支持联系方式:前往「服务」,选择「在线支持」、电话「400-811-8890」)。1. 概述1.1 版本FineDa[阅读全文:]

MQTT输入
文档创建者:Wendy123456      创建时间:10-16 14:26      标签:      编辑:5次    |   浏览:1372次

摘要:注:数据开发中实时任务当前属于内测阶段,如需试用或者了解详细信息,请联系技术支持(技术支持联系方式:前往「服务」,选择「在线支持」、电话「400-811-8890」)。1. 概述1.1 版本FineDa[阅读全文:]

IBM MQ输入
文档创建者:Wendy123456      创建时间:10-15 16:28      标签:      编辑:4次    |   浏览:822次

摘要:注:数据开发中实时任务当前属于内测阶段,如需试用或者了解详细信息,请联系技术支持(技术支持联系方式:前往「服务」,选择「在线支持」、电话「400-811-8890」)。1. 概述1.1 版本 [阅读全文:]

数据转换FAQ
文档创建者:Wendy123456      创建时间:05-08 14:25      标签:      编辑:13次    |   浏览:2080次

摘要:1. 概述本文档收集数据转换节点的常见问题,并给出答案。2. 数据转换2.1 简道云相关分类常见问题解决方案简道云数据连接FDL怎么获取简道云的数据源可参考 简道云输入典型示例 获取[阅读全文:]

定时任务FAQ
文档创建者:Wendy123456      创建时间:09-11 16:58      标签:      编辑:32次    |   浏览:5044次

摘要:1. 概述本文档收集数据开发模块的常见问题,并给出答案。2. 数据开发模块功能咨询分类常见问题解决方案数据同步VS数据转换「数据转换」节点能实现数据同步功能,那「数据同步」节点单独拿出来的意义是什么详情[阅读全文:]

参数在FDL中的典型应用场景
文档创建者:Wendy123456      创建时间:05-27 09:36      标签:      编辑:8次    |   浏览:2483次

摘要:1. 概述本文介绍参数在数据开发中的典型应用场景。如何配置并使用参数请参见:如何配置并使用参数2. 数据开发2.1 增量数据同步定时任务每次执行时,可只同步指定时间范围内、或指定主键范围内的数据到目标表[阅读全文:]

工程部署FAQ
文档创建者:Wendy123456      创建时间:09-05 10:11      标签:      编辑:19次    |   浏览:3721次

摘要:1. 概述本文档收集 FineDataLink 部署升级、产品模块的常见问题,并给出答案。2. 产品咨询分类常见问题解决方案功能体验请问可以提供 FineDataLink 的试用账号吗https://d[阅读全文:]

任务和平台中的日志等级区别
文档创建者:Wendy123456      创建时间:10-12 10:50      标签:      编辑:1次    |   浏览:503次

摘要:1. 概述单个定时任务、管道任务中设置日志等级:1)定时任务中,可在「任务控制>任务属性>日志等级设置」中,设置该定时任务的日志等级。如下图所示:详情请参见:日志等级设置2)管道任务中,可在[阅读全文:]

管理系统FAQ
文档创建者:Wendy123456      创建时间:09-05 10:10      标签:      编辑:13次    |   浏览:1981次

摘要:1. 概述本文档收集管理系统的常见问题,并给出答案。2. 管理系统2.1 权限常见问题解决方案FDL 的次级管理员,具有的权限有哪些? 是否可以分配给一些用户具有某些数据权限的能力次级管理员权限范围没有[阅读全文:]

数据服务FAQ
文档创建者:Wendy123456      创建时间:04-25 15:46      标签:      编辑:5次    |   浏览:1874次

摘要:数据服务模块咨询常见问题解决方案浏览器限制推荐使用谷歌和 Edge 浏览器最新版本,其他浏览器可能会有兼容问题。1)可以提供下数据服务的操作指导说明吗2)将处理后的数据输出一个API,别人调用这个API[阅读全文:]

Kafka输出
文档创建者:Roxy      创建时间:08-22 16:58      标签:      编辑:1次    |   浏览:2601次

摘要:注:数据开发中实时任务当前属于内测阶段,如需试用或者了解详细信息,请联系技术支持(技术支持联系方式:前往「服务」,选择「在线支持」、电话「400-811-8890」)。1. 概述1.1 版本FineDa[阅读全文:]

2024-09产品月报
文档创建者:Wendy123456      创建时间:10-08 16:31      标签:      编辑:4次    |   浏览:604次

摘要:产品新功能数据连接优化Ø详情请参见:创建并管理数据源、数据连接权限概述1)数据连接可放在文件夹中进行管理。如下图所示:2)支持通过数据连接名称、数据源类型、创建人搜索已配置好的数据连接。如下图所示:3)[阅读全文:]

公有云认证
文档创建者:Roxy      创建时间:12-22 17:57      标签:      编辑:3次    |   浏览:2464次

摘要:1. 概述1.1 版本FineDataLink 版本功能变动1.9-4.0.28注册失败提示优化,提供具体失败原因,帮助用户排查问题1.2 应用场景用户需要注册多个工程,多次导出工程信息十分麻[阅读全文:]

4.1.12 更新日志
文档创建者:Wendy123456      创建时间:09-05 19:21      标签:      编辑:6次    |   浏览:1837次

摘要:升级兼容说明4.1.12.3 版本,数据连接做了较大优化。升级到 4.1.12.3 版本前,需要做好 FineDB 备份,若需回退,需要还原 FineDB ,若回退时不还原 FineDB,将导[阅读全文:]

数据连接授权权限
文档创建者:Roxy      创建时间:10-31 11:10      标签:      编辑:10次    |   浏览:1814次

摘要:1. 概述1.1 版本FineDataLink 版本功能变动4.0-4.1.12.3数据连接可放在文件夹中进行管理1.2 功能简介超管可为 A 用户分配数据连接的授权权限,这样 A[阅读全文:]

数据连接使用权限
文档创建者:Roxy      创建时间:10-28 17:43      标签:      编辑:13次    |   浏览:2270次

摘要:1. 概述1.1 版本FineDataLink 版本功能变动4.0-4.1.12.3数据连接可放在文件夹中进行管理1.2 功能简介管理员可将数据连接、包含数据连接文件夹的使用权限分配[阅读全文:]

数据连接管理权限
文档创建者:Roxy      创建时间:10-30 22:00      标签:      编辑:5次    |   浏览:2621次

摘要:1. 概述1.1 版本FineDataLink 版本功能变动4.0-4.1.12.3数据连接可放在文件夹中进行管理1.2 功能简介管理员可将数据连接、包含数据连接文件夹的管理权限分配[阅读全文:]

新增计算列获取当月天数
文档创建者:Wendy123456      创建时间:09-20 11:13      标签:      编辑:4次    |   浏览:650次

摘要:1. 概述1.1 应用场景用户想使用 新增计算列 算子,获取当月天数。注:SQL 语句获取当月天数方案请自行百度。1.2 实现思路先获取当月第一天日期、下个月第一天日期,然后使用 D[阅读全文:]

循环容器循环次数无限制插件
文档创建者:Roxy      创建时间:07-10 11:52      标签:      编辑:5次    |   浏览:2116次

摘要:1. 概述1.1 版本FineDataLink版本4.1.10.21.2 应用场景用户希望定时任务中的循环容器的循环次数上限无限制次数(当前默认 10000次);希望单个参数输出值的个数没有限制。便于用[阅读全文:]

数据管道与定时任务区别
文档创建者:Wendy123456      创建时间:05-06 17:02      标签:      编辑:11次    |   浏览:6838次

摘要:1. 概述本文为你说明「数据开发」和「数据管道」的区别,帮助您更快地了解这两个模块。2. 数据开发与数据管道的区别区别项定时任务数据管道应用场景可视化多源异构数据整合,高效搭建数仓,消除数据孤岛、数据口[阅读全文:]

ETL计算引擎
文档创建者:Roxy      创建时间:09-09 13:55      标签:      编辑:2次    |   浏览:4909次

摘要:1. ETL计算引擎定义ETL(Extract, Transform, Load)计算引擎是用于执行 ETL 过程中数据转换阶段的关键组件之一。它负责处理从不同数据源抽取的数据,并根据预定义的转换规则进[阅读全文:]

如何打堆栈
文档创建者:Roxy      创建时间:09-09 18:29      标签:      编辑:4次    |   浏览:581次

摘要:1. 概述用户在使用 FDL 时,可能会出现宕机而导致无法使用的情况,此时可以打堆栈进行排查,本文将说明如何打堆栈。堆栈可以发给帆软技术支持排查(技术支持联系方式:前往「服务」,选择「在线支持」、电话「[阅读全文:]

数据同步-API
文档创建者:Wendy123456      创建时间:03-17 10:40      标签:      编辑:70次    |   浏览:26662次

摘要:1. 概述1.1 版本「数据同步-API」功能包含的设置项与 API 输入算子 相同,功能变动请参见:API输入 文档的 1.1 节内容。1.2 应用场景出于安全考虑,有时不允许直接访问数据库[阅读全文:]

SparkSQL编码、加密、解密函数
文档创建者:Roxy      创建时间:06-13 19:14      标签:      编辑:10次    |   浏览:8588次

摘要:1. 概述1.1 版本FineDataLink 版本功能说明--4.1.5.1新增加密函数和解密函数1.2 功能说明「编码函数」、「加密函数」、「签名函数」等常用于进行API加密认证取数时的 Token[阅读全文:]

Kerberos驱动整理
文档创建者:Roxy      创建时间:09-10 19:42      标签:      编辑:2次    |   浏览:597次

摘要:1. 概述Kerberos 认证时,需要将驱动和 URL 按本文进行更改。2. 驱动数据库驱动URL格式驱动下载注意点TRANSWARP INCEPTOR(星环)jdbc:hive2://ip:port[阅读全文:]

SQL Server环境准备
文档创建者:Roxy      创建时间:08-16 14:55      标签:      编辑:23次    |   浏览:15732次

摘要:1. 概述CDC(Change Data Capture),即数据变更抓取,通过为源端数据源开启CDC,可实现数据源的实时数据同步以及数据表的 DDL 同步。本章节主要介绍如何为 SQL Server[阅读全文:]

批量定时任务运维概述
文档创建者:Wendy123456      创建时间:03-17 14:08      标签:      编辑:34次    |   浏览:16029次

摘要:[helpvideo]8638[/helpvideo]1. 概述定时任务开发完成后,可到「运维中心」界面查看定时任务运行情况、为多个/单个定时任务设置执行频率、为多个/单个定时任务设置事件调度、批量设置[阅读全文:]

定时任务运维指导
文档创建者:Roxy      创建时间:02-05 15:32      标签:      编辑:4次    |   浏览:4236次

摘要:1. 概述当用户设计好定时任务后,可以管理定时任务、监控任务运行状态和查看任务运行日志等。本文列举定时任务的常见运维操作。2. 前提条件已完成定时任务的创建、开发。详情请参见:数据开发概述3. 单个任务[阅读全文:]

使用文件传输节点传输图片/视频
文档创建者:Roxy      创建时间:09-13 10:25      标签:      编辑:2次    |   浏览:883次

摘要:1. 概述1.1 应用场景用户想要将 FTP/SFTP服务器/本地FineDataLink 工程中的图片、视频输出至指定的服务器中。1.2 实现思路使用「文件传输」节点,设置「文件来源」为FT[阅读全文:]

参数输出
文档创建者:Roxy      创建时间:11-15 10:55      标签:      编辑:20次    |   浏览:7782次

摘要:1. 概述[helpvideo]8625[/helpvideo]1.1 版本FineDataLink 版本功能变动4.0.13-4.1.0优化「参数输出」设置界面将「分隔符」单选按钮组改为「闭包符」开关[阅读全文:]

FDL和FineBI组合应用示例
文档创建者:Roxy      创建时间:08-02 17:11      标签:      编辑:14次    |   浏览:15270次

摘要:1. 概述1.1 背景某集团人员长期使用 FineBI 进行数据分析,FineBI的使用流程为:IT人员在FineBI中直接连接数据库数据,通过自助数据集对原始数据进行数据清洗和处理,形成业务人员可用的[阅读全文:]

调用任务
文档创建者:Wendy123456      创建时间:03-17 14:01      标签:      编辑:28次    |   浏览:11001次

摘要:1. 概述[helpvideo]8670[/helpvideo]1.1 版本说明FineDataLink 版本功能变动3.2新增节点「调用任务」,可以在当前任务中调用执行其他任务,参数传递不支持跨层级,[阅读全文:]

FR填报补录数据后,触发FDL任务更新
文档创建者:Wendy123456      创建时间:02-27 09:57      标签:      编辑:26次    |   浏览:7267次

摘要:1. 概述1.1 应用场景某贸易公司,交易员每天使用 FineReport 填报模板,将新产生的订单或历史订单的修改数据录入到「补录表」中。「补录表」需要将最新数据同步到数据库表中;数据分析工具使用数据[阅读全文:]

带参数的SAP函数调用取数
文档创建者:Roxy      创建时间:09-28 16:20      标签:      编辑:7次    |   浏览:3471次

摘要:1. 概述1.1 应用场景用户数据存储在 SAP 中,因此需要对接SAP取数,但是由于数据安全问题或对SAP底层表并不了解,无法直接连接 SAP 的底层数据库取数。因此希望通过RFC接口调用的[阅读全文:]

API输出典型示例
文档创建者:Roxy      创建时间:02-28 12:28      标签:      编辑:16次    |   浏览:11635次

摘要:1. 概述API输出逻辑说明 已经介绍了API输出的基本功能,用户需要将多应用系统的数据通过FDL打通,实现业务系统间的数据交互(交互的形式为API),就可以通过 API 写入满足应用集成场景。本文以一[阅读全文:]

数据比对典型示例
文档创建者:Wendy123456      创建时间:03-17 11:01      标签:      编辑:38次    |   浏览:14297次

摘要:1. 概述数据比对功能说明 文档中介绍了「数据比对」算子的功能,本文以一个简单示例介绍该算子的使用。2. 示例示例demo详情参见:https://demo.finedatalink.com/&nbsp[阅读全文:]

数据同步-数据库表
文档创建者:Wendy123456      创建时间:06-13 15:20      标签:      编辑:11次    |   浏览:8081次

摘要:1. 概述数据同步功能说明 中已介绍了「数据同步」节点的相关功能。本文以一个具体示例为您做介绍,演示从一个 MySQL 数据库的「产品」表的所有数据,抽取到另一个 MySQL 数据库中。2. 操作步骤2[阅读全文:]

数仓调度场景概述
文档创建者:Roxy      创建时间:08-15 17:20      标签:      编辑:24次    |   浏览:17098次

摘要:1. 概述1.1 背景数据仓库的调度配置是实际业务中必不可少的一环。通过调度配置,可以实现数据的更新同步,从而让数据持续地应用在业务中。例如,某销售公司当前情况如下:当前有两个部门的数据:「销售」和「财[阅读全文:]

FTP服务器中白名单文件自动传输与解压
文档创建者:Wendy123456      创建时间:09-10 16:23      标签:      编辑:5次    |   浏览:961次

摘要:1. 概述1.1 应用场景用户的业务数据以压缩包的形式每日进行下发,存储在 FTP 文件服务器对应的日期目录下,已经下发完成的压缩包文件会生成同名的 .ok 文件。用户需要将部分压缩包文件传输到另外一个[阅读全文:]

如何配置并使用参数
文档创建者:Wendy123456      创建时间:05-27 11:21      标签:      编辑:16次    |   浏览:4187次

摘要:1.  概述本文讲述如何在定时任务中配置并使用参数。2. 步骤一:定义参数(必做)FDL 中参数分为三类:任务内参数、全局参数、内置参数。如下图所示:注:「参数列表」界面展示的参数为该任务可使[阅读全文:]

XML解析算子
文档创建者:Roxy      创建时间:09-08 15:18      标签:      编辑:22次    |   浏览:5925次

摘要:[helpvideo]8609[/helpvideo]1. 概述1.1 版本FineDataLink 版本功能变动4.0.9新增「XML解析」算子,可以将输入的 XML 数据解析为行列形式的数据1.2[阅读全文:]

容器化部署
文档创建者:Carly      创建时间:11-21 10:27      标签:      编辑:5次    |   浏览:11828次

摘要:1. 概述1.1 版本FineDataLink版本4.01.2 功能简介服务器部署一直都是比较繁重的运维操作。为了降低部署带来的较高成本,帆软提供 FineOps 运维平台,支持使用运维平台前端容器化部[阅读全文:]

报价咨询
文档创建者:Roxy      创建时间:06-01 14:05      标签:      编辑:3次    |   浏览:15507次

摘要:1. 概述FineDataLink 支持本地安装部署,安装步骤请参见:FineDataLink部署方式介绍在部署后可根据用户的需求,自行购买基础功能和指定功能点并进行注册使用。注:若想要体验 FineD[阅读全文:]

Tomcat独立部署FDL
文档创建者:Bernard丶      创建时间:04-18 17:29      标签:      编辑:39次    |   浏览:57396次

摘要:1. 概述FineDataLink 版本功能变动4.0.1.1-4.0.6独立部署包工程默认端口号修改为 8068本文档将会详尽介绍独立部署的操作方法。2. Windows 环境2.1 环境准[阅读全文:]

FineDataLink产品简介
文档创建者:Wendy123456      创建时间:03-16 16:07      标签:      编辑:32次    |   浏览:123721次

摘要:[helpvideo]9107[/helpvideo]1. 概述FineDataLink 是一款低代码/高时效的企业级一站式数据集成平台,面向用户大数据场景下,实时和离线数据采集、集成、管理的[阅读全文:]

数据服务错误代码表
文档创建者:Roxy      创建时间:12-18 13:53      标签:      编辑:3次    |   浏览:2162次

摘要:1. 概述FineDataLink 数据服务接收到调用 API 的请求后,会将请求结果信息返回给请求端,其中包含各类错误码。通过解读错误码,您可以快速定位问题并自助排错。本文为您介绍常见数据服务错误码及[阅读全文:]

使用数据服务对数据进行分发管控
文档创建者:Roxy      创建时间:08-17 11:13      标签:      编辑:2次    |   浏览:3600次

摘要:1. 概述1.1 应用场景某公司旗下各个地区有多个分公司和分店,且使用同一套业务系统。业务数据会全部汇总到总部的数据库内,分店只能在业务系统上看到特定的分析和数据,无法实现自定义分析。总部希望对数据进行[阅读全文:]

发布API-查询NULL值数据
文档创建者:Roxy      创建时间:08-14 17:21      标签:      编辑:18次    |   浏览:2731次

摘要:1. 概述1.1 版本FineDataLink版本功能变动4.0.28数据发布 API 参数支持传入 NULL 值1.2 应用场景用户想要在发布 API 时,对 API 取数逻辑进行设置:取出发布的 A[阅读全文:]

发布API-多值查询
文档创建者:Roxy      创建时间:08-14 16:52      标签:      编辑:15次    |   浏览:5707次

摘要:1. 概述1.1 版本FineDataLink版本功能变动4.0.28支持使用 IN 语法实现多值查询1.2 应用场景用户想要在发布 API 时,对 API 取数逻辑进行设置:使用 SQL 的 IN 语[阅读全文:]

关闭Oracle归档日志
文档创建者:Roxy      创建时间:12-25 15:02      标签:      编辑:1次    |   浏览:1318次

摘要:1. 概述由于开启日志会在指定的归档日志目录生成大量的日志文件,可能会影响业务数据库的性能,若用户停止使用管道任务或者其他原因需要关闭归档日志,则可参考本文进行设置。2. 操作步骤2.1 关闭数据库登录[阅读全文:]

清理Oracle归档日志
文档创建者:Roxy      创建时间:12-25 11:47      标签:      编辑:4次    |   浏览:2809次

摘要:1. 概述Oracle 启用归档日志的状态下,会在指定的归档日志目录生成大量的日志文件,而且这些日志文件默认是不会定期清理。长时间运行后,会占用大量的存储空间,最终可能导致 Oracle 没有足够的空间[阅读全文:]

配置管道任务-选择数据去向
文档创建者:Roxy      创建时间:07-31 15:02      标签:      编辑:43次    |   浏览:6522次

摘要:1. 概述1.1 版本FineDataLink 版本功能变动4.0.5-4.1.7.3支持 HANA 作为写入数据源4.1.8.1配置管道任务-选择数据来源 步骤中生成的分组表,不支持 DDL[阅读全文:]

配置管道任务-选择数据来源
文档创建者:Wendy123456      创建时间:01-18 16:06      标签:      编辑:7次    |   浏览:5563次

摘要:1. 概述1.1 版本FineDataLink 版本功能变动4.0.6支持 MySQL 作为读取数据源4.1.4SAP HANA、DB2 支持作为读取端4.1.7.2来源表若包含 _fdl_update[阅读全文:]

数据库环境准备概述
文档创建者:Roxy      创建时间:03-29 15:18      标签:      编辑:6次    |   浏览:8054次

摘要:1. 概述通过数据管道实时同步数据时,执行同步任务前,需要在数据源中进行一些配置,开启数据库日志并进行数据库权限设置,以便 FineDataLink 监听数据管道来源端的数据库日志变化,进行实[阅读全文:]

BI仪表板展示管道任务编辑信息
文档创建者:Wendy123456      创建时间:11-07 15:03      标签:      编辑:6次    |   浏览:1937次

摘要:1. 概述1.1 应用场景用户想了解某个管道任务是谁编辑的、编辑时间、断点相关信息等,FDL 工程内的 管道任务运维 无法满足需求。1.2 实现思路用户可根据实际需求,使用 Fine[阅读全文:]

Linux系统设置中文语言环境和字体
文档创建者:Carly      创建时间:04-13 15:07      标签:      编辑:3次    |   浏览:4133次

摘要:本文仅面向非运维平台部署的帆软项目运维平台部署的项目,在工程外挂目录/customlib/fonts文件夹,可用于存放客户自定义的字体文件,等同于直接放置在/usr/share/fonts下1.&nbs[阅读全文:]

部署升级常见问题
文档创建者:Carly      创建时间:03-06 15:08      标签:      编辑:13次    |   浏览:3227次

摘要:1. 概述为满足客户的新需求以及完善之前版本某些功能的不足之处,FineDataLink在不断地更新迭代。若需要体验新产品功能或者修复之前版本中存在的一些问题,客户需要将FDL升级到当前最新版本。本文简[阅读全文:]

配置PostgreSQL外接数据库
文档创建者:帆软用户ki9NQpCL3P      创建时间:07-12 16:23      标签:      编辑:3次    |   浏览:1548次

摘要:1. 概述1.1 版本FineDataLink 版本功能变更4.0-1.2 功能简介FineDataLink 配置外接数据库后,遇到集群环境或数据量较大情况时,可[阅读全文:]

API取数使用说明
文档创建者:Wendy123456      创建时间:07-16 16:45      标签:      编辑:16次    |   浏览:3843次

摘要:1. 概述FDL 提供两个功能进行接口取数,区别如下:功能说明「数据同步-API」功能若接口返回值为较简单的 JSON 格式,不需要复杂的解析处理,可参考本文进行接口取数API输入 算子若用户[阅读全文:]

MySQL环境准备
文档创建者:Roxy      创建时间:08-16 14:57      标签:      编辑:29次    |   浏览:16086次

摘要:[helpvideo]9118[/helpvideo]1. 概述CDC(Change Data Capture),即数据变更抓取,通过为源端数据源开启CDC,可实现数据源的实时数据同步以及数据表的 DD[阅读全文:]

分组汇总
文档创建者:Wendy123456      创建时间:11-13 14:23      标签:      编辑:7次    |   浏览:3486次

摘要:1. 概述1.1 版本FineDataLink 版本功能变动4.1.2新增「分组汇总」算子,对原始数据根据条件将相同的数据先合并到一组,然后按照分组后的数据进行汇总计算4.1.6.1分组与汇总框支持拖拽[阅读全文:]

2024-08产品月报
文档创建者:Wendy123456      创建时间:08-27 16:48      标签:      编辑:5次    |   浏览:1076次

摘要:产品新功能数据开发定时任务支持读取 FineLogDB(FDL) 数据用户希望同步 FineDataLink 的 LogDB 数据到指定数据库,然后报表使用这些数据制作看板。FineDataLink 支[阅读全文:]

SparkSQL语法概述
文档创建者:Wendy123456      创建时间:03-31 16:34      标签:      编辑:29次    |   浏览:19259次

摘要:1. 概述1.1 版本FineDataLink 版本功能变更3.6.2数据转换节点 新增算子「Spark SQL」算子,可实现较灵活的数据转换功能4.0.17「Spark SQL」算子支持使用[阅读全文:]

Hadoop Hive数据源使用说明
文档创建者:Roxy      创建时间:08-29 17:07      标签:      编辑:1次    |   浏览:900次

摘要: 版本FineDataLink版本功能变动4.1.3定时任务自动建表支持指定分区定时任务支持选择分区表作为数据去向任务开发配置数据连接 详情请参见:配置Hadoop Hive数据源数[阅读全文:]

企业认证操作说明
文档创建者:Roxy      创建时间:10-11 15:50      标签:      编辑:6次    |   浏览:4497次

摘要:1. 概述帆软旗下支持与服务平台 https://service.fanruan.com/(以下简称「服务平台」)是帆软提供给合作/准合作客户的一套自助服务受理平台。客户使用此平台可以实现自助[阅读全文:]

企业成员操作说明
文档创建者:Roxy      创建时间:10-11 15:55      标签:      编辑:2次    |   浏览:2835次

摘要:1. 概述帆软旗下支持与服务平台 https://service.fanruan.com/(以下简称「服务平台」)是帆软提供给合作/准合作客户的一套自助服务受理平台。客户使用此平台可以实现自助[阅读全文:]

企业管理员操作说明
文档创建者:Roxy      创建时间:10-11 15:53      标签:      编辑:2次    |   浏览:3538次

摘要:1. 概述帆软旗下支持与服务平台 https://service.fanruan.com/(以下简称「服务平台」)是帆软提供给合作/准合作客户的一套自助服务受理平台。客户使用此平台可以实现自助[阅读全文:]

数据同步方案概述
文档创建者:Roxy      创建时间:09-06 19:30      标签:      编辑:28次    |   浏览:14534次

摘要:1. 概述数据同步包括定时同步、实时同步两个功能模块。选择使用哪个功能模块,需考虑要进行的数据同步是定时还是实时、增量还是全量等,不同模块的支持情况不同,此外还需要重点关注:数据的来源与去向、待同步的表[阅读全文:]

简道云数据增删改同步至数据库
文档创建者:Roxy      创建时间:09-01 19:30      标签:      编辑:26次    |   浏览:5416次

摘要:1. 概述1.1 背景某公司大量使用简道云表单进行业务填报,每天产生大量数据。为了与其他系统数据联合使用,这些数据需要定期同步至指定数据库中。根据简道云录入表单数据的增删改情况,有以下几种情况:表单数据[阅读全文:]

定时任务并发数与脏数据说明
文档创建者:Roxy      创建时间:02-04 18:08      标签:      编辑:10次    |   浏览:3120次

摘要:1. 并发数1.1 问题描述由于 FineDataLink 中定时任务需要占用内存和并发资源等,因此用户可能需要根据实际的使用情况进行任务调整。阅读此部分,你可以解决和理解如下问题:问题一:如何配置定时[阅读全文:]

配置Oracle外接数据库
文档创建者:Roxy      创建时间:08-08 16:58      标签:      编辑:5次    |   浏览:2699次

摘要:1. 概述1.1 功能简介 FineDataLink 系统配置外接数据库后,遇到集群环境或数据量较大情况时,可保证系统的稳定性。用户可在「初始化时」配置外接数据库或在「管理[阅读全文:]

不同写入方式效果说明
文档创建者:Wendy123456      创建时间:08-21 11:40      标签:      编辑:3次    |   浏览:2145次

摘要:1. 概述数据同步-写入方式 文档中,介绍了三种写入方式:直接将数据写入目标表、清空目标表,再写入数据、基于标识字段,新增/修改/删除数据。本文为您展示这三种写入方式的实际效果。注:本文只是介绍三种写入[阅读全文:]

宕机处理
文档创建者:帆软用户ki9NQpCL3P      创建时间:06-09 22:01      标签:      编辑:4次    |   浏览:2631次

摘要:1. 概述1.1 版本FineDataLink 版本系统运维插件版本功能变更4.0--4.0.8V1.4.51)「自定导出内存堆栈」支持选择导出内容:堆栈、histo、dump2)「自定导出内[阅读全文:]

多个逗号分隔的字段按照分组顺序匹配
文档创建者:Wendy123456      创建时间:08-20 11:30      标签:      编辑:2次    |   浏览:1299次

摘要:1. 概述1.1 应用场景从接口取数后,数据保存格式为:{{主数据},{子数据1,子数据2}{子数据a,子数据b}};其中,子数据中包含多个字段,以逗号分割存储。如下图所示:实际业务场景中,每个子数据相[阅读全文:]