摘要:1. 概述1.1 版本说明FineDataLink 版本功能变动1.7增加内置参数:${cyctime}、${workname.opresult}、${jobname.opresult}4.0.31)增[阅读全文:]
摘要:[helpvideo]8626[/helpvideo]1. 概述1.1 版本FineDataLink 版本功能变动4.0.30可配置全局参数,该参数可在多个定时任务中使用4.1.4交互优化4.1.8.1[阅读全文:]
摘要:1. 概述1.1 版本FineDataLink 版本功能变动4.2.4.3新增「值替换」算子,可将字段的原值按照特定规则替换成新值1.2 功能简介新增「值替换」算子,可将字段的原值按照特定规则替换成新值[阅读全文:]
摘要:1. 概述1.1 版本FineDataLink 版本功能变动4.2.4.3-1.2 应用场景超级管理员可以给予某个对象「数据清洗规则」的授权权限,使该对象将成为一个次级管理员。次级管理员可以给下级成员分[阅读全文:]
摘要:1. 概述1.1 版本FineDataLink 版本功能变动4.2.4.3-1.2 应用场景管理员希望能为普通用户分配「数据清洗」中指定数据清洗规则的查看和编辑。本文将介绍管理员如何给用户分配数据清洗的[阅读全文:]
摘要:1. 概述1.1 版本FineDataLink 版本功能变动4.1.2.4-1.2 应用场景管理员希望能为普通用户分配「数据检测」中指定数据检测任务的查看和编辑权限。本文将介绍管理员如何给用户分配数据检[阅读全文:]
摘要:1. 概述1.1 应用场景用户上游总公司需要将来源表的敏感信息字段批量加密、脱敏后写入表,提供给下游公司。1.2 解决思路使用全局清洗规则,设置规则为「加解密」,并通过值替换算子批量对指定数据进行加密。[阅读全文:]
摘要:1. 概述1.1 应用场景简道云来源表字段值都有同样的数据问题,例如字段值中有空格,需要将空格去除后写入目标表。1.2 解决思路使用全局清洗规则,将值匹配后统一替换。2. 操作步骤2.1 设置全局清洗规[阅读全文:]
摘要:1. 概述1.1 版本FineDataLink 版本功能变动4.1.3定时任务中,数据源是 MySQL、Oracle、SQLServer 时,支持调用数据库存储过程4.1.11.2HP Ver[阅读全文:]
摘要:1. 概述1.1 版本FineDataLink 版本功能变动4.0.29节点支持禁用4.1.6.1对于「参数赋值」「条件分支」「虚拟节点」这些不支持单独运行的节点,当其下游节点设置为「禁用」,则该节点不[阅读全文:]
摘要:1. 应用场景用户想要同步钉钉通信录中的用户信息。2. 方案一4.1.3 以及之后的版本支持的方案。FineDataLink 中的数据处理过程,详情参见:https://demo.finedatalin[阅读全文:]
摘要:1. 概述本文讲述如何从 PI 数据库取数。1.1 什么是PI数据库PI 数据库是由美国 OSIsoft 公司开发的一种适用于实时数据管理的系统。它提供了高性能的数据采集、存储和检索服务,通常用于工业自[阅读全文:]
摘要:1. 概述1.1 版本 FineDataLink 版本功能变动4.1.13.2数据开发-定时任务支持读取和写入 Amazon S3 数据源4.2.0.1统一用 S3 协议兼容目前已支持的全部文[阅读全文:]
摘要:1. 概述1.1 版本FDL 与相关插件最新的版本适配要求:注:登录 FDL 工程,点击「管理系统>注册管理」,可在「版本信息」Tab 中查看平台模块版本。平台模块版本开放平台-FineDataL[阅读全文:]
摘要:1. 概述用户开发实时任务,此时想要查看实时任务的状态和运行情况,本文将按照用户的操作流程,详细进行相关功能的讲解。2. 单个任务开发调试阶段2.1 运行任务报错用户开发了一个实时任务,想要运行看看效果[阅读全文:]
摘要:1. 概述1.1 版本FineDataLink 版本功能变动4.1用户管理新增「数据开发用户」,与注册license共同控制使用FineDataLink 的用户数1.2 功能说明FineDat[阅读全文:]
摘要:1. 概述1.1 版本FineDataLink 版本功能变动4.0.9-4.1.7.2支持「上传更新」,即前端手动上传 JAR 包进行更新升级,解决每个月发布的中间版本不能提供一键升级的问题4.1.11[阅读全文:]
摘要:注:数据开发中实时任务当前属于内测阶段,如需试用或者了解详细信息,请联系技术支持(技术支持联系方式:前往「服务」,选择「在线支持」、电话「400-811-8890」)。1. 概述1.1 版本FineDa[阅读全文:]
摘要:[helpvideo]8619[/helpvideo]1. 概述1.1 版本FineDataLink 版本功能变动4.0.20新增简道云输出算子,可将数据输出到简道云中,供简道云使用支持将数据输出到包含[阅读全文:]
摘要:1. 概述单点登录 Single Sign On,简称为 SSO,SSO 的定义是在多个应用系统中,用户只需要登录一次就可以访问所有相互信任的应用系统。2. 索引注:点击下方链接中的[阅读全文:]
摘要:[helpvideo]8632[/helpvideo]1. 概述1.1 版本说明FineDataLink 版本功能变动4.0.5-4.1.3管道任务写入端主动检测 Kafka 连接是否异常,若[阅读全文:]
摘要:1. 概述1.1 版本FineDataLink 版本功能变更3.7「数据转换」节点下新增「字段设置」功能,可实现数据流字段的选择、重命名、数据类型转换操作4.1.5.3支持批量删除和还原字段,详情参见本[阅读全文:]
摘要:[helpvideo]8637[/helpvideo]1. 概述1.1 版本FineDataLink 版本功能变动4.0.27「调度配置」名称修改为「任务控制」4.1.4「任务控制」中的调度配置Tab,[阅读全文:]
摘要:1. 概述本文整理用户在使用 FineDataLink 过程中遇到的问题,便于用户进行任务问题排查。2. 索引序号分类说明文档1部署升级工程部署常见问题回复工程部署FAQ部署报错:部署环境异常部署环境异[阅读全文:]
摘要:1. 概述1.1 版本 FineDataLink 版本功能变动4.2.1.4针对星环 ArgoDB 数据源:定时任务支持读取和写入管道任务支持写入库表管理功能支持该数据源数据服务功能[阅读全文:]
摘要:1. 概述1.1 版本 FineDataLink 版本功能变动4.1.13.2数据开发-实时任务支持读取 MQTT 数据源1.2 功能简介数据开发-实时任务支持读取 MQT[阅读全文:]
摘要:1. 概述1.1 版本 FineDataLink 版本功能变动4.1.13.2数据开发-实时任务支持读取 IBM MQ 数据源1.2 功能简介数据开发-实时任务支持读取 I[阅读全文:]
摘要:注:该功能当前属于内测阶段,如需试用或者了解详细信息,请联系技术支持(技术支持联系方式:前往「服务」,选择「在线支持」、电话「400-811-8890」)。1. 概述1.1 版本FineDataLink[阅读全文:]
摘要:1. 概述1.1 版本FineDataLink 版本功能变动4.1.5.3-1.2 应用场景FineDataLink 支持连接 SAP Sybase ASE 数据源进行定时任务读取。2. 使用[阅读全文:]
摘要:1. 概述1.1 版本 FineDataLink 版本功能变动4.0.28数据管道任务中支持写入至 SeaboxMPP 数据库4.1.5.5定时任务中支持读取和写入 Sea[阅读全文:]
摘要:1. 概述1.1 版本FineDataLink 版本功能变动4.0.4「管理系统>数据连接>数据连接管理」中,可新建 Greenplum(并行装载)数据连接定时任务读写适配 Greenplu[阅读全文:]
摘要:1. 概述1.1 版本说明 FineDataLink 版本功能变动4.0.8-4.1.2定时任务和数据管道任务中,装载方式新增COPY装载,写入数据较多时提升写入速度1.2 应用场景FineD[阅读全文:]
摘要:1. 概述1.1 版本FineDataLink 版本功能变动4.0.24-4.1.3数据写入星环 TRANSWARP INCEPTOR 数据库时,支持创建、写入分区表4.2.1.4数据源名称改[阅读全文:]
摘要:1. 概述1.1 版本 FineDataLink 版本功能变动4.1.11.3定时任务支持读取和写入 PolarDB PostgreSQL 数据库管道任务支持写入 PolarDB P[阅读全文:]
摘要:1. 概述1.1 版本 FineDataLink 版本功能变动4.1.11.2定时任务支持读取和写入 YMatrix 数据库管道任务支持写入 YMatrix 数据库数据服务支持读取&[阅读全文:]
摘要:1. 概述1.1 版本 FineDataLink 版本功能变动4.0.26-4.1.11.4支持定时任务写入1.2 简介MaxCompute(之前称为 ODPS),是阿里巴巴通用计算平台提供的[阅读全文:]
摘要:1. 概述1.1 版本FineDataLink版本功能说明4.1.4数据管道来源端支持Sap Hana,版本要求为:2.0 SPS00~SPS074.1.5.4定时任务支持读取和写入 Sap[阅读全文:]
摘要:1. 概述1.1 版本FineDataLink 版本功能变动4.0定时任务读写适配PostgreSQL4.0.9数据管道输出适配 PostgreSQL4.0.11数据管道输入适配 P[阅读全文:]
摘要:1. 概述1.1 版本FineDataLink 版本功能变动4.0定时任务读写适配 SQL server4.0.7数据管道输入适配 SQL server数据管道输出适配 SQL se[阅读全文:]
摘要:1. 概述SAP HANA 数据源作为管道任务来源端时,程序无法感知到源表结构变化,因此需要用户手动有计划地执行表结构变更等操作,才能完成同步。2. 方案说明2.1 新增字段场景一:正在运行的[阅读全文:]
摘要:1. 概述SQL Server 数据源作为管道任务来源端时,目前 DDL 同步功能 不支持自动同步源端新增字段,若需要使用 DDL 进行新增字段的处理,请参见本文提供的方案。2. 方案一:在线方案注:此[阅读全文:]
摘要:SQL server数据连接连不上,报错The server selected protocol version TLS10 is [阅读全文:]
摘要:1. 概述1.1 应用场景希望将二进制的 dbf 文件处理成二维表并定时自动同步,可使用本文方案,为企业降本增效。1.2 实现思路在FDL服务器中按日期新建存放 dbf 文件到文件夹;将业务数据系统中的[阅读全文:]
摘要:提示:本文详细说明 PolarDB PostgreSQL 数据源在 FDL 中的使用特性,包括使用限制以及在不同功能使用中的特殊情况,帮助用户更好地理解和应用数据源。数据开[阅读全文:]
摘要:提示:本文详细说明 MaxCompute 数据源在 FDL 中的使用特性,包括使用限制以及在不同功能使用中的特殊情况,帮助用户更好地理解和应用数据源。通用限制受[阅读全文:]
摘要:提示:本文详细说明了 YMatrix 数据源在 FDL 中的使用特性,包括使用限制以及在不同功能使用中的特殊情况,帮助用户更好地理解和应用数据源。数据开发-定时任务定时任务[阅读全文:]
摘要:1. 概述1.1 版本FineDataLink版本功能变动4.0定时任务读写适配 Oracle4.0.7数据管道输入适配 Oracle4.0.9数据管道输出适配 Oracl[阅读全文:]
摘要:1. 概述1.1 版本FineDataLink 版本功能变动4.0.20定时任务支持读取和写入 HP Vertica4.1.6.3数据服务支持 HP Vertica1.2 应用场景F[阅读全文:]
摘要:1. 概述1.1 版本 FineDataLink 版本功能变动4.1.6.3定时任务支持读取 Gbase 8s数据服务支持 Gbase 8s1.2 功能简介FineDataLink[阅读全文:]
摘要:1. 概述1.1 版本 FineDataLink 版本功能变动4.1.8.2定时任务支持读取和写入神通数据库管道任务支持写入神通数据库数据服务支持读取神通数据库1.2 功能简介FineData[阅读全文:]
摘要:1. 概述1.1 版本FineDataLink 版本功能变动4.0.4.2定时任务支持读取 MongoDB4.1.6.4定时任务支持写入 MongoDB1.2 功能简介FineDataLink[阅读全文:]
摘要:1. 概述1.1 版本 FineDataLink 版本功能变动4.2.3.3支持连接 InterSystems IRIS 数据源,适配功能:定时任务读取和写入数据服务库表管理/血缘分[阅读全文:]
摘要:1. 概述1.1 版本 FineDataLink 版本功能变动4.2.0.3针对 OceanBase(Oracle模式)数据源:定时任务支持读取和写入管道任务支持写入库表管理功能支持[阅读全文:]
摘要:1. 概述1.1 版本 FineDataLink 版本功能变动4.2.1.2数据开发-定时任务中支持读取 TDengine 数据库1.2 功能简介数据开发-定时任务中支持读取&nbs[阅读全文:]
摘要:1. 概述1.1 版本 FineDataLink 版本功能变动4.2.2.1支持 SelectDB 数据源,适配 FDL 功能:定时任务读取和写入管道任务写入数据服务库表管理/血缘分析4.2.[阅读全文:]
摘要:1. 概述1.1 版本 FineDataLink 版本功能变动4.2.1.4针对 OceanBase(MySQL模式)数据源:定时任务支持读取和写入管道任务支持写入库表管理功能支持该[阅读全文:]
摘要:1. 概述1.1 版本 FineDataLink 版本功能变动4.2.0.1定时任务读取和写入适配 openGauss库表管理功能支持 openGauss1.2 应用场景FineDa[阅读全文:]
摘要:1. 概述1.1 版本FineDataLink 版本功能变动4.1.11.3定时任务支持写入 Elasticsearch 数据4.2.0.2定时任务支持读取 Elastic[阅读全文:]
摘要:1. 概述1.1 版本FineDataLink 版本功能变动-支持连接公有云版简道云的数据4.0.20支持连接独享版简道云的数据4.1.5.3私有部署支持使用TLS/SSL认证1.2 功能简介[阅读全文:]
摘要:1. 概述1.1 版本FineDataLink版本功能变动4.0.8-1.2 应用场景用户希望 FDL 支持对接外部的独立数据处理过程,例如执行远程服务器上的 Shell 脚本、Python 脚本等。在[阅读全文:]
摘要: 1. 概述1.1 版本 FineDataLink 版本功能变动4.0.7定时任务支持读取和写入达梦数据库4.1.6.1管道任务支持写入达梦数据库4.1.6.3数据服务支持达梦数据库[阅读全文:]
摘要:1. 概述1.1 版本 FineDataLink 版本功能变动4.0-4.1.13.1定时任务、管道任务中,目标表为自动建表时,将自动根据 MySQL 版本确定编码格式和行格式4.1.14.1[阅读全文:]
摘要:1. 概述本文将介绍如何连接 HSQL(Hyper SQL) 数据库。注:在 HSQL 数据库中,要避免数据表的名称以数字开头,否则连接时可能会出现报错。2. 配置数据连接2.1 前提条件详情请参见:前[阅读全文:]
摘要:1. 概述FineDataLink 支持连接 Presto,进行定时任务读取。2. 配置数据连接2.1 前提条件详情请参见:前提条件2.2 版本和驱动下载驱动,并将其上传至 FineDataLink,如[阅读全文:]
摘要:1. 概述1.1 版本 FineDataLink 版本功能变动3.2定时任务中支持读取 ClickHouse3.7定时任务支持写入 ClickHouse4.0.28管道任务[阅读全文:]
摘要:1. 概述FineDataLink 支持 Informix 进行定时任务读写2. 配置数据连接2.1 前提条件详情请参见:前提条件2.2 版本和驱动下载驱动包,并将其上传至[阅读全文:]
摘要:1. 概述1.1 版本FineDataLink 版本功能变动3.2定时任务支持读取 IBM DB23.6.2定时任务写入支持 IBM DB24.1.3数据服务支持 DB2 数据源4.[阅读全文:]
摘要:1. 概述1.1 版本FineDataLink 版本功能变动1.9-4.0.28注册失败提示优化,提供具体失败原因,帮助用户排查问题1.2 应用场景客户的FineDataLink是部署在虚拟机上或者云平[阅读全文:]
摘要:[helpvideo]8601[/helpvideo]1. 概述1.1 版本FineDataLink 版本功能变动4.0.21FineDataLink 独立部署版本, 「管理系统>数据连接>[阅读全文:]
摘要:注:数据开发中实时任务当前属于内测阶段,如需试用或者了解详细信息,请联系技术支持(技术支持联系方式:前往「服务」,选择「在线支持」、电话「400-811-8890」)。1. 概述1.1 版本FineDa[阅读全文:]
摘要:1. 概述1.1 版本FineDataLink 版本功能变动4.0.5-4.1.11.2管道任务自动建表支持指定分区(YMatrix )和分布(YMatrix)逻辑,详情参见:读取、创建、写入[阅读全文:]
摘要:1. 概述用户在手动触发任务或者调度触发任务过程中,FineDataLink 工程中可能会出现由于内存不足、并发不足等问题导致的任务卡住、任务排队的问题,问题原因各不相同。本文将给出部分定时任务运行排队[阅读全文:]
摘要:1. 概述用户在开发完多个定时任务后,希望对存在业务上下游关联的定时任务设置调度策略,本文将详细介绍如何通过「定时调度」和「事件调度」保证多个定时任务的协调运行。背景场景调度配置方式A、B、C、D 四个[阅读全文:]
摘要:1. 概述1.1 版本FineDataLink 版本4.01.2 应用场景平台中的大部分的配置项都存储在 FineDB 中的 FINE_CONF_ENTITY 表中。部分配置项未提供[阅读全文:]
摘要:4.0.8 版本新增功能1)支持通过 Shell 脚本在 FineDataLink 中调用Kettle任务、调用Python计算任务,或者进行数据库备份还原等操作。详情参见:Shell脚本2)数据开发支[阅读全文:]
摘要:1. 概述1.1 应用场景某公司的闸机系统会按照人员编号、通行门禁除、通信时间3个字段,记录每一个人员,经过每一处门禁,具体经过的时间。希望可以将原始通行明细数据,汇总成按:每人每天一条汇总通行详情,且[阅读全文:]
摘要:[helpvideo]8602[/helpvideo]1. 概述1.1 版本FineDataLink 版本功能说明4.1.7.3-4.1.8.2发布后增加版本比对1.2 应用场景用户需要将定时任务的开发[阅读全文:]
摘要:数据同步配置界面空白问题描述:数据来源界面空白,如下图所示:解决方案:Chrome浏览器版本过低,或者使用的是IE或者其它浏览器。推荐使用最新版本的Chrome浏览器。MySQL 目标端数据同步报错:R[阅读全文:]
摘要:1. 概述1.1 版本FineDataLink版本功能变动4.1.11.1-4.2.0.1来源端为「SQL」配置项时,支持 Hive 数据源4.2.1.2来源端为「SQL」配置项时,支持 Gr[阅读全文:]
摘要:1. 概述1.1 版本FineDataLink版本功能变动4.0-4.0.201)默认传输加密算法类型由「对称加密」更改为「非对称加密」2)提供 transmission.asymmetric[阅读全文:]
摘要:1. 概述语法TODATE(参数1, [参数2])函数可以将各种日期形式的参数转换为日期类型。其他格式日期/数字/字符串转日期 返回值类型日期时间参数用法说明详情参见[阅读全文:]
摘要:1. 概述1.1 应用场景FR 通过任务名/任务ID运行定时任务的接口中,可设置延迟参数,在等待设置的 X 秒后可以返回任务运行状态。如下图所示:但某些定时任务运行时间较长且不稳定,当 FDL 执行到接[阅读全文:]
摘要:1. 概述1.1 版本FineDataLink版本功能变动4.1.11.1新增表事件调度表:fine_dp_exec_record_triggerfine_dp_schedulefine_dp_task[阅读全文:]
摘要:1. 概述1.1 版本FineDataLink 版本功能变动4.0.10-4.1.12.2支持「选表」和「通用查询」取数4.2.4.1在填写数据过滤条件时,所有条件符号( = > < 等)前[阅读全文:]
摘要:1. 概述1.1 版本FineDataLink 版本功能变动4.1.6.1用户可在 FDL 内进行SQL的编写/调试、查看新建表效果、删除表、清空表、复制表等操作4.1.8.2库表管理功能支持神通数据库[阅读全文:]
摘要:1. 概述1.1 版本FineDataLink 版本FineBI6.1 版本功能变动4.1.8.2-4.1.8.3BI6.1-4.1.9.1-4.1.10.3请参见文档:版本适配说明4.1.10.4 版[阅读全文:]
摘要:1. 概述1.1. 应用场景在进行 独立部署下读取FineBI公共数据、独立部署下定时任务结果输出至FineBI、数据集输出 等操作时,需要确保 FineDataLink 与 FineRepo[阅读全文:]
摘要:数据转换运行日志报错:超出内存限制问题描述:任务运行失败,报错超出内存限制。原因分析:数据开发所占用的内存资源超过工程设置的上限。解决方案:可以根据实际运行任务情况,参考 机器要求 [阅读全文:]
摘要:[helpvideo]8610[/helpvideo]1. 概述1.1 版本说明FineDataLink 版本功能变动4.0.14-4.0.24FineDataLink 服务器本地和 FTP/[阅读全文:]
摘要:1. 概述本文简单介绍 FineDataLink 服务器的各种注册方式以及如何选取合适的注册方式。2. 注册方式选取用户可以参考以下逻辑流程图,根据自身环境选取合适的注册方式。网络环境工程部署[阅读全文:]
摘要:适用对象本文仅用于指导非运维平台部署的工程注册。运维平台部署的FineDataLink工程,请通过运维平台进行注册。详情请参见:注册新项目1. 概述1.1 应用场景出于安全考虑,很多公司不能随便透露服务[阅读全文:]
摘要:1. 概述配置 星环 TRANSWARP INCEPTOR 数据源、Hive 数据源 时,存在设置项 HDFS 地址。如下图所示:HDFS 地址介绍:是 Hado[阅读全文:]
摘要:1. 概述1.1 应用场景客户有数据表是存储客户合同信息的,需要检测主键唯一性,且该主键是多字段的联合主键。1.2 实现思路使用「数据检测」功能,创建检测规则,选择表级规则,并设置检测对象为「过滤行统计[阅读全文:]
摘要:版本 FineDataLink 版本功能变动4.2.2.1支持 SelectDB 数据源,适配 FDL 功能:定时任务读取和写入管道任务写入数据服务库表管理/血缘分析4.2.3.1数据开发-定[阅读全文:]
摘要:1. 概述1.1 版本版本功能变动--4.0.14SystemConfig.driverUpload 参数默认值修改为 true4.1.5.1新增驱动加载顺序配置项4.1.12.3驱动管理按钮位置、样式[阅读全文:]
摘要:[helpvideo]8593[/helpvideo]1. 概述1.1 应用场景企业安全规范要求,不允许直连业务库,代码开发接口效率低,人工传输易出错。缺乏安全的数据共享机制,随着数据消费端增加,IT[阅读全文:]
摘要:1. 概述本文以 MySQL 数据同步为例,将 demotest 数据库中的「订单信息」、「库存信息」、「成本中心对照表」实时同步至 demo1 数据库中。2. 操作步骤2.1 准备工作需准备一个独立部[阅读全文:]
摘要:1. 概述1.1 版本FineDataLink 版本功能变动4.0.10-4.1.12.2支持「选表」取数算子名称修改为「SAP ERP输入」函数调用配置方式下,导出参数的显示内容,由「...」调整为「[阅读全文:]
摘要:1. 概述1.1 版本FineDataLink版本功能变动4.0.28数据发布 API 参数支持配置必填/非必填1.2 应用场景用户想要在发布 API 时,对 API 取数逻辑进行设置:未传指定参数,则[阅读全文:]
摘要:[helpvideo]8613[/helpvideo]1. 概述1.1 版本FineDataLink 版本功能变更4.1.0新增「上下合并」算子,可对多张表进行上下行合并,输出一张合并表4.1.6.1修[阅读全文:]