2024年
4.2.0
更新日志详情:4.2.0更新日志
4.2.0.2
发布日期:2024-11-21
1)Apache Impala 数据连接中新增设置项:「Kudu设置」。
配置后,定时任务和管道任务支持写入 Impala 数据库的 Kudu 表;数据服务支持发布 Kudu 数据;定时任务支持读取 Kudu 表。
2)定时任务支持读取 Elasticsearch 数据。
3)默认屏蔽应用数据平台数据源功能,用户若想使用,可联系技术支持;同时,对该功能做了一些优化:
数据预览支持预览表单最近 10 条数据,不支持自定义预览样本量。
「数据转换」节点中,支持使用「应用数据平台」数据源。
支持云端取数分页/优化手动终止逻辑。
4)定时任务中数据来源中配置方式选择「SQL」时,血缘分析功能支持 Hive 数据源。
5)Doris 2.1.6 以上版本,字段映射中可获取到字段注释。
4.2.0.1
发布日期:2024-11-14
1)lic 控制增加实时数据开发、数据管理治理模块。
2)FineDataLink 支持连接 openGauss,进行定时任务读写功能、库表管理功能。
3)数据开发-实时任务中提供数据分发功能,支持同时输出至多张表,用户可根据业务需要,将同一数据表中的不同字段处理后分别输出至多张表。
4)Amazon S3 数据连接中,统一用 S3 协议兼容目前已支持的全部文件存储系统。
数据开发-定时任务中可使用 Amazon S3 数据连接,在阿里云 OSS,华为云OBS,亚马逊 S3,MinIO 等兼容 S3 协议的对象存储中进行读取和写入。
5)事件调度、血缘分析功能中,前端将不显示「试用」字样。
4.1.14
更新日志详情:4.1.14更新日志
4.1.14.1
发布日期:2024-11-07
1)读取 BI 公共数据时,支持搜索目录和表、选字段、过滤数据行操作;选择数据表后,支持保留路径并显示。
2)支持修改ETL结果表的结构:
支持对目标表新建、删除字段、重命名字段。
支持修改目标表字段类型、长度精度。
支持为目标表配置非空、主键、注释。
3)MySQL、Oracle、SQLServer、PostgreSQL、Greenplum、Doris、StarRocks、YMatrix 数据连接中,新增设置项 SocketTimeout,配置该设置项后,将控制查询在一个合理的范围内,达到套接字超时时间后,SQL 语句会自动中断报错,避免出现无限等待的问题。
4)「简道云输出」算子中:
字段映射中可选子表单完整字段。
支持「清空目标表,再写入数据」的写入方式。
写入方式-更多配置中,支持设置数据提交人:data_creator。
5)「JSON 生成」算子中,支持设置分组字段,可按照分组字段合并JSON字段。
6)通用JDBC取数 时,支持选表方式。
7)全局参数调试值的长度,最大为 2000。
4.1.13
更新日志详情:4.1.13更新日志
4.1.13.3
发布日期:2024-10-24
1)新增「应用数据平台」数据连接,数据开发-定时任务中,使用「数据同步」节点可通过该数据连接从金蝶云星空、吉客云、美团智能版、聚水潭、旺店通(旗舰版)中取数。
注:该功能当前属于内测阶段,如需试用或者了解详细信息,请联系技术支持(技术支持联系方式:前往「服务」,选择「在线支持」、电话「400-811-8890」)。
2)数据开发-实时任务支持写入 Clickhouse 数据库。
3)「调度计划-定时调度」中引用调度日历时,若日历为空,可点击「立即创建」按钮跳转到调度日历创建页面,进行创
4)「JSON 解析」算子中,遇到控制字符时不报错,解析后就按照转义字符进行解析。
4.1.13.2
发布日期:2024-10-17
1)FDL 中支持配置 Amazon S3 数据源的数据连接。数据开发-定时任务中可使用该数据连接,在阿里云 OSS,亚马逊 S3,MinIO 中进行读取和写入。
2)数据开发-实时任务支持读取 MQTT 数据源。
3)数据开发-实时任务支持读取 IBM MQ 数据源。
4)DB表输入、数据同步、参数赋值、全局参数-赋值参数中,配置方式为「选表」时,支持选字段。
5)配置 配置Hadoop Hive数据源 的数据连接时,在「HDFS设置」中,支持配置高可用 HDFS 地址和 HDFS 用户。
6)Kafka 数据源支持 Kerberos 认证。
4.1.13.1
发布日期:2024-10-11
1)定时任务、管道任务中,目标表为自动建表时,将自动根据 MySQL 版本确定编码格式和行格式。
2)打开某个定时任务后,点击「调度计划>事件调度>查看按钮」,将跳转至「运维中心>定时任务>调度计划>事件调度」界面并打开该事件调度。
3)FINE_CONF_ENTITY 中新增参数 PythonConfig.metaFromMock,可控制 Python 算子的运行逻辑。
4.1.12
更新日志详情:4.1.12 更新日志
4.1.12.3
发布日期:2024-09-26
1)数据连接优化:
数据连接可放在文件夹中进行管理。
支持通过数据连接名称、数据源类型、创建人搜索已配置好的数据连接。
新建数据连接时,数据源分类优化,可通过数据源分类、支持形式、适配模块筛选数据源类型。
新建数据源时,鼠标悬浮在数据库右侧的问号标识上,可查看该数据源适配的功能模块。
2)定时任务中目标表若选择自动建表,任务运行后,仍为自动建表。
3)选表 时的树结构、管道任务中表字段映射中的树结构、库表管理模块左侧的树结构,视觉进行了优化。
4.1.12.2
发布日期:2024-09-12
1)定时任务调用存储过程优化:
DB2、SAP HANA 支持使用「SQL脚本」调用无返回值的存储过程。
IBM DB2 数据同步/数据转换/参数赋值:支持以游标的形式返回查询数据集。
SAP HANA 数据同步/数据转换/参数赋值:支持返回存储过程单个查询结果集作为表输入,不支持返回游标结果集。
2)定时任务 SAP RFC 取数优化
「SAP RFC 输入」算子名称改为「SAP ERP输入」。
取数时新增「选表」取数方式。
4.1.12.1
发布日期:2024-09-05
未发布新功能,只修复了客户BUG,详情请参见 4.1.12 的更新日志。
4.1.11
更新日志详情:4.1.11 更新日志
4.1.11.5
发布日期:2024-08-29
优化:
定时任务和数据服务配置方式选择「选表」时,若选择了指定数据表,界面展示表所在数据库或者模式。
定时任务当数据来源的配置方式为「选表」时,若来源表支持主键,自动建表时字段映射默认选中来源表的主键和Not Null。
管道任务自动建表时从源表获取到表描述后自动填充到目标端。
4.1.11.4
发布日期:2024-08-22
新增:
定时任务支持读取 FineLogDB(FDL) 数据。
定时任务支持写入MaxCompute。
血缘分析支持Greenplum。
支持实时任务。
4.1.11.3
发布日期:2024-08-15
新增:
定时任务支持写入Elasticsearch。
数据管道写入&定时任务读写&数据服务读支持 PolarDB PostgreSQL。
优化:
新增公式列优化&补充更多公式函数。
4.1.11.2
发布日期:2024-08-08
优化:
定时任务调用存储过程支持vertica和高斯200。
定时任务SQL脚本支持执行单条SQL和多条SQL。
新增:
支持 YMatrix 数据源。
4.1.11.1
发布日期:2024-08-01
优化:
事件调度判断条件优化:支持设置当前任务执行的条件,并配置上下游任务组;支持重试当前任务以及下游任务,根据「事件调度」中配置的任务关系&条件内容,判断下游任务是否触发。
Greenplum 使用DB输出(事务)输出算子时,如果去向表有主键且写入方式为冲突覆盖,并行装载阶段速度会大幅上升。
新增:
定时任务&管道任务&数据服务任务中查看数据表、API(数据服务)、定时任务节点、管道任务的血缘关系。
4.1.10
更新日志详情:4.1.10更新日志
4.1.10.4
发布日期:2024-07-24
优化:
数据管道来源端支持 MySQL 5.5 版本。
FDL 输出到 BI 「公共数据」指定目录下的 ETL 结果表,支持拉起子表的更新。
fine_dp_work_last_record 增加 lastRecord 字段。
4.1.10.3
发布日期:2024-07-18
优化:
更新默认的登录页背景图片。
4.1.10.2
发布日期:2024-07-11
优化:
循环容器支持无限制循环次数。
DB输出(事务)算子优化。
4.1.10.1
优化:
StarRocks、Doris 作为目标端时,支持 DDL。
StarRocks、Doris 作为目标端&目标表的类型为自动建表时,自动将来源端主键标记为自动建表的主键。
写入 2.0 及以上版本的 DorisOR写入 3.0 及以上版本的 StarRocks,若来源端数据存在分隔符,可正常写入。
写入 2.0 版本以下的 DorisOR写入 3.0 版本以下的 StarRocks,若来源端数据存在分隔符,写入将报错。用户可以先检查源端是否同步了二进制字段,将二进制字段取消同步,再使用公式将分隔符进行替换(例如替换为空格)。
4.1.9
更新日志详情:4.1.9更新日志
4.1.9.4
发布日期:2024-06-27
此版本主要修复了一些bug。
4.1.9.3
发布日期:2024-06-21
新增:回收站,支持对「数据开发」、「数据管道」、「数据服务」中已经删除的任务进行资源还原、彻底删除等。
新增:定时任务和管道任务支持自定义字段映射规则,统一对多个使用同一数据连接的定时任务、管道任务自定义字段类型映射规则。
新增:支持对单个 kettle 任务的便捷调用。支持展示 kettle 任务运行日志。
新增:分区读写支持 PostgreSQL、Greenplum、Gauss200。
4.1.9.2
发布日期:2024-06-14
优化:库表管理需要注册才能使用,功能进行优化。
4.1.9.1
发布日期:2024-06-06
新增:定时任务中 SQL 输入框支持联想显示参数。
新增:数据管道支持将数据实时同步写入 FineBI 公共数据。
优化:数据同步写入方式文案统一。
优化:定时任务编辑锁支持 FineDB 配置项关闭
优化:FineDB 增加配置项支持关闭、开启此编辑锁功能。
优化:定时任务版本管理上限目前最多是 15 个版本,FineDB 需要支持可配置该数值,最大限制为小于等于 50 个。
4.1.8
更新日志详情:4.1.8更新日志
4.1.8.3
发布日期:2024-05-30
新增:定时任务为内置参数加上类型。
新增:定时任务支持读取 Impala 3.4、Impala 4.1;数据服务适配 Impala 3.4、Impala 4.1。
4.1.8.2
发布日期:2024-05-23
新增:发布的定时任务内容可以进行版本内容查看详情、回滚操作;各个版本之间、开发环境的任务在发布时可以和生产环境内容进行版本比对,比对内容包括:参数列表、任务控制、画布节点
新增:定时任务支持读取和写入神通数据库;管道任务支持写入神通数据库;数据服务支持读取神通数据库
优化:DB表输出支持来源字段结构变化后提示更新字段映射
4.1.8.1
发布日期:2024-05-16
新增:定时任务全局参数提供动态参数
新增:管道任务中,用户可将多张结构相同的源表数据同步到一张目标表中,取所有源表字段的交集作为分组表的字段
新增:定时任务的任务管理中,支持批量删除定时任务
4.1.7
更新日志详情:4.1.7更新日志
4.1.7.3
发布日期:2024-04-30
新增:定时任务区分开发模式和生产模式
新增:定时任务运行记录存储到logdb&支持清理
新增:API输入、输出支持自定义响应解析的编码方式
新增:管道任务支持写入HANA
优化:定时任务JSON生成\SparkSQL+导入导出视觉优化
4.1.7.2
发布日期:2024-04-18
新增:支持「上传更新」,即前端手动上传 JAR 包进行更新升级,解决每个月发布的中间版本不能提供一键升级的问题。
优化:Doris、StarRocks 支持同步时标记时间戳功能,同时优化源端逻辑删除功能。
4.1.7.1
发布日期:2024-04-12
新增:定时任务编辑界面优化,支持导航器和搜索功能。
4.1.6
更新日志详情:4.1.6更新日志
4.1.6.5
发布日期:2024-04-04
新增:新建定时任务时,可为定时任务添加任务描述;定时任务保存后,可修改描述
新增:定时任务/管道任务/API及所在的文件夹,支持拖拽排序
4.1.6.4
发布日期:2024-03-29
新增:定时任务支持写入MongoDB
新增:如果用户有某应用的管理权限,可以点击「导出API文档」按钮,导出该应用下所有上线API的说明文档,文档格式为 word
优化:API 配置时,「发布内容及参数」步骤中,增加返回值配置;API 配置后,API 详情页中,展示返回值
4.1.6.3
发布日期:2024-03-22
新增:定时任务运行后,在编辑页面可看到节点运行状态
新增:定时任务、管道任务、API任务、数据服务应用禁止被多人同时编辑
新增:定时任务支持读取 Gbase 8s
新增:数据服务支持 GBase8s、KingbaseES、ClickHouse、HANA、达梦、Vertica 数据源
4.1.6.2
发布日期:2024-03-14
新增:支持禁用数据转换内的算子
优化:JSON解析算子优化:
JSON解析支持同时解析多个字段,减少「简道云输入」多个复杂字段的解析成本
所有生成的 JsonPath 默认从根节点开始,生成完整的绝对路径,用户可手动修改
当解析的字段存在多层且有同名字段时,会自动给重名字段增加数字后缀
支持同时解析一个JSON源字段的数组部分和非数组部分
在「选择JSON节点」时,用户可以通过粘贴JSON文本的方式修改选择节点的内容,以防止出现上游有多行 JSON 文本流进时,因为第一行的 JSON 属性较少,导致其他json属性无法直接选择的情况
使用两个「JSON解析」算子,分别解析两个不同字段,解析后的字段存在重名,重名字段名称后会自动递增数字
4.1.6.1
发布日期:2024-03-07
新增:新增「库表管理」功能,用户可在 FDL 内进行SQL的编写/调试、查看新建表效果、删除表、清空表、复制表等操作
新增:FDL 工程登录页可显示备案信息
新增:管道任务支持写入达梦数据库
优化:上下合并算子中,修改合并结果字段名称后,若再修改合并的数据表字段,不影响合并结果字段名
优化:「分组汇总」算子内支持切换维度和指标;支持拖拽移除字段;将数值字段拖入「维度分组」并选择「区间分组」后,需要保证分组区间没有重合,且不支持设置数值区间属于无限制
优化:在「参数赋值」节点中批量操作时,优化界面上按钮名称和备注,使其更好理解
优化:对于「参数赋值」「条件分支」「虚拟节点」这些不支持单独运行的节点,当其下游节点设置为「禁用」,则该节点不支持设置「运行节点及下游」
4.1.5
更新日志详情:4.1.5更新日志
4.1.5.5
发布日期:2024-02-29
新增:定时任务支持文件原样迁移
新增:定时任务中支持读取和写入 SeaboxMPP 数据库
优化:定时任务字段设置交互优化:将「操作记录」与「删除」按钮位置交换
4.1.5.4
发布日期:2024-02-02
新增:简道云私有部署支持使用TLS/SSL认证
新增:当进行定时任务开发时,能够提示来源端数据表的 DDL 变化,并且将变化通知给指定用户
新增:定时任务&管道任务中支持同步表备注、字段备注;数据服务中,「发布内容及参数」步骤中,配置方式选择「选表」时,显示表备注
优化:简道云输出算子,支持使用除「选择数据、手写签名、图片、附件」外所有指定表单的控件类型
4.1.5.3
发布日期:2024-01-25
新增:定时任务中,新增「连线吸附」开关,若开启,节点添加到两个节点之间时,连线支持自动吸附
新增:支持连接 SAP Sybase ASE 数据源进行定时任务读取
优化:资源迁移中导入导出定时任务时,支持同时导入导出调度计划;支持 BI 与 FDL 集成的工程导入/导出定时任务和调度计划
优化:数据比对算子中,用户可一键互换左右表位置;「比对结果」Tab 中,点击右上角的「比对详情」按钮,可看到左右表的具体比对信息
优化:字段设置算子中,支持批量删除/还原字段
4.1.5.2
发布日期:2024-01-19
优化:管道任务的字段映射中:支持筛选表建立方式:已存在表、自动建表;支持批量修改表建立方式
优化:定时任务的字段映射中:可在目标表字段中筛选出有异常(例如字段名称为空、类型为空等)的字段
4.1.5.1
发布日期:2024-01-12
新增:SparkSQL 算子支持的函数中,新增编码、加密、解密、签名函数
4.1.4
发布日期:2024-01-09;更新日志:4.1.4 更新日志
新增:管道任务支持DB2读取数据
新增:管道任务支持SAP Hana读取
新增:定时任务中,支持设置节点时,选择运行到此处,便于查看上游配置结果和调试
新增:产品各模块内存资源和并发控制
新增:定时任务自定义调度日历&优化体验
优化:文件读取通用优化&读取自定义文件类型:
支持读取 json/xml 文件
文件来源为「服务器本地目录」且读取单个文件时,「文件地址」处支持上传重名文件
文件类型选择 CSV 时,支持读取类 csv 文件类型,例如tsv、log、dt(csv 和 xml 混合格式)/dbf 等
数据输出为 CSV 格式时,输出的文件名后缀支持自定义,例如:txt、log、tsv等
优化:提供定时\管道\API的批量操作:
定时任务运维-运行记录中,支持批量终止定时任务;支持批量删除运行记录
定时任务运维-运行管理中,支持批量设置容错机制、任务属性
定时任务运维-调度计划中,支持批量开启/关闭定时调度、事件调度
管道任务运维中,管道任务支持批量启动/批量暂停
服务运维,支持批量上线/下线 API
2023
4.1.3
发布日期:2023-12-22;更新日志:4.1.3更新日志
新增:定时任务支持调用数据库存储过程
新增:定时任务支持直接选表功能&并发读取功能
新增:数据写入Hive、星环 TRANSWARP INCEPTOR数据库时,支持创建、写入分区表
新增:支持读取 PostgreSQL 数据库的分区表
新增:支持将BI公共数据作为数据连接
新增:Python 脚本中,可指定运行脚本时使用的命令
新增:StarRocks 数据源作为写入端支持批量删除数据,大大提升同步效率
新增:管道任务&定时任务中,Doris、StarRocks 数据源作为写入端,支持自动建表
新增:API输入自带分页&API输出支持多行数据流
新增:数据服务支持 DB2 数据源
优化:管道任务写入端主动检测 Kafka 连接是否异常,若异常,则日志提示并终止任务
优化:管道&定时任务中字段映射优化
4.1.2
发布日期:2023-12-04;更新日志:4.1.2更新日志
新增:数据转换新增分组汇总算子
新增:新增「字段拆行」/「字段拆列」算子
新增:新增通用JDBC取数插件,可使用FineDataLink支持的数据源以外的其他的 JDBC 类型数据库作为 FineDataLink 中的定时任务数据源进行 SQL 取数和执行 SQL等操作
新增:数据管道支持多租户架构的Oracle作为数据来源
新增:管道任务支持查看和筛选脏数据
新增:数据服务API支持发布Starrocks、GaussDB、MaxCompute数据源
优化::定时任务重试支持设置指定业务日期
优化:优化内置参数${cyctime}的取值逻辑
优化:定时任务支持筛选脏数据、支持显示脏数据错误堆栈
优化:优化定时任务重试的逻辑
优化:优化 Greenplum 数据源写入;优化 GaussDB 200数据源写入
优化:优化单个管道任务管理
4.1.1
发布日期:2023-11-17;更新日志:4.1.1更新日志
新增:支持设置业务日志-诊断日志的级别
新增:管道任务Oracle数据源支持对接XStream
新增:支持 SQL Server 作为来源端的 DDL
优化:打开多个定时任务时,支持左右拖拽更换打开顺序
优化:支持手动/自动清理任务运行记录
优化:依赖任务/调用任务中屏蔽成环任务
优化:配置私有云数据连接时,暂不需要 SSL 证书
优化:过滤/条件分支里的判断逻辑统一和优化
优化:管道任务支持无主键表的同步
4.1
发布日期:2023-10-31;更新日志:4.1更新日志
新增:新增和优化注册方式
新增:定时任务新增内置参数:${workname.jobname.opresult}
新增:定时任务数据转换支持上下合并
新增:数据服务定义API时支持绑定应用和测试
新增:数据服务支持指定多级API路径
新增:数据服务API支持发布(Doris\Impala\TiDB\星环)数据源
优化:Shell脚本、Python脚本Bat脚本中「脚本参数」下拉框中显示已配置参数,包括任务内参数、全局参数
优化:定时任务连线交互优化
优化:数据服务调用API报错优化
4.0.30
发布日期:2023-10-13;更新日志:4.0.30更新日志
新增:数据支持输出为 Excel 形式
新增:定时任务中支持设置全局参数
新增:支持设置定时任务的调度依赖和优先级
新增:支持可视化展示定时任务的调用关系/依赖关系
新增:定时任务&管道任务&API任务支持导入导出
新增:管道任务支持增量同步
新增:数据管道和数据服务适配集群
新增:数据服务支持按照应用维度查看调用记录
屏蔽:4.0.30 版本,暂时屏蔽 独立部署下定时任务结果输出至FineBI 功能
新增:FDL 适配高版本 Kafka
4.0.29
发布日期:2023-09-11;更新日志:4.0.29更新日志
新增:支持调用定时任务相关接口
新增:定时任务支持Bat脚本
新增:定时任务节点支持禁用
新增:定时任务支持脏数据配置
新增:定时任务提供Python算子
新增:支持将 BI SQL 数据集中的参数作为 API 请求参数;BI SQL 数据集参数支持在定时任务中使用
新增:数据服务发布API支持摘要认证方式
新增:管道任务DDL同步支持PostgreSQL数据源
新增:管道任务支持以文件夹进行权限管理
优化:管道任务日志读取权限检测和优化主键冲突策略
优化:管道任务支持复制到指定文件夹
优化:管道任务支持以文件夹进行权限管理
优化:定时任务节点样式优化
优化:当数据通过COPY装载失败时,重新使用JDBC装载,重新装载再失败时,识别为脏数据,并正常记录,以保证数据正常
优化:对管道任务Oracle数据源下,BLOB、CLOB、NCLOB、LONG、RAW、LONGRAW、BFILE 字段的同步做自动屏蔽处理,任务将不再会报错
优化:定时任务运维中,可以筛选最近一次/全量记录或者自定义周期内的运行记录
4.0.28
发布日期:2023-08-25;更新日志:4.0.28更新日志
新增:新增「Python脚本」节点,支持直接调用 Python 脚本
新增:定时任务支持读取和写入 TiDB 数据库、Amazon Redshift 数据库
新增:管道任务支持写入 Clickhouse、TiDB、Amazon Redshift、SeaboxMPP 数据库
新增:数据服务可通过应用管理API
新增:数据发布 API 支持 GET 请求方式和更多 BODY 格式,详情请参见:使用数据服务发布的API(GET 请求)、(POST x-www-form-urlencoded请求)
新增:数据同步节点 新增「基于标识字段,追加/更新/删除数据」的写入方式,帮助用户灵活实现数据的增删改;调整「写入方式」和「字段映射」的顺序,更加符合实际业务逻辑
优化:消息通知 节点新增飞书渠道
优化:「任务控制>结果通知」中,新增钉钉、飞书、企业微信通知渠道;通知内容展示具体节点和日志报错;短信/邮件/平台渠道,可基于平台体系配置通知对象
优化:「管道控制>结果通知」中,新增钉钉群机器人、飞书群机器人、企业微信群机器人通知渠道;短信/邮件/平台渠道,可基于平台体系配置通知对象
优化:数据发布API查询功能优化。详情请参见:发布API-多值查询、发布API-查询NULL值数据、发布API-忽略参数查询条件
4.0.27
发布日期:2023-08-04;更新日志:4.0.27更新日志
新增:FineBI「公共数据」支持作为数据库来源端和发布为API
新增:独立部署工程支持将数据输出至 FineBI 公共数据
新增:定时任务支持批量配置和管理调度
新增:独立部署工程支持集群
新增:管道任务支持快速选表
优化:管道任务交互优化和文件夹管理
优化:管道脏数据查看和处理&日志整体优化
4.0.26
发布日期:2023-07-14;更新日志:4.0.26更新日志
新增:FDL 支持在 WebSphere 和 Weblogic 中部署
新增:数据支持输出为 CSV 文件形式
新增:定时任务支持读取 MaxCompute 数据
新增:定时任务「调度配置」中,新增「超时限制」和「失败重试」功能
新增:管道任务新增「失败重试」功能,可设置重跑次数和间隔时间
新增:数据服务支持权限和注册控制
新增:API 任务和定时任务支持复制
4.0.24
发布日期:2023-05-25;更新日志:4.0.24更新日志
新增:支持使用 StarRocks 数据库作为「数据开发」定时任务的读写端;支持使用 StarRocks 数据库作为「数据管道」管道任务的写入端
新增:支持使用星环 TRANSWARP INCEPTOR 数据库作为「数据开发」定时任务的读写端
优化:文件输入优化:
支持批量读取同格式的Excel和CSV文件
支持 Excel 和 CSV 文件自定义输出字段类型
支持CSV文件跳过前N行取数
支持TXT文件读取,选择 CSV 类型支持 TXT 文件读取
支持忽略后缀名大小写读取,不需要手动修改文件后缀即可自动识别读取,更加便捷
优化:新建服务器本地数据连接前,文件存放目录由%FDL%/webroot/WEB-INF/local_files/更新为%FDL%/webroot/WEB-INF/assets/local_files,需要在%FDL%/webroot/WEB-INF/assets/local_files下新建文件夹进行文件的分区或上传文件
4.0.23
发布日期:2023-05-11;更新日志:4.0.23更新日志
新增:定时任务的读写支持 Doris 数据源
新增:「数据转换」节点中新增「新增计算列」算子,可利用原有字段通过引用或计算获得一个新的字段
新增:数据管道支持 Doris 作为写入数据源
新增:API 配置中的 body 请求内容支持使用 Content-Type 为 form-data 和 x-www-form-urlencoded 请求格式,允许添加多行、每行均为自定义输入、支持引用参数
其中,API 输出、数据同步-API、API输入、参数赋值的API输入 中都做了上述修改
新增:数据管道支持 Doris 作为写入数据源
优化:对于无法设置物理主键的数据表,数据管道支持设置逻辑主键
4.0.22
发布日期:2023-04-20;更新日志:4.0.22更新日志
优化:定时任务运行日志由原来的 http 请求获取改为 websocket 推送的方式,提高了日志推送效率
优化:登录页风格优化
4.0.21
发布日期:2023-04-07;更新日志:4.0.21更新日志
新增:独立部署的 FineDataLink ,资源迁移支持次管可用
新增:定时模块中,自动建表支持设定主键
新增:DB表输出算子 的数据去向 Tab、数据同步节点 的数据去向 Tab、数据管道 的选择去向步骤中,若数据源有模式,支持将数据输出到指定模式的某张表中
优化:SQL 编辑器使用体验优化
优化:数据源类型、数据连接使用体验优化
优化:Oracle数据源作为来源端,适配同步源表结构变化
4.0.20.1
发布日期:2023-03-23;更新日志:4.0.20.1更新日志
新增:支持实时同步读取 Kafka 数据,转换成 JSON 格式数据并将其解析成二维表,实时同步至指定数据库
新增:数据管道任务目标端同步源表结构变化支持:gaussDB200、SQLServer、Oracle、PostgreSQL、Greenplum、Greenplum(并行装载)数据库
新增:新增数据服务功能,支持将处理好的数据库中的数据通过 API 形式发布出去,供其他工具使用
4.0.20
发布日期:2023-03-16;更新日志:4.0.20更新日志
新增:支持新建独享版简道云的数据连接,可通过 FDL 从独享版简道云中取数据,或者写入数据
新增:用户有多套业务系统,在其他系统维护好的主数据可以通过「简道云输出」算子同步到简道云表单,供简道云使用
新增:「数据同步」节点的数据去向 Tab 中,数据源类型支持简道云,可通过「数据同步」节点实现简道云表单间的数据迁移
新增:「数据转换」节点中,用户可根据业务需要,对不同字段给予加工处理后再流向不同表
新增:用户可以定时从 Vertica 数据库取数或往 Vertica 数据库写数
4.0.19
发布日期:2023-03-02;更新日志:4.0.19更新日志
新增:新增「数据过滤」功能,可进行数据过滤处理
新增:新增「JSON 生成」功能,生成 JSON 格式数据
新增:新增「API 输出」功能,通过 API 写入满足应用集成场景
新增:FineDataLink 支持在国产化操作系统中部署工程
4.0.18
发布日期:2023-02-16;更新日志:4.0.18更新日志
新增:新增数据比对算子
新增:数据写入方式新增插入/更新/删除优化
新增:实时同步支持Oracle18c、19c、Oracle RAC集群读取
新增:管道任务支持批量设置表名前后缀
优化:「管道任务」、「数据同步」、「数据转换」等任务进行「自动建表」同步数据时,表名和字段名支持大小写转换,表名、字段名支持大小写自动纠正
优化:定时任务运行记录支持查看节点运行状态
优化:集成部署 客户若未购买 FDL ,集成部署后的工程将屏蔽 FDL 功能入口,避免给客户带来困扰
4.0.17
发布日期:2023-01-12;更新日志:4.0.17更新日志
新增:数据管道任务支持MySQL 数据库同步源表结构变化
优化:API 加密认证取数优化
优化:数据开发校验数据量优化
优化:任务运维管理优化
2022
版本 | 发布日期 | 更新日志 |
---|---|---|
4.0.16 | 2022-12-29 | 4.0.16更新日志 |
4.0.15 | 2022-12-15 | 4.0.15更新日志 |
4.0.14 | 2022-12-01 | 4.0.14更新日志 |
4.0.13 | 2022-11-17 | 4.0.13更新日志 |
4.0.12 | 2022-11-03 | 4.0.12更新日志 |
4.0.11 | 2022-10-20 | 4.0.11更新日志 |
4.0.10 | 2022-09-29 | 4.0.10更新日志 |
4.0.9 | 2022-09-20 | 4.0.9更新日志 |
4.0.8 | 2022-09-02 | 4.0.8 更新日志 |
4.0.7 | - | 4.0.7更新日志 |
4.0.6 | - | 4.0.6更新日志 |
4.0.5 | - | 4.0.5更新日志 |
4.0.4 | - | 4.0.4更新日志 |
4.0.3 | - | 4.0.3更新日志 |
4.0.2 | - | 4.0.2更新日志 |
4.0.1 | - | 4.0.1更新日志 |
4.0.1之前 | - | 4.0.1版本之前更新日志 |