兼容说明
新增功能
新增 Python 脚本节点
用户的许多数据处理是通过 Python 脚本实现的,希望 FineDataLink 支持调用 Python 脚本。
新增「Python脚本」节点,支持直接调用 Python 脚本。如下图所示:
详情请参见:Python脚本
数据服务通过应用管理 API
1)开发与管理「数据发布 API」时,需要对多个 API 的调用方进行分组管控,如分组授权、授权限时、分组限频、分组监控等。
FineDataLink 支持将创建好的 API 绑定至对应的应用中,相同应用中的 API 拥有相同的鉴权和访问根路径,也就是通过应用来对发布的 API 进行批量的管理。
应用与API是多对多的对应关系,同一个 API 可以存在于多个应用中。同一个应用中也可以有多个 API。
详情请参见:绑定API至应用
2)超级管理员可以给予某个对象数据服务「应用」的授权权限,使该对象将成为一个次级管理员。
详情请参见:数据服务应用管理授权权限
3)次级管理员可以给下级成员分配「应用」的管理权限,使他下级的成员可以查看和编辑应用。
详情请参见:数据服务应用管理权限
4)重新调整数据服务在未注册和注册到期时的功能限制,详情请参见:未注册和注册到期的影响
5)调整数据服务注册功能点说明,详情请参见:功能点介绍
数据服务支持GET请求方式和更多Body格式
1)用户想通过简道云前端点击事件调用数据服务发布的 API ,但简道云的参数传递只支持默认的单层传递,不满足数据服务请求 API 时的嵌套参数格式,所以无法实现。
本版本数据发布 API 支持 GET 请求方式,可直接拼参数实现上述场景。详情请参见:使用数据服务发布的API(GET 请求)
2)数据发布 API 的 POST 请求方式,额外支持 x-www-form-urlencoded 格式。详情请参见:使用数据服务发布的API(POST x-www-form-urlencoded请求)
定时任务新增可读取/写入数据库
详情请参见:FineDataLink支持的数据源
1)定时任务支持读取和写入 TiDB 数据库。
2)定时任务支持读取和写入 Amazon Redshift。
管道任务新增可读取/写入数据库
详情请参见:FineDataLink支持的数据源
1)管道任务支持 Clickhouse 作为写入端。
2)管道任务支持写入至 TiDB 数据库。
3)管道任务支持写入至Amazon Redshift。
4)管道任务支持写入至 SeaboxMPP 数据库。
优化功能
优化数据服务查询功能
优化前:
4.0.26 正式发布的数据服务功能,提供了基于参数必填、带有防注入处理的静态 SQL 查询功能,以支撑 API 的开发。在用户实际使用过程中,遇到一些场景我们无法满足:
1)例如年级的成绩表中包含班级、学生姓名、学生年龄、学生学号、各学科成绩等字段,用户在做接口是对每一个字段或者大部分字段做了对应的参数,对于这些参数,用户无法多选。
2)用户想要查询取出发布的 API 中为 NULL 的数据,同时也能正常查询其他数据,优化前不支持这一需求。
3)用户想要设置在未传指定参数时,省略此参数对应的查询条件。即实现想查询全部数据时,不传对应参数。要查询其他非空值数据时,正常传参,优化前不支持这一需求。
4)数据发布 API 的 POST 请求方式,不支持 x-www-form-urlencoded 格式。
优化后:
1)数据发布 API 支持设置 SQL 防注入,以便使用 IN 语法实现多值查询。
详情请参见:发布API-多值查询
2)数据发布 API 参数支持传入 NULL 值。
详情请参见:发布API-查询NULL值数据
3)数据发布 API 参数支持配置必填 / 非必填。
详情请参见:发布API-忽略参数查询条件
消息通知节点新增飞书渠道
优化前:
1)用户希望将定时任务执行结果通过飞书的形式通知给指定用户,无法实现。
2)用户的有些任务需要通知很多人,选择邮件/短信方式通知时,需要一个个输入邮箱地址/手机号,非常麻烦。
优化后:
详情请参见:消息通知
1)「消息通知」节点可将任务调度结果以飞书应用推送/飞书群机器人的形式通知给指定用户。
2)短信/邮件通知渠道:基于平台体系配置通知对象,通知对象可选择平台用户、部门、角色,三者取并集。
优化调度配置-结果通知
优化前:
1)调度配置-结果通知中通知渠道过少,不能满足用户企微/钉钉/飞书等聊天客户端的通知,导致客户对失败的任务不能及时通知到和修改。
2)任务失败的通知内容较单薄。
3)用户的有些任务需要通知很多人,选择邮件/短信方式通知时,需要一个个输入邮箱地址/手机号,非常麻烦。
优化后:
详情请参见:定时任务调度配置
1)调度配置-结果通知中,新增钉钉、飞书、企业微信通知渠道。如下图所示:
2)通知内容展示具体节点和日志报错。
3)短信/邮件/平台渠道:基于平台体系配置通知对象,通知对象可选择平台用户、部门、角色,三者取并集。
优化管道控制-结果通知
优化前:
1)管道控制-结果通知中通知渠道过少,不能满足用户企微/钉钉/飞书等聊天客户端的通知,导致客户对失败的任务不能及时通知到和修改。
2)一些管道任务需要通知很多人,选择邮件/短信方式通知时,需要一个个输入邮箱地址/手机号,非常麻烦。
优化后:
详情请参见:配置管道任务-管道控制
1)新增钉钉群机器人、飞书群机器人、企业微信群机器人通知渠道。
2)短信/邮件/平台渠道:基于平台体系配置通知对象,通知对象可选择平台用户、部门、角色,三者取并集。
追加/更新/删除数据场景功能优化
优化前:
1)目前用户要想实现数据的增删改操作,需要使用「左右表比对」+「设置逻辑主键」,实际场景中:
用户的目标表没有主键,希望根据多个字段比对,目标表中有,就不写入,没有就写入。
用户实际场景中没有目标表,需要先用数据同步创建一个目标表,再按照「数据比对」+「DB表输出」的方式进行数据更新,觉得过程有些繁琐。
2)不支持批量选择比对字段,一个个选有些麻烦。
3)「DB表输出」需要手动输入标识值,用户使用时往往会忽略这个。
4)「写入方式」环节其实依赖映射过程中设定的主键、字段映射关系,例如设定主键冲突策略其实需要先判断目标表是否有主键,所以目前「字段映射\设置主键」和「定义写入方式」不符合用户的实际使用流程。
优化后:
1)数据同步节点、DB表输出算子中,写入方式支持三种:直接将数据写入目标表、清空目标表,再写入数据、基于标识字段,追加/更新/删除数据;数据同步节点也可实现数据的增删改操作。
上述三种写入方式,「简道云输出」算子不支持清空目标表,再写入数据的写入方式。
详情请参见:数据同步节点
2)数据比对节点支持多选比对字段;当「数据比对」算子连接的比对表算子类型为 简道云输入 时,数据比对算子中才显示「比对结果表字段」设置,避免造成误解。详情请参见:数据比对功能说明
3)写入方式选择「基于标识字段,追加/更新/删除数据」,若使用了「数据比对」算子,则自动读取 fdl_comparison_type 作为标识字段,且自动读取标识字段的值作为标识值。
4)数据同步节点、DB表输出算子、简道云输出算子中,调整「写入方式」和「字段映射」的顺序,更符合用户实际使用流程。如下图所示:
修复BUG
本节中附上了已修复的 BUG 编号,若客户对某个 BUG 有问题可把对应编号发给技术支持进行解答(技术支持联系方式:前往「服务」,选择「在线支持」、电话「400-811-8890」)。
1)FDL-6280 数据过滤算子,过滤条件设置字段为空时,可以过滤出空格数据。
2)FDL-3600 来源服务器本地目录的 Excel 文件有 4w 多行,去向设置为清空写入,任务执行成功仅读取写入了 3w 多行。此版本已修复。
3)FDL-7452 Oracle 数据库 varchar 类型的字段同步到 PostgreSQL 数据库 uuid 类型的字段时,报错cannot cast type bytea to uuid。此版本已修复,适配 uuid 类型的字段。
4)FDL-7168 「循环容器」内的「数据转换」算子前端获取不到 loopTimes 参数,此版本已修复。
5)FDL-7189 登录FDL后打开任务1,修改任务且有改动,关闭点击不保存;再次打开同一任务默认有改动的标识。 此版本已修复。
6)FDL-7076 Oracle 数据库查询正常,但是在 FDL 里面查询报错Numeric Overflow,任务执行失败。原因为 number 类型的字段导致的报错。此版本已修复。
7)FDL-7196 新版本的「数据关联」算子在数据预览时标题没有冻结显示在首行,影响数据查看。此版本已修复。
8)FDL-6955 数据预览时,页脚没有固定在底部,标题行没有冻结在顶部。此版本已修复。
9)FDL-7367 4.0.27.1 版本资源迁移后,点击超时重置和结果通知后,页面变为空白。此版本已修复。
10)FDL-7221 资源迁移导入后权限管理定时任务报错:获取任务列表出错。此版本已修复。
11)FDL-5620 「新增计算列」公式显示的字体与「DB表输入」SQL显示的不一致。此版本已修复。
12)FDL-7104 新建定时任务,拖入「简道云输入」算子,选择数据连接后,FDL 前端页面变成空白;编辑历史任务,点击「简道云输入」算子 FDL 前端页面变成空白。此版本已修复。
13)FDL-6339 数据服务文件夹名称含有/会导致 api 任务存储的路径含有//,导致 api 接口在前端不显示。此版本已修复。
14)FDL-4990 在数据服务中发布 API 时,SQL 语句内包含参数,参数在引号内,实际执行报错但预览成功。此版本已修复。
15)FDL-7099 打开管道任务报错,toast 提示获取管道任务配置失败。此版本已修复。
16)FDL-7435 参数赋值+循环容器场景中,参数赋值个数是 144 个,循环容器前端显示执行了 200+ 次,实际通过消息通知查看次数只执行到了 20 多次。此版本已修复。
17)FDL-7101 升级到 4.0.27 版本之后,管道任务报错:获取任务配置失败。此版本已修复。
18)FDL-7406 4.0.27.1升级4.0.27.2,手动更换jar包升级,但更换jar后FDL起不来,日志报错java.lang.IllegalStateException: Duplicate key SUCCESS。此版本已修复。
19)FDL-6541 预览时数据量很大,需要划到最下面才能看到横向滚动条,很不方便 。此版本已修复。