新增功能
数据开发
1)「数据转换」节点中新增「新增计算列」算子,支持对常量、参数和其他字段进行公式计算或逻辑映射,将结果放到新的一列,参与后续运算或进行输出。
详情请参见:新增计算列
2)定时任务的读写支持 Doris 数据源。具体请参见:FineDataLink支持的数据源
3)API 配置中的 body 请求内容支持使用 Content-Type 为 form-data 和 x-www-form-urlencoded 请求格式,允许添加多行、每行均为自定义输入、支持引用参数,详情参见 功能说明中的Headers请求参数表格
其中,API 输出、数据同步-API、API输入、参数赋值的API输入 中都做了上述修改。
数据管道
1)对于无法设置物理主键的数据表,数据管道支持设置逻辑主键。如下图所示:
详情请参见:设置字段映射
2)数据管道支持 Doris 作为写入数据源。
修复 BUG
本节中附上了已修复的 BUG 编号,若客户对某个 BUG 有问题可把对应编号发给技术支持,让技术支持解答。
1)5101-主任务调用任务 a、b、c,a、b、c 串联。如下图所示:
任务 a,b 构建正常,当任务 c 构建异常时,a、b 的任务运维会显示一直在构建中。
4.0.23 版本修复后,当任务 c 构建异常时,主任务构建失败,任务 a、b中断且没有运行日志,不会出现卡死现象。
2)5067-kafka 重启前未暂停任务,kafka 重启后,管道任务待同步量数据卡住,持续卡在某一数值,此版本已修复。
3)5060-kafka 数据源对接的参数只支持字母和数字,希望可以支持特殊符号,此版本已完成该需求。
4)5047-FDL 的 API 取数在 body 中设置 json 格式参数时,如果显示 json 格式错误时不提示哪里有错误,希望能够加个错误指引。此版本将打印出来有问题的 json 或者 xml 内容和错误原因。
5)5042-写入数据时,报错:脏数据gpfdist error - line too long in file,建议排查的目标字段是数字类型。如下图所示:
经排查,原因是同步的字符串中包含了 char28 的 asc 码特殊字符,4.0.23 版本,特殊字符可正常写入。
6)4999-设置两个全局日期参数 a 和 b ,数据过滤时设置介于两个参数之间,保存后前端显示${a}-${a}。此版本已修复,
前端显示${a}-${b}。
7)4970-相同的接口设置,在 API POST 里正常调用,API POST 去掉重定向设置也能调用, 但是在 FDL 里报错 301 重定向。此版本已修复,重定向的接口可以正常访问。