1. 版本
FineDataLink版本 |
---|
4.0.17 |
2. 数据管道
2.1 实时同步支持同步源表结构变化
在使用管道任务进行数据实时同步过程中,来源端结构可能因业务调整等原因发生变动,如增删表、增删字段、修改字段名称、修改字段类型等,此时,用户希望目标端可以自动同步这些来源端的调整,不需要人为的进行数据表的调整。
数据管道任务支持 MySQL 数据库同步源库DDL功能,在源数据库发生DDL(删除表、新增字段、删除字段、修改字段名称、修改字段类型(长度修改 & 兼容类型修改))时,管道任务可以自动同步这些来源端变化至目标端。
详情参见:数据管道-同步源表结构变化
3. 数据开发
3.1 API 加密认证取数优化
用户在接入API数据源时,需要进行加密认证,此时希望使用 Spark SQL 加密相关函数和变量获取 token 等。
FineDataLink 「Spark SQL」算子支持使用加密相关函数和变量,同时支持作为数据源输入参数或常量。
详情请参见:Spark SQL语法
加密认证相关示例详情参见:API取数-加密身份验证&按页数取数
3.2 数据开发校验数据量优化
在进行定时任务数据开发时,用户经常需要预览数据查看任务计算的结果是否正确。
FineDataLink 支持在「数据转换」的输入型算子中进行「样本设置」,即在预览界面,设置用多少数据去参与运算,便于进行计算后的预览结果校验。
FineDataLink 「数据同步」、「参数赋值」、「数据转换」支持预览数据量默认显示 1000 行,同时支持显示字段数据类型,便于用户进行数据处理和计算。
提高用户开发调试效率,使用户在设计阶段能尽量提早发现数据问题。
详情参见:数据开发数据量说明
4. 任务运维
4.1 任务运维管理优化
用户在进行任务管理时,想要查看任务运行耗时、任务运行的历史日志等信息。
FineDataLink 支持通过筛选和搜索的方式查看任务运行耗时以及任务运行的历史日志;同时对任务管理界面进行了视觉优化,让用户更好的进行任务管理。
详情参见:定时任务运维