长路浩浩荡荡,万物尽可期待,轻轻的和 2022 说声再见,拥抱 2023
让我们来看看2022年最后一个月,FineDataLink 带给大家的更新吧~
产品新功能
行转列
在使用 FineDataLink 进行 ETL 开发过程中,如果数据是一维表,想要通过行转列将一维表转化为二维表。使得数据更符合日常的阅读习惯,信息更浓缩,更适合展示分析结果。
FineDataLink 「数据转换」节点新增行转列,支持将多行一列数据转为一行多列显示。如下图所示:
详细了解戳这里:行转列
文件输入
用户在搭建数仓时,希望能从 FineDataLink 服务器本地或者共享目录中读取 Excel 、CSV 文件数据。同时可以通过 FDL 将Excel 、CSV 文件直接上传至 FDL 服务器本地。
FineDataLink 数据转换新增「文件输入」功能,便于用户更好的使用Excel 、CSV 文件数据进行数据开发,如下图所示:
详细了解戳这里:文件输入
数据管道优化
1. 支持逻辑删除和标记增删改时间戳
在同步数据时,存在一些用户并不想真正删除目标端的数据,因此 FineDataLink 数据管道任务支持逻辑删除和标记数据增删改时间戳。可以对删除数据进行标记并记录增删改数据的时间戳,如下图所示:
详细了解戳这里:配置数据管道任务 3.3 节
2. 目标数据支持选择已存在表
在使用 FineDataLink 进行实时同步过程中,用户想要自己在数据库建表后再进行同步任务,同时在设置管道任务时希望自行调整字段映射方式。
FineDataLink 支持设置目标表为「已存在表」,用户可以自己在数据库建表后在 FDL 设置同步任务;同时支持设置「同名映射」和「同行映射」,用户可自行调整字段匹配情况,并且严格区分大小写,避免由于大小写问题导致无法正常运行管道任务。
详细了解戳这里:配置数据管道任务 3.4节
3. 写入端支持Greenplum、Greenplum(并行装载)
数据管道数据去向写入端支持 Greenplum、Greenplum(并行装载),便于用户业务库实时同步数据至GP数仓。
详细了解戳这里:配置数据管道任务
Ø 更多版本更新细节请戳这里:4.0.14更新日志、4.0.15更新日志、4.0.16更新日志
API实战案例&Demo上新
企业内业务系统,大量数据以API接口的方式对外提供应用,当数据开发人员需要搭建数据仓库或进行数据分析时,需要针对此类数据进行复杂的加工处理过程。
FineDataLink 支持对接API接口数据,并通过多种可视化算子将API数据转换为行列格式,以便后续进行数据处理和使用。
企业微信接口取数
公司内部使用企业微信,行政部门需要将公司所有在职人员的信息进行统计,以供其他企业业务系统作为基础信息使用。
可以通过接口,将在职人员的姓名、部门、职位、userid、手机号、性别、邮箱,这些信息取数至指定数据库中。
如下图所示:
Ø 制作说明:API取数-获取企业微信人员信息
沃丰科技加密身份验证取数
使用「沃丰科技」的 Udesk 开发接口 获取工单列表 接口取出所有工单数据,而「沃丰科技」的 Udesk 开发接口所有接口调用需要携带签名参数 sign,只有当 sign 值合法时请求才会被接受,因此需要参考 鉴权方式 获取签名参数。如下图所示:
Ø 制作说明:API取数-加密身份验证&按页数取数
按页数取数
某企业现在需要将某业务工单数据全部取出以供业务分析使用。由于数据量比较大,不可能一次性取全量数据,因此需要使用参数。接口文档中 pageIndex 表示数据页数;pageSize 表示在每一页的数据条数。
如下图所示:
Ø Demo 体验:https://demo.finedatalink.com/ 「场景案例>API接口专题>API取数-按页数取数」
Ø 制作说明:API取数-按页数取数
简道云OA系统表单取数
接口文档中没有页数相关的参数,但是接口中有 limit 参数限制接口取数量,可以获取当前数据表中最大 id 值,然后每次从最大 id 开始取出100条数据,循环多次,直至取完所有的数据。
Ø Demo 体验:https://demo.finedatalink.com/ 「场景案例>API接口专题>API取数-限制取数量」
Ø 制作说明:API取数-限制取数量且无页数参数
FineDataLink 接口开发大赛
“FineDataLink-API接口开发大赛”面向帆软合作客户或有API具体场景的数据开发人员,集比赛、体验、培训、交流于一体,期望能通过由FineDataLink提供的官方帮助文档,指导相关数据开发人员对API接口数据的加工处理。
您可以将您实际使用的 API 开发案例输出至社区 FineDataLink 论坛空间,即可有机会获得荣誉证书、帆软周边等丰富的奖励。快来参与吧~
Ø 报名地址:FineDataLink接口开发大赛