历史版本2 :三分钟带您了解 FineDataLink 近期上新方案类文档 返回文檔
編輯時間: 內容長度:图片数:目录数: 修改原因:

目錄:

客户案例编辑

一条消息提醒一个人,可发送多条消息

应用场景:

群通知中,用户希望:

  • 每条消息对应一个通知人。

  • 某个人对应的通知内容中,文字使用颜色代表事务的紧急程度。

  • 通知内容中包含链接,用户点击即可跳转到详情页面。

如下图所示:

1717382179171673.png

参考文档:

详情请参见:一条消息提醒一个人,可发送多条消息

文件拆分:只保留最新拆分的文件

应用场景:

文件输出算子 可将数据按行数拆分至多个文件,但存在以下问题:

场景
问题
每次运行后,被拆分的文件存在重名情况

用户多次运行任务,根据数据量不同,被拆分的文件个数可能不同

若用户第一次运行任务,数据被拆分为 5 个文件,第二次运行任务数据被拆分为 3 个文件,上一次被拆分的文件依然存在,影响用户查看文件数据

每次运行后,被拆分的文件不存在重名情况

若被拆分的文件以日期和时间命名,文件不重名,但随着运行次数增多,生成的拆分文件过多,占用空间

本文提供方案解决上述问题。

参考文档:

详情请参见:文件拆分:只保留最新拆分的文件

方案效果如下:

每次只保留最新的拆分文件,将上一次生成的文件打包压缩备份起来,且只保留近 7 天的压缩文件。

3.png

API取数-数据每日落库

应用场景:

API 接口中每天有 20 多万的数据,若落库到同一张表中,随着时间该表数据不断累积,可能造成查询慢的问题。

希望能按日期分表,每天创建一个新的数据表,保存该天数据。

参考文档:

详情请参见:按日期分表,每天保存当天数据

方案效果如下:

4.png

FineReport接收并使用数据服务发布的数据

应用场景:

用户为保证数据安全,不希望直接将数据仓库账号开发给第三方使用,且拥有 FineDataLink 作为数据中台,想使用「数据服务」功能,统一分发数据给第三方使用,同时想要使用 FineReport 直接接收数据制作看板。

参考文档:

详情请参见:FineReport接收并使用数据服务发布的数据

更多方案

循环往复执行定时任务

JSON解析前过滤出不合法的数据

简道云输出算子:清空目标表,再写入数据

使用FDL接口形式实现阿里云服务器数据监听

最佳实践合集

功能使用指导编辑

分类
说明文档
数据连接

配置 星环 TRANSWARP INCEPTOR 数据源Hive 数据源 时,存在设置项 HDFS 地

本文将介绍确定 HDFS 地址中设置 IP 和端口的方法

确认HDFS地址中的IP和端口
工程运维本文提供 Linux 系统中,关闭和重启 FDL 工程的方法关闭或重启FineDataLink工程
FDL 工程的端口默认为 8068,若部署 FDL 工程前,8068 端口被占用,将无法成功启动 FDL 工程,本文介绍如何查看端口是否被占用端口占用查看
功能使用指导
定时任务、管道任务中,介绍物理删除、逻辑删除以及他俩的区别物理删除和逻辑删除的区别

数据管道和数据开发的区别,便于用户快速理解这俩模块

数据管道与数据开发区别

介绍参数在FDL中的应用场景、定时任务中如何配置和使用参数

参数在FDL中的典型应用场景

如何配置并使用参数

管道任务运行后,用户常常有以下问题:

  • 我的工程最多能同时运行多少个管道任务

  • 管道任务手动暂停、异常终止后怎么处理

  • 管道任务运行后,怎么新增/删除表

  • 原任务无法运行,需要重新配置任务,进入编辑任务界面,发现某设置项不能修改怎么办

  • 怎么处理脏数据

  • 怎么查看管道任务日志

本文为您解答这些问题

数据管道运维指导

数据服务、数据管道模块的简单示例,帮助用户快速了解这俩模块的使用及效果

数据服务示例

管道任务示例

介绍数据管道功能的使用流程;数据管道中,不同场景下的同步逻辑

数据管道使用说明

问题排查类文档编辑

更多文档请参见:常见问题专题

说明
文档
XML 解析相关的报错及解决方案XML解析问题排查
JSON 解析相关的报错及解决方案JSON解析问题排查
管理系统使用相关的报错及解决方案管理系统问题排查
数据转换、数据服务的常见问题整理

数据转换FAQ

数据服务FAQ