反馈已提交

网络繁忙

最佳实践合集

  • 文档创建者:Roxy
  • 历史版本:41
  • 最近更新:Wendy123456 于 2024-11-15
  • 概述

    本文对帮助文档中 FineDataLink 的实际应用文档进行筛选、整理、归类、排版,形成了内容合辑,文章按难易程度、内容模块整理分类为不同的篇章,点击标题即可进入相应文章。

    持续更新中……

    业务场景案例

    说明
    文档
    财务收入核算数仓搭建和看板可视化方案,助力企业财务收入清算和梳理财务收入核算场景
    电商经营数仓搭建和数据可视化方案,更好的管理电商经营数据,让数据充分发挥价值电商经营场景
    零售便利店数仓&数据可视化方案

    零售便利店场景应用方案

    零售便利店新品监控

    数仓搭建

    说明
    文档
    数据仓库搭建和调度方案一数仓调度场景概述
    数据仓库搭建和调度方案二数据仓库搭建方案二
    实时ODS层数仓搭建方案实时ODS层数仓搭建方案
    如何在增量更新时生成记录数据更新生命周期的数仓拉链表数仓拉链表(来源表数据小于10000)
    数仓拉链表(来源表数据大于10000)
    在增量更新过程中,若遇到字段异常值、脏数据等问题,将导致数据同步一段时间后任务失败。此时目标表中已同步了部分数据,可将目标表进行数据回滚到此次增量更新前的数据数据抽取失败后进行数据回滚
    人事系统数据仓库搭建人事系统数据仓库建设
    订单补录数据按日汇总增量更新方案订单补录数据按日汇总增量更新方案

    业务系统读写分离

    说明
    文档
    业务数据库定期归档,实现读写分离,提升数据库稳定性并且进行迁移备份业务系统数据定期归档

    帆软产品组合应用

    数据实时传输

    说明
    文档
    高时效数据实时同步,实现实时监控大屏、实时监控车间看板等场景,支撑快速决策分析数据管道概述

    数据告警

    说明
    文档
    • 用户给关键业务指标设置了预警阈值进行监控,一旦达到阈值,通过企业微信/钉钉等渠道迅速向责任人告警,缩短业务决策周期

    • 用户希望通过邮件/企业微信等渠道,向成员发布信息或罗列特定事务

    一条消息通知同时提醒多人
    群通知中,用户希望:
    • 每条消息对应一个通知人

    • 某个人对应的通知内容中,文字使用颜色代表事务的紧急程度

    • 通知内容中包含链接,用户点击即可跳转到详情页面

    一条消息提醒一个人,可发送多条消息

    API专题

    FineBI 数据落库

    说明
    文档
    FineBI 的公共数据,通过FDL完成数据落库,FR 等数据分析工具可应用以上数据进行展示分析数据集输入-公共数据

    数据服务

    说明
    文档

    某公司旗下各个地区有多个分公司和分店,且使用的同一套业务系统。

    业务数据会全部汇总到总部的数据库内,分店只能在业务系统上看到特定的分析和数据,无法实现自定义分析。

    总部希望对数据进行分权限管控:总部按照地区提供数据,一个地区分店和分公司只能看到自己地区的数据,不允许看到其他地区的数据,各地区自行获取数据后在不同工具中进行数据分析和使用。

    使用数据服务对数据分权限管控

    对接简道云

    数据更新专题

    应用场景文档
    数据更新专题:FineDataLink 中常用的数据更新方式,方便用户更好的进行数据开发和维护数据更新专题概述
    用户希望来源表的增删改同步到目标表的同时,目标表的 update 字段能记录数据变化时间数据比对后更新目标表时间列
    Excel 数据表为源数据表,每天会新增数据,用户希望数据库中的某张表自动新增 Excel 里面昨天新增的数据每天获取Excel昨日新增数据导入数据库
    按照「交易日期」按日汇总每日的订单金额,由于补录数据不确定补录时间,例如 9.21 日更新前 5 天的数据,但9.21日补录了「订单交易日期」为 9.1、9.2 日的数据,因此提供汇总数据补录后的增量更新方案。订单补录数据按日汇总增量更新方案

    工程相关

    应用场景
    文档

    随着 FineDataLink 工程使用时间的增长,fine_dp_work_exec_record(记录定时任务的执行情况)表中的数据会不断积累,导致数据量逐渐增多。当数据量过大时,打开「任务运维>定时任务>运行记录」页面可能会变得缓慢,需要耗时 10 秒以上

    希望能定期清理 fine_dp_work_exec_record 表数据

    自动清理FineDataLink运行记录

    公司中有许多成员使用 FineDataLink 开发定时任务,若成员 A 修改了定时任务 1 没有通知成员 B,成员 B 运行定时任务 1 的时候运行报错或数据不对,B 不知道是谁做的修改以及修改原因。成员 B 若是对定时任务 1 再做修改,不知道会对成员 A 造成什么影响

    因此,希望使用看板展示所有定时任务的运行信息,可通过搜索对应的任务名称,查看该任务编辑人员、最近编辑时间

    FR模板展示FDL定时任务信息
    用户想了解某个管道任务是谁编辑的、编辑时间、断点相关信息等,FDL 工程内的 管道任务运维 无法满足需求BI仪表板展示管道任务信息
    FDL 中原先采用的数据连接名为demo1,已在大量定时任务中使用。为了规范数据连接命名,需将此数据连接名更改为fdl_demo,目前需要逐个打开定时任务并手动重新选择新命名的数据连接,操作过程比较麻烦。批量修改定时任务中的数据连接名
    用户的管道任务实现上百张表的实时同步,且存在部分来源表和目标表的表名不同、多张来源表同步到一张目标表情况,导致用户在管理来源表和目标表的对应关系时(例如重构任务)较为困难。导出管道任务中来源表及对应的目标表信息

    数据开发专题

    对接文件数据

    对接文件数据专题

    调度配置

    说明
    文档
    用户创建两个定时任务(调用关系)处理数据,处理后的数据被用于大屏展示

    由于对数据的实时性要求较高,希望任务执行后立刻被拉起,且任务运维界面不希望看到任务出现排队的情况

    循环往复执行定时任务

    JSON解析

    说明
    文档

    用户的 JSON 数据中包含多个数组字段,如下图所示:

    1717415585565005.png

    希望解析数组字段,且解析后的字段一一对应。如下图所示:

    10.png

    解析并关联多个JSON数组字段
    大数据量场景下的 json 数据解析,存在问题如下:
    • 如果存在几条不合法的 json 格式数据,解析时会导致整个定时任务运行终止。

    • json 解析是数据处理过程,定时任务的脏数据容忍没办法排除 json 不合法数据对任务的影响。

    用户希望:

    • 过滤出不合法的 json 格式数据,使其不影响定时任务的运行。

    • 大数据量场景下,快速找出不合法的 json 格式数据。

    JSON解析前过滤出不合法的数据

    用户的 JSON 数据结构是多层数组嵌套,如下图所示:

    11.png

    现需要解析上层数组元素和下层数组元素,实现 1:n 的关系。

    例如:希望 titles 数组中的字段,能与 items 数组中(items 数组又包含 drivers 数组的字段关联起来。如下图所示:

    titles 中的字段,与 items 中 drivers 包含的元素是 1:n 关系。

    17.png

    解析多层嵌套JSON并实现1:n关系

    其他

    文档
    多张Excel表数据关联后再进行加工计算
    使用条件分支获取优秀员工信息
    解析XML文件数据
    使用SparkSQL构建日期列并循环取数
    调用循环容器任务
    高频指标借助参数实现轻量化修改
    多个逗号分隔的字段按照分组顺序匹配
    SAP RFC:日期+偏移量双重循环取数

    调用定时任务相关接口

    说明
    文档
     提供 FR 模板调用定时任务接口的示例FR模板调用定时任务接口示例

    FR 通过任务名/任务ID运行定时任务的接口中,可设置延迟参数,在等待设置的 X 秒后可以返回任务运行状态

    但某些定时任务运行时间较长且不稳定,当 FDL 执行到接口设置的时间但任务还未结束时,FR 会接收到 RUNNING 的返回信息。用户无法确定后续定时任务是否运行成功

    FR调用定时任务后轮询是否完成



    附件列表


    主题: 最佳实践
    已经是第一篇
    已经是最后一篇
    • 有帮助
    • 没帮助
    • 只是浏览
    • 评价文档,奖励 1 ~ 100 随机 F 豆!

    鼠标选中内容,快速反馈问题

    鼠标选中存在疑惑的内容,即可快速反馈问题,我们将会跟进处理。

    不再提示

    10s后关闭



    AI

    联系我们
    在线支持
    获取专业技术支持,快速帮助您解决问题
    工作日9:00-12:00,13:30-17:30在线
    页面反馈
    针对当前网页的建议、问题反馈
    售前咨询
    采购需求/获取报价/预约演示
    或拨打: 400-811-8890 转1
    qr
    热线电话
    咨询/故障救援热线:400-811-8890转2
    总裁办24H投诉:17312781526
    提交页面反馈
    仅适用于当前网页的意见收集,帆软产品问题请在 问答板块提问前往服务平台 获取技术支持