注:数据开发中实时任务当前属于内测阶段,如需试用或者了解详细信息,请联系技术支持(技术支持联系方式:前往「服务」,选择「在线支持」、电话「400-811-8890」)。
1. 概述
1.1 版本
FineDataLink 版本 | 功能变动 |
---|---|
4.1.11.4 | - |
4.2.1.1 | CDC 输入算子中,数据库选择 Oracle 时,不支持 Xstream 读取方式 |
1.2 应用场景
用户需要实时读取数据库中的数据,将数据处理后,实时输出至指定数据库中,便于使用数据进行报表和实时大屏制作和展示。
1.3 功能简介
FineDataLink 「实时任务」支持使用 CDC 输入算子进行实时读取数据。
1.4 支持使用的数据源
Db2、MySQL、Oracle、PostgreSQL、SQL Server。
注:在使用这些数据源作为输入源前,需要开启数据库日志,详情请参见:数据库环境准备概述
2. 功能说明
配置项 | 说明 |
---|---|
数据源 | 选择相应数据库的数据连接,同时可以进行数据源权限检测,检查是否开启了数据库日志 |
来源表 | 选择数据库、数据表 |
读取方式 | 根据不同数据库类型,展示不同读取方式
|
同步类型 | 在不同场景下,配置任务不同的初始偏移量
1)选择「指定时间」,通过日期时间控件选择时间点 2)任务启动时间:初次启动任务时,同步启动时间开始的增量数据,再次启动任务时,从上次执行结束的断点继续同步 3)自定义时间:初次启动任务时,从指定的时间戳开始同步数据,再次启动任务时,从上次执行结束的断点继续同步 4)如果断点状态丢失,则按照初次启动逻辑同步数据 |
3. 操作步骤
用户将 MySQL 数据库中的数据实时处理并将结果实时同步至 Oracle 数据库。
3.1 设置 CDC 输入
进入 FineDataLink 数据平台后,选择「数据开发>实时任务」,新建实时任务,,如下图所示:
注:需要注意的是如果使用 CDC输入,对应的来源端数据库需要开启日志,详情请参见:数据库环境准备概述
在任务管理界面选择「编辑」,如下图所示:
进入编辑界面后,拖入 CDC 输入算子,选择数据源并设置读取方式和同步类型,如下图所示:
注:选择数据源前需要先新建对应的数据连接,详情参见:创建并管理数据源
点击「数据预览」即可看到取出的数据库数据,如下图所示:
3.2 数据处理
对读取的数据进行数据处理,例如使用数据过滤,筛选出华北和华东的数据,如下图所示:
得到结果数据如下图所示:
3.3 数据输出
设置数据实时处理后输出至 Oracle 中,使用 DB表输出算子,如下图所示:
注:需要设置输出数据表的主键。
3.4 任务启动和管理
点击启动,即可启动实时任务,如下图所示:
3.5 效果查看
在日志中即可看到首次同步运行情况,如下图所示:
若此时来源端数据库中新增了一条数据,那么点击「查看」,即可看到实时任务的运行情况,同步了一条数据到目标数据库中,如下图所示: