提示:产品注册版本为「v5.0共创版」时，才能使用数据开发-实时任务。
如需试用或者了解详细信息：
1）未购买过 FineDataLink 工程的用户，请填写链接申请免费试用：实时任务意向使用申请表
2）或联系技术支持（技术支持联系方式：前往「服务」，选择「在线支持」、电话「400-811-8890」）。
1. 概述
1.1 应用场景
1）实时读取来源数据，保证实时数据可以写入到目标库。场景示例：
CRM 业务系统的 MySQL 中新增的订单合同数据，实时同步到数仓中。
集团级企业，各分公司数据实时写入到 Kafka，总公司数据湖消费 Kafka 中的数据。
2）读取数据后实时转换，再写入到数仓。场景示例：
水务公司的水务数据，需要实时汇总计算。比如上下游的水位，多个支流的水位，都需要汇总计算后再做一个呈现。
制造企业，需要实时展示产线上良品率、稼动率、工厂效率、损失、工时等指标。
1.2 功能简介
实时任务能够实时地把数据从 A 点投递到 B 点。在投递的过程中可能添加数据清洗的工作，例如实时数仓中的数据解析等。最终结果可供后续业务使用，以提高数据利用率和时效性，满足业务需求。
1.3 效果查看
2. 使用限制
1）需要注册实时任务相关功能点。详情请参见：功能点限制
2）新建数据开发-实时任务需要有某文件夹或者所有实时任务的管理权限。详情请参见：实时任务管理权限
3）5.0.1.2 及之后版本集群工程支持配置实时任务。
4）5.0.1.5 及之后版本，实时任务中若使用 WebSocket输入、MQTT输入、IBM MQ输入、Pulsar输入，不能再使用 分组汇总（实时任务）、Flink SQL、数据关联（多个实时数据源进行关联）。
3. 实时任务与实时管道区别
| 区别项 | 实时任务 | 实时管道 |
|---|---|---|
| 来源表 | 只能同步单张表数据 | 可以为多张 |
| 同步效果 | 实时同步，可对源表数据做简单处理（数据解析、数据过滤、数据汇总等） | 实时原表原样同步 |
| 支持的来源端 | 能读取更多实时来源端：实时任务支持的数据源 | 实时管道支持的数据源 |
| 来源端表结构发生变化 | 实时任务会报错 | 目标端可以自动同步这些来源端的调整，不需要人为的进行数据表的调整 |
| 来源端表数据发生增删改 | 实时同步到目标表 | 实时同步到目标表 |
4. 功能说明
数据源：
实时任务支持的数据源请参见：FineDataLink支持的数据源
同步场景：
实时任务中，只能对单表进行实时同步，同步类型为：
存量+增量同步：先对所有存量数据完成同步，随后持续同步数据。
仅增量同步：从指定的起点开始，持续同步数据。
任务开发：
FineDataLink 实时任务开发模块提供多种类型的节点，多种节点配合使用，满足您不同的数据处理需求。
节点是组成实时任务的基本单位，多个节点通过线条连接后可确定执行流程，进而组成一个完整的实时任务。目前有如下节点：
| 分类 | 算子 | 说明 | 备注 |
|---|---|---|---|
| 数据输入 | kafka输入 | 支持使用 Kafka 输入算子实时读取数据 | |
| CDC输入 | 支持使用 CDC 输入算子实时读取数据 | ||
| pulsar输入 | 支持使用 Pulsar 输入算子实时读取数据 | ||
| MQTT输入 | 支持使用 MQTT 输入算子实时读取数据 | ||
| IBM MQ输入 | 支持使用 IBM MQ 输入算子实时读取数据 | ||
| 维度表输入 | 支持使用维度表输入实时读取数据，便于使用数据关联进行实时跨库关联计算 | ||
| WebSocket输入 | 读取 WebSocket 数据 | ||
| 数据输出 | DB表输出（实时任务） | 支持使用 DB表输出算子实时将数据输出至指定数据库中 | |
| Kafka输出 | 支持使用 Kafka 输出算子将数据实时同步输出至 Kafka | ||
| WebSocket输出 | 支持将数据实时输出到 WebSocket | ||
| 连接 | 数据关联 | 使用数据关联进行实时跨库关联计算 | 数据关联算子前的输入算子都为实时数据源时，需要配置 Flink 引擎 |
| 数据合并 | 可合并多张表的行数据，输出为一张表 | ||
| 实验室 | Flink SQL算子 | 用户可编写 SQL 语句在实时任务中对数据进行查询和处理 | 需要配置 Flink引擎 |
| 转换 | 列转行 | 实现数据表行列结构的改变-列转行，与定时任务相同 | |
| JSON解析 | 解析 JSON 结构的数据，输出行列格式的数据 | ||
| XML解析 | 将 XML 格式数据解析为行列格式数据 | ||
| 字段设置 | 可实现数据流字段的选择、重命名、数据类型转换操作 | ||
| 新增计算列 | 在不影响原有字段的情况下，可利用原有字段通过引用或计算获得一个新的字段 | ||
| 数据过滤 | 过滤符合条件的数据记录 | ||
| 字段拆列 | 字段值按照特定规则（分隔符或字符数）拆分，拆分后的结果形成新的多列字段和值 | ||
| 分组汇总 | 支持对数据流进行实时聚合计算 | 需要配置 Flink 引擎 | |
| 字段拆行 | 字段值按照特定规则（分隔符）拆分，拆分后的结果形成新的一列字段和值 | ||
| 其他 | 备注说明 | 可帮助用户为任务、节点增加备注 |
任务配置：
实时任务开发完成后，可为其配置失败重试、脏数据容忍、结果通知、日志等级等。详情请参见：单个实时任务管理
任务运维：
可查看实时任务的运行状态、批量启动/暂停实时任务。详情请参见：实时任务运维-任务管理
实时任务的启动分为两种：
启动：从断点开始启动。
重置启动：初始化任务，按照输入算子的同步方式，从头开始同步。
上一篇：数据转换问题排查
