历史版本2 :資料管道使用說明 返回文档
编辑时间: 内容长度:图片数:目录数: 修改原因:

目录:

1. 概述编辑

本文讲述如何使用数据管道功能。

2. 准备工作编辑

准备工作说明
步骤一(必做):准备 FDL 独立部署工程

管道任务仅支持在 独立部署 环境下使用

参考 FineDataLink部署方案选择 文档,部署 FDL 工程

步骤二(必做):注册功能点
若需要使用数据管道功能,则需要参考文档注册相关功能点:注册简介
步骤三(必做):数据源准备

管道任务支持的数据源请参见:数据管道支持的数据源类型

需要拥有数据连接的使用权限,参考配置数据连接 文档新建数据连接,或者联系管理员分配数据连接的使用权限:数据连接权限概述

3. 配置流程编辑

注:配置管道任务完整示例请参见:管道任务示例

步骤
步骤一:准备数据库环境(必做)

基于需要设置数据管道任务的数据源,授予数据源配置的账号在数据库进行相应操作的权限。详情请参见:数据库环境准备概述

步骤二:管道任务环境准备(必做)

部署 Kafka 开源流处理平台作为中间件。详情请参见:部署Kafka配置传输队列

注:Kafka 必须部署且建议部署在 Linux 系统中。

步骤三:分配管道任务权限(选做)

若需要使用数据管道的用户不是超级管理员,则需要为对应用户分配数据管道的使用权限。详情请参见:管道任务管理权限

步骤四:配置数据管道任务(必做)

详情请参见:配置数据管道任务

4. 管道任务运行说明编辑


5. 管道任务运维编辑

操作
参考文档
重命名、移动、复制、导出、删除管道任务

任务列表

管道任务导入导出

查看任务运行状况、查看日志、处理脏数据
单个管道任务管理
想对所有管道任务进行统一的管理,比如停止任务、删除任务、检查任务运行状态、同步性能、对异常情况进行监控和处理、批量暂停任务等管道任务运维
  • 管道任务并发数说明

  • 管道任务运行后,新增/删除表

  • 原任务无法运行,需要重新配置任务,进入编辑任务界面,发现某设置项不能修改怎么办

数据管道运维指导
数据管道在 FineDB