历史版本15 :实时管道FAQ 返回文档
编辑时间: 内容长度:图片数:目录数: 修改原因:

目录:

1. 概述编辑

本文档收集数据管道模块的常见问题,并给出答案。

2. 数据管道模块咨询编辑

帆软能否接收实时数据或者有什么方式接收

使用 数据管道 功能。

数据管道一般使用场景有哪些

数据管道的场景主要是在数据库数据量大或表结构规范的情况下,实现高性能的「实时数据同步」。简单来说是通过对源库日志的监听来达到实时的数据同步,如果数据同步实时性要求比较高的话可以考虑数据管道。

注:数据管道不支持对数据进行计算处理

数据管道是怎么捕获变化数据的

通过数据库日志变更捕捉的。

如果管道任务中断了,有什么补偿机制

详情请参见:配置管道任务-管道控制

若管道任务失败,支持断点续传:若全量同步未完成,会从头全量同步;若全量同步已完成,会从断点开始。

同时运行的管道任务数

详情请参见:资源控制内存

支持异构数据库写入吗,像 MySQL 实时同步 Oracle

支持的

具体可参见:数据管道支持的数据源类型

FDL 使用数据管道能同步视图吗

管道任务不支持同步视图和索引。

实时同步中,源表结构发生变化后,能同步到目标表吗

部分数据库类型是支持源表结构变化同步的,详情请参见:数据管道-同步源表结构变化

3. 支持的数据源编辑

数据管道支持的数据源请参见:数据管道支持的数据源

4. 数据库环境准备编辑

请参见:数据库环境准备概述

FDL 管道实时同步 MySQL 库,mysql binlog 的模式要求是什么,mysql有三种级别 Row、Statement、Mixed

row

请参见文档:MySQL环境准备

kafka 只支持部署在 Linux 环境吗

建议 kafka 部署在 Linux 上,kafka 官方是不推荐部署在 Windows 下的

数据管道,源数据库oracle,必须开启归档日志吗

是的。

我想请问管道任务-Kafka,这个中间件是需要我们自己额外配置吗

是的,需要自己部署 kafka

请参见文档:部署Kafka (该文档中可查看kafka 安装要求、需开放的端口等内容

kafka 安装好了端口不通

请参见文档:配置传输队列

将一个 SQLServer 的数据实时同步到另一个 SQLServer中,源端的数据库要改什么配置或者开启什么功能吗

SQL Server环境准备

5. 管道任务配置编辑

管道任务已经创建没有勾选开启 ddl ,可以再修改吗

不支持,只能重建任务。

数据管道目标表比来源表多的字段字段映射没有显示

字段映射只显示来源表有的字段。

有没有数据管道和数据开发里面的任务异常错误发邮件的设置

设置结果通知

脏数据阈值什么意思

设置脏数据阈值

管道任务失败重试逻辑说明

失败重试

  • 若全量同步未完成,会从头全量同步;若全量同步已完成,会从断点开始;即全量阶段没有断点,只有增量阶段有断点同步。

  • 管道任务只要重新运行了,都是按第一次开始重新计算。

6. 管道任务运维编辑

待同步量,这个是什么意思,在数据管道的运行中

待同步就是就是没有写入数据库,正准备写的数据,可能正常写入,可能写入失败。

第一遍同步数据管道, 没有时间戳

时间戳同步在数据完全同步后执行。若数据量较大,数据同步过程中时间戳可能暂时为空。

删除管道任务

启动/直接编辑/删除任务

怎么看数据管道任务的状态呢

单个管道任务管理

管道任务启动后为何不能编辑

已经启动的任务目前是不能再修改配置了,需要重新建立个管道任务,再删除之前的管道任务。

管道任务脏数据指什么

详情请参见:脏数据

与目标字段配置不匹配而无法写入的数据(目标字段长度/类型不匹配、目标字段缺失、违反目标字段非空约束等)。

注:对于管道任务,主键冲突不会产生脏数据,主键相同的数据,新数据将覆盖旧数据。

服务器重启后管道任务怎么运行

全量同步若未结束,重启后会重新进行全量同步。

全量同步已经结束,并且进入增量状态的任务,重启后会接着断点继续增量。