- 配置管道任务-选择数据去向
- 文档创建者:Roxy 创建时间:07-31 15:02 标签: 编辑:16次 | 浏览:3084次
-
摘要:1. 概述1.1 版本FineDataLink 版本功能变动4.0.5-4.1.1Oracle、GP、SQLServer 数据源作为源表，支持无主键同步，详情参见本文 3.5 节4.1.3StarRoc[阅读全文:]
- 部署Kafka：ZooKeeper模式
- 文档创建者:Roxy 创建时间:08-08 12:00 标签: 编辑:38次 | 浏览:16147次
-
摘要:1. 概述FineDataLink 支持使用 Kafka 作为数据同步的中间件，暂存来源数据库中的数据，便于目标数据库写入数据，实现实时数据同步。本文介绍 Kafka Zo[阅读全文:]
- 配置管道任务-表字段映射
- 文档创建者:Roxy 创建时间:07-31 15:38 标签: 编辑:27次 | 浏览:2660次
-
摘要:1. 概述1.1 版本FineDataLink 版本功能变动4.0.5-4.1.5.21）「表字段映射」步骤中，若去向选择「自动建表」，管道任务运行成功后，将自动变为「已存在表」2）支持筛选表建立方式：[阅读全文:]
- 配置管道任务-选择数据来源
- 文档创建者:Wendy123456 创建时间:01-18 16:06 标签: 编辑:5次 | 浏览:1017次
-
摘要:1. 概述1.1 版本FineDataLink 版本功能变动4.0.6支持Mysql 作为读取数据源4.1.4SAP HANA、DB2支持作为读取端4.1.7.2来源表若包含 _fdl_update_t[阅读全文:]
- 数据管道概述
- 文档创建者:Roxy 创建时间:08-16 14:47 标签: 编辑:52次 | 浏览:27138次
-
摘要:1. 概述1.1 应用场景企业在构建数仓和中间库时，由于业务数据量级较大，如果使用 数据同步 批量定时同步数据很难做到高性能的增量同步，若使用清空目标表再写入数据的方式时，还会面临目[阅读全文:]
- Oracle环境准备(LogMiner)
- 文档创建者:Roxy 创建时间:08-16 14:54 标签: 编辑:29次 | 浏览:9025次
-
摘要:1. 概述1.1 版本FineDataLink 版本功能变动--4.1.2支持多租户架构作为管道任务数据来源端CDC（Change Data Capture），即数据变更抓取，通过为源端数据源开启CDC[阅读全文:]
- 部署Kafka：KRaft模式
- 文档创建者:Wendy123456 创建时间:03-26 16:01 标签: 编辑:14次 | 浏览:570次
-
摘要:1. 概述FineDataLink 支持使用 Kafka 作为数据同步的中间件，暂存来源数据库中的数据，便于目标数据库写入数据，实现实时数据同步。本文介绍 Kafka KR[阅读全文:]
- 管道任务示例
- 文档创建者:Wendy123456 创建时间:01-23 14:13 标签: 编辑:6次 | 浏览:1086次
-
摘要:1. 概述本文以 MySQL 数据同步为例，将 demotest 数据库中的「订单信息」、「库存信息」、「成本中心对照表」实时同步至 demo1 数据库中。2. 操作步骤2.1 准备工作需准备一个独立部[阅读全文:]
- 数据库环境准备概述
- 文档创建者:Roxy 创建时间:03-29 15:18 标签: 编辑:4次 | 浏览:4574次
-
摘要:1. 概述通过数据管道实时同步数据时，执行同步任务前，需要在数据源中进行一些配置，开启数据库日志并进行数据库权限设置，以便FineDataLink监听数据管道来源端的数据库日志变化，进行实时同步。本文为[阅读全文:]
- SQL Server环境准备
- 文档创建者:Roxy 创建时间:08-16 14:55 标签: 编辑:22次 | 浏览:8011次
-
摘要:1. 概述CDC（Change Data Capture），即数据变更抓取，通过为源端数据源开启CDC，可实现数据源的实时数据同步以及数据表的 DDL 同步。本章节主要介绍如何为 SQL Server[阅读全文:]
- Kafka开机自启动
- 文档创建者:Roxy 创建时间:12-26 16:05 标签: 编辑:1次 | 浏览:409次
-
摘要:1. 概述本文介绍 Linux 系统安装 Kafka 后，设置开机自启动的方法。2. 操作步骤2.1 准备工作查看 jdk 路径whereis javals -lrt /u[阅读全文:]
- 关闭Oracle归档日志
- 文档创建者:Roxy 创建时间:12-25 15:02 标签: 编辑:0次 | 浏览:246次
-
摘要:1. 概述由于开启日志会在指定的归档日志目录生成大量的日志文件，可能会影响业务数据库的性能，若用户停止使用管道任务或者其他原因需要关闭归档日志，则可参考本文进行设置。2. 操作步骤2.1 关闭数据库登录[阅读全文:]
- 清理Oracle归档日志
- 文档创建者:Roxy 创建时间:12-25 11:47 标签: 编辑:2次 | 浏览:500次
-
摘要:1. 概述Oracle启用归档日志的状态下，会在指定的归档日志目录生成大量的日志文件，而且这些日志文件默认是不会定期清理。长时间运行下，会占用大量的存储空间，最终可能导致 Oracle 没有足够的空间维[阅读全文:]
- MySQL环境准备
- 文档创建者:Roxy 创建时间:08-16 14:57 标签: 编辑:20次 | 浏览:9811次
-
摘要:1. 概述CDC（Change Data Capture），即数据变更抓取，通过为源端数据源开启CDC，可实现数据源的实时数据同步以及数据表的 DDL 同步。本章节主要介绍如何为 MySQL 数据库开启[阅读全文:]
- 数据管道-Oracle读取数据限制说明
- 文档创建者:Roxy 创建时间:09-20 14:16 标签: 编辑:6次 | 浏览:4250次
-
摘要:1. 概述在配置数据管道任务时， Oracle 数据库作为来源数据库读取数据时，有部分限制需要注意。2. 报错说明限制报错说明表名或者字段名在 30 个字节以上（中日韩文等非英文字符可能单个字[阅读全文:]
- 【Linux环境】PostgreSQL环境准备
- 文档创建者:Wendy123456 创建时间:11-07 18:45 标签: 编辑:6次 | 浏览:736次
-
摘要:1. 概述FDL 工程部署在 Linux 环境中，通过数据管道实时同步 PostgreSQL 数据前，需要参考本文在数据源中进行一些配置，为后续的数据同步做好准备。注1：FDL 工程部署在 W[阅读全文:]