版本编辑
FineDataLink 版本 | 功能变动 |
---|---|
4.0.23 | 定时任务输入输出支持 Doris 管道任务数据输出支持 Doris |
4.1 | 数据服务支持 Doris 数据源 |
4.1.7.2 | 2.0 版本之后的 Doris,在管道任务中,支持「同步时标记时间戳」功能 |
使用限制编辑
FineDataLink 支持连接 Doris ,进行定时任务读写、管道任务写入以及数据服务数据发布源。
注:4.0.29 之前版本,集成部署不支持 Doris 数据源作为写入端;4.0.29 及之后版本,集成部署支持 Doris 数据源作为写入端。
数据开发
目标表自动建表:
注:Doris 支持自动建表的表类型,表名首字母必须为英文,否则建表会失败。
若数据去向选择了「Doris」数据源,则设置去向端表时,需要选择表类型,如下表所示:
表类型 | 建表时设置项说明 |
---|---|
明细模型(Duplicate Key) | 不支持设置物理主键 支持设置 NOT NULL |
主键模型(Unique Key)- 读时合并 | 必须设置物理主键 支持设置 NOT NULL |
主键模型(Unique Key)- 写时合并 | 必须设置物理主键 支持设置 NOT NULL Doris 1.2.0 及以上版本支持使用; |
聚合模型(Aggregate Key) | 此类型不支持自动建表 |
目标表已存在表:
若数据去向选择了「Doris」数据源,则设置去向端表时,需要选择表类型,后续设置写入方式时有一定的限制,如下表所示:
表类型 | 写入限制 |
---|---|
明细模型(Duplicate Key) | 1)写入方式选择「追加写入目标表」时,不支持配置主键映射和主键冲突策略 2)写入方式不支持「基于标识字段,追加/更新/删除数据」 |
主键模型(Unique Key)- 写时合并 | 当选择"直接将数据写入目标表"时,主键冲突策略只能选择: 主键相同,覆盖目标表的数据 不支持:
|
主键模型(Unique Key)- 读时合并 | |
聚合模型(Aggregate Key) | 1)当选择"直接将数据写入目标表"时,不支持: 配置主键映射以及主键冲突策略 2)不支持选择"基于标识字段,追加/更新/删除数据"; |
数据管道
1)目标表自动建表:
若数据去向选择了「Doris」数据源,则设置去向端表时,需要选择表类型,如下表所示:
注:Doris支持自动建表的表类型,表名首字母必须为英文,否则建表会失败。
表类型 | 建表时设置项说明 |
---|---|
明细模型(Duplicate Key) | 仅展示,不可选 |
主键模型(Unique Key)- 读时合并 | 必须设置物理主键 支持设置 NOT NULL |
主键模型(Unique Key)- 写时合并 | 必须设置物理主键 支持设置 NOT NULL Doris 1.2.0 及以上版本支持使用; |
聚合模型(Aggregate Key) | 仅展示,不可选 |
2)4.1.7.2 之前版本,数据管道实时数据不支持「同步时标记时间戳」功能;FDL 为 4.1.7.2 及之后版本 & Doris 版本为 2.0 之后,支持「同步时标记时间戳」功能。
3)暂时不支持管道的DDL同步。
4)不支持逻辑主键。
通用
如果 Doris 作为数据写入端时使用,FineDataLink 使用 Stream load 导入方式通过 HTTP 协议导入本地文本文件或者程序文件,导入命令到 FE,FE 会通过 HTTP 重定向指令将请求转发给 BE。还可以将导入命令直接提交到指定的 BE。导入的最终结果由协调器 BE 返回。该方式适用数量级在1G~10G的数据。