历史版本4 :Doris数据源使用说明 返回文档
编辑时间: 内容长度:图片数:目录数: 修改原因:

目录:

使用限制编辑

FineDataLink 支持连接 Doris 进行定时任务读写管道任务写入以及数据服务数据发布源

注:4.0.29 之前版本,集成部署不支持 Doris 数据源作为写入端;4.0.29 及之后版本,集成部署支持 Doris 数据源作为写入端。

数据开发

目标表自动建表:

注:Doris 支持自动建表的表类型,表名首字母必须为英文,否则建表会失败。

若数据去向选择了「Doris」数据源,则设置去向端表时,需要选择表类型,如下表所示:


表类型建表时设置项说明
明细模型(Duplicate Key)

不支持设置物理主键

支持设置 NOT NULL

主键模型(Unique Key)- 读时合并

支持设置物理主键

支持设置 NOT NULL

主键模型(Unique Key)- 写时合并

支持设置物理主键

支持设置 NOT NULL

Doris 1.2.0 及以上版本支持使用;

聚合模型(Aggregate Key)此类型不支持自动建表


目标表已存在表:

若数据去向选择了「Doris」数据源,则设置去向端表时,需要选择表类型,后续设置写入方式时有一定的限制,如下表所示:

表类型写入限制
明细模型(Duplicate Key)

Doris:主键模型(Unique Key)- 写时合并

StarRocks:主键模型(Primary Key)

当选择"直接将数据写入目标表"时,主键冲突策略只能选择:

主键相同,覆盖目标表的数据

不支持:

  • 主键相同,忽略输入源的数据

  • 主键相同,停止写入并报错

Doris:主键模型(Unique Key)- 读时合并

StarRocks:更新模型(Unique Key)

Doris&StarRocks:聚合模型(Aggregate Key)
  • 当选择"直接将数据写入目标表"时,不支持:

配置主键映射以及主键冲突策略

  • 不支持选择"基于标识字段,追加/更新/删除数据";

数据管道

1)目标表自动建表:

若数据去向选择了「Doris」数据源,则设置去向端表时,需要选择表类型,如下表所示:

注:Doris支持自动建表的表类型,表名首字母必须为英文,否则建表会失败。

表类型建表时设置项说明
明细模型(Duplicate Key)

不支持设置物理主键

支持设置 NOT NULL

主键模型(Unique Key)- 读时合并

支持设置物理主键

支持设置 NOT NULL

主键模型(Unique Key)- 写时合并

支持设置物理主键

支持设置 NOT NULL

Doris 1.2.0 及以上版本支持使用;

聚合模型(Aggregate Key)此类型不支持自动建表

2)数据管道实时数据不支持「同步标记时间戳」功能。

3)暂时不支持管道的DDL同步。

4)不支持逻辑主键。

通用

如果 Doris 作为数据写入端时使用,FineDataLink 使用 Stream load 导入方式通过 HTTP 协议导入本地文本文件或者程序文件,导入命令到 FE,FE 会通过 HTTP 重定向指令将请求转发给 BE。还可以将导入命令直接提交到指定的 BE。导入的最终结果由协调器 BE 返回。该方式适用数量级在1G~10G的数据。

任务开发编辑

配置数据连接 

详情请参见:配置Doris数据源

数据开发

详情请参见:数据开发概述

数据管道

详情请参见:数据管道概述

数据服务

详情请参见:数据服务概述