历史版本5 :StarRocks数据源使用说明 返回文档
编辑时间: 内容长度:图片数:目录数: 修改原因:

目录:

使用限制编辑

FineDataLink 支持连接 StarRocks 进行定时任务读写管道任务写入

与FineBI 集成部署情况下不支持StarRocks作为写入端。

列名如果包含中文,不支持写入。

数据开发

目标表自动建表:

若数据去向选择了「StarRocks」数据源,则设置去向端表时,需要选择表类型,如下表所示:

表类型建表时设置项说明
明细模型(Duplicate Key)

不支持设置物理主键

支持设置 NOT NULL

更新模型(Unique Key)

支持设置物理主键

支持设置 NOT NULL

当写入方式选择"基于标识字段,追加/更新/删除数据"时,只支持物理删除,不支持逻辑删除。

主键模型(Primary Key)

支持设置物理主键

支持设置 NOT NULL

StarRocks 1.19及以上版本支持使用

聚合模型(Aggregate Key)此类型不支持自动建表

目标表已存在表:

若数据去向选择了「StarRocks」数据源,则设置去向端表时,需要选择表类型,后续设置写入方式时有一定的限制,如下表所示:

表类型写入限制
明细模型(Duplicate Key)

Doris:主键模型(Unique Key)- 写时合并

StarRocks:主键模型(Primary Key)

当选择"直接将数据写入目标表"时,主键冲突策略只能选择:

主键相同,覆盖目标表的数据

不支持:

  • 主键相同,忽略输入源的数据

  • 主键相同,停止写入并报错

Doris:主键模型(Unique Key)- 读时合并

StarRocks:更新模型(Unique Key)

Doris&StarRocks:聚合模型(Aggregate Key)
  • 当选择"直接将数据写入目标表"时,不支持:

配置主键映射以及主键冲突策略

  • 不支持选择"基于标识字段,追加/更新/删除数据";

数据管道

1)目标表自动建表:

若数据去向选择了「StarRocks」数据源,则设置去向端表时,需要选择表类型,如下表所示:

注:StarRocks支持自动建表的表类型,表名首字母必须为英文,否则建表会失败。

表类型建表时设置项说明
明细模型(Duplicate Key)

不支持设置物理主键

支持设置 NOT NULL

更新模型(Unique Key)

支持设置物理主键

支持设置 NOT NULL

主键模型(Primary Key)

支持设置物理主键

支持设置 NOT NULL

StarRocks 1.19及以上版本支持使用

聚合模型(Aggregate Key)此类型不支持自动建表

2)不支持DDL同步。

3)数据管道实时数据不支持「同步标记时间戳」功能。

4)作为管道输出端时,不支持逻辑主键。

5)insert和update 都处理为insert, 通过stream load方式写入目标表。

6)选择了逻辑删除,且需要自动新建对应列字段,会导致作为输出端的管道任务第一次启动速度较慢(最长可能几十秒),这是因为SR在更新SCHEMA时, 会锁表且时间较长,之后对目标表的修改操作会被阻塞。

通用

如果 StarRocks 作为数据写入端时使用,FineDataLink 使用 Stream load 导入方式通过 HTTP 协议导入本地文本文件或者程序文件,导入命令到 FE,FE 会通过 HTTP 重定向指令将请求转发给 BE。还可以将导入命令直接提交到指定的 BE。导入的最终结果由协调器 BE 返回。该方式适用数量级在1G~10G的数据。

任务开发编辑

配置数据连接 

详情请参见:配置StarRocks数据源

数据开发

详情请参见:数据开发概述

数据管道

详情请参见:数据管道概述

数据服务

详情请参见:数据服务概述