clickhouse数据源使用说明

  • 文檔創建者:Roxy
  • 編輯次數:2
  • 最近更新:Roxy 于 2024-01-15
  • 任务开发

    配置数据连接

    详情请参见:配置ClickHouse数据源

    数据开发

    详情请参见:数据开发概述

    数据管道

    详情请参见:数据管道概述

    clickhouse 作为写入端时字段映射说明

    当向目标表写入数据时,按照 collapsingMergeTree 表引擎进行写入。

    选择去向类型说明
    自动建表

    使用 collapsingMergeTree 表引擎,将逻辑主键设置为 order by 字段

    注:创建表时,来源表字段不能出现 sign ,会和标识增删改的 sign 字段重名导致同步失败。

    已存在表

    当选择已存在表时,只能选择由 collapsingMergeTree 表引擎创建的表,并且要指定 order by 字段,在逻辑主键一列中进行展示

    注:如果能获取表的 order by 字段,则支持设置已存在表为目标表,否则不支持设置为目标表。

    clickhouse 作为目标端的写入逻辑为:

    • 对于插入的数据,直接 insert,并标记其 sign 为 1

    • 对于删除的数据,直接insert一条,逻辑主键的数据,并标记其sign为-1   如果是逻辑删除,insert 更新数据、sign 为 1 的数据即可

    • 对于更新的数据, insert 更新数据、sign 为 1 的数据即可。

    注:因为 collapsingMergeTree 表的合并不定时,所以使用实时同步的表时,需要在使用前手动触发一次合并,或者在查询 SQL 使用集合方式,计算时去除掉重复数据的影响。

    方式一:直接在 SQL 中使用集合方式,集合示例如下所示:

    select name, sum(order_amt*sign) as order_amt from default.test_version_collapsing 
    group by name 
    having sum(sign) > 0

    方式二:在使用前触发一次合并,「OPTIMIZE TABLE test.ods_real_time_order FINAL

    方式三:直接在查询的 SQL 。select 表名后加 final ,比如 SELECT * FROM gbn_onl_mix.union_order_onl_all_test final WHERE dt = '2023-05-28'。


    附件列表


    主題: 配置数据源
    已經是第一篇
    已經是最後一篇
    • 有幫助
    • 沒幫助
    • 只是瀏覽
    • 评价文档,奖励 1 ~ 100 随机 F 豆!

    滑鼠選中內容,快速回饋問題

    滑鼠選中存在疑惑的內容,即可快速回饋問題,我們將會跟進處理。

    不再提示

    10s後關閉

    獲取幫助
    線上支援
    獲取專業技術支援,快速幫助您解決問題
    工作日9:00-12:00,13:30-17:30在线
    頁面反饋
    針對當前網頁的建議、問題反饋
    售前咨詢
    業務咨詢
    電話:0933-790886或 0989-092892
    郵箱:taiwan@fanruan.com
    頁面反饋
    *問題分類
    不能為空
    問題描述
    0/1000
    不能為空

    反馈已提交

    网络繁忙