反馈已提交

网络繁忙

clickhouse数据源使用说明

  • 文档创建者:Roxy
  • 历史版本:2
  • 最近更新:Roxy 于 2024-01-15
  • 任务开发

    配置数据连接

    详情请参见:配置ClickHouse数据源

    数据开发

    详情请参见:数据开发概述

    数据管道

    详情请参见:数据管道概述

    clickhouse 作为写入端时字段映射说明

    当向目标表写入数据时,按照 collapsingMergeTree 表引擎进行写入。

    选择去向类型说明
    自动建表

    使用 collapsingMergeTree 表引擎,将逻辑主键设置为 order by 字段

    注:创建表时,来源表字段不能出现 sign ,会和标识增删改的 sign 字段重名导致同步失败。

    已存在表

    当选择已存在表时,只能选择由 collapsingMergeTree 表引擎创建的表,并且要指定 order by 字段,在逻辑主键一列中进行展示

    注:如果能获取表的 order by 字段,则支持设置已存在表为目标表,否则不支持设置为目标表。

    clickhouse 作为目标端的写入逻辑为:

    • 对于插入的数据,直接 insert,并标记其 sign 为 1

    • 对于删除的数据,直接insert一条,逻辑主键的数据,并标记其sign为-1   如果是逻辑删除,insert 更新数据、sign 为 1 的数据即可

    • 对于更新的数据, insert 更新数据、sign 为 1 的数据即可。

    注:因为 collapsingMergeTree 表的合并不定时,所以使用实时同步的表时,需要在使用前手动触发一次合并,或者在查询 SQL 使用集合方式,计算时去除掉重复数据的影响。

    方式一:直接在 SQL 中使用集合方式,集合示例如下所示:

    select name, sum(order_amt*sign) as order_amt from default.test_version_collapsing 
    group by name 
    having sum(sign) > 0

    方式二:在使用前触发一次合并,「OPTIMIZE TABLE test.ods_real_time_order FINAL

    方式三:直接在查询的 SQL 。select 表名后加 final ,比如 SELECT * FROM gbn_onl_mix.union_order_onl_all_test final WHERE dt = '2023-05-28'。


    附件列表


    主题: 数据源配置与使用
    已经是第一篇
    已经是最后一篇
    • 有帮助
    • 没帮助
    • 只是浏览
    • 评价文档,奖励 1 ~ 100 随机 F 豆!

    鼠标选中内容,快速反馈问题

    鼠标选中存在疑惑的内容,即可快速反馈问题,我们将会跟进处理。

    不再提示

    10s后关闭

    联系我们
    在线支持
    获取专业技术支持,快速帮助您解决问题
    工作日9:00-12:00,13:30-17:30在线
    页面反馈
    针对当前网页的建议、问题反馈
    售前咨询
    采购需求/获取报价/预约演示
    或拨打: 400-811-8890 转1
    qr
    热线电话
    咨询/故障救援热线:400-811-8890转2
    总裁办24H投诉:17312781526
    提交页面反馈
    仅适用于当前网页的意见收集,帆软产品问题请在 问答板块提问前往服务平台 获取技术支持