反馈已提交

网络繁忙

Elasticsearch输出

  • 文档创建者:Roxy
  • 历史版本:6
  • 最近更新:Wendy123456 于 2024-12-16
  • 1. 概述

    1.1 版本

    FineDataLink 版本功能变动
    4.1.11.3-

    1.2 应用场景

    用户通过从关系型数据库中将待检索的数据写入到 Elasticsearch 里,将 Elasticsearch 作为加速层,支撑检索查询需求,或者作为数仓的 ADS 层。

    1.3 功能简介

    「Elasticsearch输出」算子可将处理后的数据输出到指定 Elasticsearch 数据库中。如下图所示:

    注:若数据不需要进行复杂处理,可使用 数据同步 节点将数据输出至 Elasticsearch 

    2. 前提条件

    若需要将数据输出到 Elasticsearch ,需要配置数据连接,并且有该数据连接的使用权限。具体请参见:配置Elasticsearch数据源

    需要注册「NoSQL」数据源功能。

    3. 功能说明

    「数据去向与映射」:

    配置项
    说明
    数据连接支持选择已配置过的Elasticsearch数据连接
    目标索引
    • 自动建索引

    • 已存在索引

    定义: 索引是Elasticsearch中数据的基本存储单位,类似于关系型数据库中的数据库。每个索引包含许多文档,这些文档共享相同的数据结构定义(即映射)。

    用途: 索引用于存储特定种类的数据集。由于7.0版本开始每个索引只能有一种类型,通常为每种数据类型创建一个索引。


    字段映射

    支持按照「同名映射」、「同行映射」生成默认映射

    • 不支持给「_id」配置字段映射,前端屏蔽该字段。

    • 不支持注释

    • 不支持配置主键字段

    • 不支持配置字段的「非空」属性

    • 不支持「手动建表」/「更新目标表」

    • 当前这一版本默认静态映射。

    • 逻辑主键不可以选择 binary 类型;值不支持有null。

    「写入方式」:

    配置项说明
    直接将数据写入目标索引

    主键映射:

    支持选择字段作为逻辑主键映射数据唯一性。

    主键冲突策略:

    • 主键相同,覆盖目标索引的数据

    • 主键相同,忽略输入源的数据

    • 主键相同,记录为脏数据

    清空目标索引,再写入数据

    与数据同步设置保持一致

    基于标识字段,追加/更新/删除数据

    主键映射与直接将数据写入目标索引保持一致

    4. 操作步骤

    用户需要通过从关系型数据库中,将待检索的数据写入到数据库里,将 Elasticsearch 作为加速层,支撑检索查询需求。

    4.1 设置任务

    创建定时任务后,使用数据转换,进入数据转换编辑界面,使用 DB输入算子,如下图所示:

    然后进行数据处理,如下图所示:

    最后使用 Elasticsearch 输出,并运行任务将数据写入 Elasticsearch ,以便后续支撑检索查询需求,如下图所示:

    4.2 效果查看

    可以直接使用 Elasticsearch的RESTful API,通过HTTP请求查询写入数据库的数据,如下图所示:

    附件列表


    主题: 数据开发-定时任务
    已经是第一篇
    已经是最后一篇
    • 有帮助
    • 没帮助
    • 只是浏览
    • 评价文档,奖励 1 ~ 100 随机 F 豆!

    鼠标选中内容,快速反馈问题

    鼠标选中存在疑惑的内容,即可快速反馈问题,我们将会跟进处理。

    不再提示

    10s后关闭



    AI

    联系我们
    在线支持
    获取专业技术支持,快速帮助您解决问题
    工作日9:00-12:00,13:30-17:30在线
    页面反馈
    针对当前网页的建议、问题反馈
    售前咨询
    采购需求/获取报价/预约演示
    或拨打: 400-811-8890 转1
    qr
    热线电话
    咨询/故障救援热线:400-811-8890转2
    总裁办24H投诉:17312781526
    提交页面反馈
    仅适用于当前网页的意见收集,帆软产品问题请在 问答板块提问前往服务平台 获取技术支持