反馈已提交

网络繁忙

Elasticsearch输入

  • 文档创建者:Roxy
  • 历史版本:3
  • 最近更新:Wendy123456 于 2024-11-21
  • 1. 概述

    1.1 版本

    FineDataLink 版本功能变动
    4.2.0.2-

    1.2 应用场景

    用户的业务数据库是 Elasticsearch 数据库,需要定时读取 Elasticsearch 数据库的数据写入到其它数据库(关系型数据库,其他ES等)。

    1.3 功能简介

    1)「Elasticsearch输入」算子可读取指定 Elasticsearch 数据库中的数据。如下图所示:

    2)「数据同步」、「参数赋值」、「全局赋值参数」的数据来源新增 Elasticsearch 。

    2. 前提条件

    若需要读取 Elasticsearch 数据,需要配置数据连接,并且有该数据连接的使用权限。具体请参见:配置Elasticsearch数据源

    需要注册「NoSQL」数据源功能。

    3. 功能说明

    「数据来源」:

    配置项
    说明
    数据连接支持选择已配置过且有权限的 Elasticsearch 数据连接
    配置方式单选

    对于6.3以上版本,默认选择「SQL」配置方式。

    对于6.3以下版本,仅支持「选索引」的方式。

    SQL

    支持写 SQL 语句从 Elasticsearch 源数据库的索引中查询取数,且支持引用参数。

    用户可选择指定的索引。

    选索引

    来源索引:支持下拉选择索引。

    支持数据过滤,写DSL语句描述过滤条件,填写Query的值部分,即填写一个JSON。

    • 可为空

    • 可过滤来源表的数据,内容为:使用所选数据库的语法编写 WHERE 条件语句(无需填写 WHERE 关键字)

    • 支持引用各类参数

    • 支持联动参数值;支持联动索引中字段

    • 不支持写 limit 语句

    4. 操作步骤

    用户的业务数据库是 Elasticsearch 数据库,需要定时读取 Elasticsearch 数据库的数据写入到其它数据库(关系型数据库,其他ES等)。

    4.1 设置任务

    创建定时任务后,使用数据转换,进入数据转换编辑界面,使用 Elasticsearch输入算子,将需要处理的数据取出,如下图所示:

    然后进行数据处理,如下图所示:

    最后使用DB表输出,并运行任务将数据写入指定数据库,如下图所示:

    4.2 效果查看

    运行任务后,即可在输出的数据库中查看取出的 Elasticsearch 数据,如下图所示:

    附件列表


    主题: 数据开发-定时任务
    • 有帮助
    • 没帮助
    • 只是浏览
    • 评价文档,奖励 1 ~ 100 随机 F 豆!

    鼠标选中内容,快速反馈问题

    鼠标选中存在疑惑的内容,即可快速反馈问题,我们将会跟进处理。

    不再提示

    10s后关闭



    AI

    联系我们
    在线支持
    获取专业技术支持,快速帮助您解决问题
    工作日9:00-12:00,13:30-17:30在线
    页面反馈
    针对当前网页的建议、问题反馈
    售前咨询
    采购需求/获取报价/预约演示
    或拨打: 400-811-8890 转1
    qr
    热线电话
    咨询/故障救援热线:400-811-8890转2
    总裁办24H投诉:17312781526
    提交页面反馈
    仅适用于当前网页的意见收集,帆软产品问题请在 问答板块提问前往服务平台 获取技术支持