反馈已提交

网络繁忙

配置Paimon数据源

  • 文档创建者:Wendy123456
  • 历史版本:3
  • 最近更新:Wendy123456 于 2026-04-02
  • 1. 概述

    1.1 版本

    FineDataLink 版本
    功能变动
    5.0.10.1
    新增 Paimon 数据源,可进行实时任务的读写

    1.2 功能简介

    FineDataLink 支持连接 Paimon 数据源,适配功能:

    • 实时任务读取和写入。

    2. 配置数据连接

    2.1 前提条件

    详情请参见:前提条件

    需要注册「大数据功能点。

    2.2 版本和驱动

    1)确认数据库版本,下载驱动文件:

    支持的数据源版本需要驱动


    支持 Paimon 1.3.1 版本

    FineDataLink 支持连接以下类型的 Paimon:

    • 以文件系统、hive metastore 为元数据存储的 Catalog 

    • OSS、S3、S3 兼容协议、HDFS 的数据文件存储

    • HDFS 暂不支持 Kerberos 认证

    paimon-bundle-1.3.1.jar

    必须上传

    paimon-oss-1.3.1.jar

    Metastore类型为filesystem或者hive时,只要文件系统类型为 oss,必须上传这个JAR

    paimon-s3-1.3.1.jar

    Metastore类型为filesystem或者hive时,只要文件系统类型为 s3,必须上传这个JAR
    paimon-hive.zip
    • Metastore类型为filesystem时,只要文件系统类型为 hdfs,必须上传这个JAR

    • 需要解压后再放置

    • Metastore 类型为hive时,必须上传这个JAR

    2)FineDataLink独立部署 工程,驱动文件下载后,放置到%FDL_home%\webapps\webroot\WEB-INF\lib下;

    OPS 部署的 FineDataLink 工程,驱动放置在 FDL 工程外挂目录的 customlib 文件夹下。如忘记工程外挂目录位置,请参考文档查询:导出项目部署信息

    若为集群工程,每个集群节点都需要上传一遍驱动文件。

    3)重启 FineDataLink工程。

    2.3 具体连接步骤

    创建数据连接步骤请参见:创建并管理数据源

    1775048502903035.png

    Metastore类型可选择filesystem、hive:

    • filesystem:直接访问文件系统上存储的元数据。

    • hive :使用hive metastore作为元数据服务。

    设置项Metastore类型为filesystemMetastore类型为hive
    文件系统类型选择数据实际存储的文件系统类型;支持选择 oss、s3、hdfs
    warehouse URL数据实际存储的位置

    示例:

    • oss://lakehouse/paimon/

    • s3://lakehouse/paimon/

    • hdfs://hdfs800871/user/paimon

    文件系统类型
    1)选择oss时,配置以下属性:
    • Endpoint,默认为空,必填,示例:oss-cn-hangzhou.aliyuncs.com

    • AccessKeyId、AccessKeySecret:默认为空,必填

    1775048776388600.png

    2)选择s3时,配置以下属性:

    • region、AccessKeyId、AccessKeySecret:默认为空,非必填

    • Endpoint:默认为空,非必填(S3官方可选,兼容S3的协议必填,比如minio)

    1775049536603544.png

    Hive和HDFS配置

    文件系统类型选择hdfs时,新增该设置项:

    • 仅支持上传单个10MB以内的zip压缩包

    • 通过zip压缩包上传任意配置文件:core-  site.xml、hdfs-site.xml、hive-site.xml

    同左侧说明
    Hive Metastore URL无该设置项

    支持通过逗号分隔填入多个URI

    示例:thrift://hms-1:9083,thrift://hms-2:9083

    扩展参数项为未来场景做准备,目前无实际意义

    3. 使用数据源

    配置数据连接后,可在实时任务的 Paimon输入Paimon输出 算子中使用。




    附件列表


    主题: 配置数据源
    • 有帮助
    • 没帮助
    • 只是浏览
    中文(简体)

    鼠标选中内容,快速反馈问题

    鼠标选中存在疑惑的内容,即可快速反馈问题,我们将会跟进处理。

    不再提示

    10s后关闭



    AI

    联系我们
    在线支持
    获取专业技术支持,快速帮助您解决问题
    工作日9:00-12:00,13:30-17:30在线
    页面反馈
    针对当前网页的建议、问题反馈
    售前咨询
    采购需求/获取报价/预约演示
    或拨打: 400-811-8890 转1
    qr
    热线电话
    咨询/故障救援热线:400-811-8890转2
    总裁办24H投诉:17312781526
    提交页面反馈
    仅适用于当前网页的意见收集,帆软产品问题请在 问答板块提问前往服务平台 获取技术支持