大数据集导出

  • Last update:  2022-09-16
  • 1. 概述

    1.1 版本

    报表服务器版本功能变更
    11.0.5

    JS实现大数据集导出Excel大数据集导出Excel插件 这两个场景下的优化:

    • 日志细化,新增错误代码

    • 导出过程中,出现错误的交互界面优化

    1.2 功能简介

    本文介绍大数据集模板导出方案,特别是大数据的 Excel,很占内存,再碰上大并发,有很大可能服务器内存溢出,或者是数据量太大的时候,一直卡在导出页面,根本导不出来。因此,针对大数据量的模板,需要根据业务需求,采用不同的方法。按 cpt 模板和cptx模板来选择适合的方法,如下图所示:

    2. 导出方案对比

    方案简介优缺点

    大数据集导出Excel插件


    1)导出的文件名可以重命名,导出的列可以选择数据集里全部字段,也可以选择部分,且支持根据参数面板选择的条件进行导出对应数据

    2)建议导出的数据量不超过「1000W 行 * 20 列」,数据量超大可能会导致仅导出部分数据

    3)支持 cpt 和 cptx 

    4)导出的结果:EXCEL 文件

    1)优点:

    • 后台流式导出,速度快

    • 不需要写 JS

    • 可以不用报表预览,直接导出对应数据集的数据

    2)缺点:


    JS实现大数据集导出Excel


    1)支持导出动态列,支持根据参数面板选择的条件进行导出对应数据,JS 导出最灵活

    2)建议导出的数据量不超过「1000W 行 * 20 列」

    3)只支持 cpt,不支持 cptx

    4)导出的结果:EXCEL 文件

    1)优点:

    • 支持导出动态列

    • 灵活

    • 可以不用查询直接调用数据集进行导出,提高用户操作便捷性

    2)缺点:

    • 需要写 JS

    • 无法对导出 Excel 进行命名,且不能指定列

    新计算引擎大数据集导出


    1)可以选择导出哪个数据集,但不能指定导出数据集里的哪些字段。支持根据参数面板选择的条件进行导出对应数据

    2)适用于 cptx 模板

    3)导出的结果:EXCEL 文件

    1)优点:

    跟行式引擎相比,使用限制没那么多,且可以选导出哪个数据集

    2)缺点:

    • 不支持自定义导出哪些字段

    • 需要写 JS

    • 只适用于新引擎的 cptx 模板

    启用行式引擎执行层式报表

    1)启用行式引擎的大数据量报表导出 Excel 时,是将其分成多个 .xls 文件,且是以一个压缩包文件的格式传输到客户端的

    2)导出会变成 xls,即非流式导出,占用内存会变大;装上 流式导出支持行式引擎插件 就会导出 xlsx ,即流式导出了

    注:行式引擎功能主要为了解决预览慢的问题而非导出慢的问题


    1)优点:

    使用行式引擎之后,URL 后面直接加&format=excel就是流式导出了,比较方便

    2)缺点:

    行式引擎的使用限制条件比较多

    Excel 流式导出支持行式引擎插件
    -

    优点:

    流式处理占用内存低,服务器对浏览器的响应也是非常迅速的,可以导出几百万行数据

    注1:启用行式引擎和没启用行式引擎的对比说明请参见:大数据量导出Excel

    注2:多数据集实现层式报表 分页,原样,分页分sheet导出都只能导出当前页的数据

    3. 问题排查

    4. 功能变动

    本节描述的优化只针对 JS实现大数据集导出Excel大数据集导出Excel插件 这两个场景。

    4.1 11.0.5 版本

    4.1.1 日志优化

    错误代码标题错误详情
    11100025大数据集导出异常请检查xx数据字段的格式,参考 大数据集导出常见问题 获取帮助或联系技术支持
    11100026大数据集导出异常请数据字段名或列名是否存在特殊字符,参考 大数据集导出常见问题 获取帮助或联系技术支持
    11100027大数据集导出连接超时连接超时,参考 大数据集导出常见问题 获取帮助或联系技术支持
    -大数据集导出发生未知错误发生未知错误,参考 大数据集导出常见问题 获取帮助或联系技术支持

    4.1.2 导出过程交互优化

    导出过程中,若出现错误,则弹出弹窗,弹窗内容包括:标题、错误代码、错误详情、错误堆栈。如下图所示:

    注:有忽略错误做法的,显示「忽略」按钮;若无忽略做法,则仅展示「退出」按钮。

    1652358453692641.png

    1)若点击「退出」按钮,则终止导出,恢复预览界面。

    2)若长时间不点击,超时后再次点击,则弹出弹窗,弹窗内容为:已超时,请刷新页面再次导出。点击「确定」或叉号,则刷新当前页面。

    注:超时时间取「平台>生命周期」中的清除过期会话时长。


    1652358852481035.png


    Attachment List


    Theme: 报表专题
    Already the First
    • Helpful
    • Not helpful
    • Only read

    滑鼠選中內容,快速回饋問題

    滑鼠選中存在疑惑的內容,即可快速回饋問題,我們將會跟進處理。

    不再提示

    10s後關閉

    Get
    Help
    Online Support
    Professional technical support is provided to quickly help you solve problems.
    Online support is available from 9:00-12:00 and 13:30-17:30 on weekdays.
    Page Feedback
    You can provide suggestions and feedback for the current web page.
    Pre-Sales Consultation
    Business Consultation
    Business: international@fanruan.com
    Support: support@fanruan.com
    Page Feedback
    *Problem Type
    Cannot be empty
    Problem Description
    0/1000
    Cannot be empty

    Submitted successfully

    Network busy