Linux最大打开文件数

  • Last update:  2021-06-04
  • 1. 概述

    在使用 Linux 服务器部署 FineBI 时,有时会出现报错打开的文件过多或者too many open files,如下图所示:

    37.png

    此问题是因为 Linux 系统本身默认系统应用最大打开的文件数为 1024,BI 执行时会读取保存在本地的数据,有些情况 BI 打开的文件数会超过这个限制,因此需要手动改掉linux系统的最大打开文件数。该修改在不同情况下会涉及到3个关键值。 

    2. 参数说明

    2.1 相关参数说明

    1)nofile 

    nofile 值是指单进程的最大打开文件数。

    2)nr_open 

    该值是指单个进程可分配的最大文件数,通常默认值为1024*1024=1048576;

    3)file-max 

    该值是系统内核一共可以打开的最大值,默认值是185745;

    2.2 修改策略

    一般情况下,nofile 的值不允许超过 nr_open 和 file-max 的值。因此在修改 nofile 时要考虑是否超过以上两个值的情况:

    • 当要修改的「nofile」值(最大打开文件数)未超过「nr_open」和「file-max」两个值时,直接修改「nofile」值即可;

    • 当要修改的「nofile」值(最大打开文件数)超过「nr_open」和「file-max」两个值时,不仅要修改「nofile」的值,还要修改「nr_open」和「file-max」的值满足「大于nofile」值。

    3. 修改方法

    3.1 查看相关参数大小

    查看修改前参数的大小,如下图所示:

    1599728103695186.png

    命令如下所示:

    cat /proc/sys/fs/nr_open
    cat /proc/sys/fs/file-max
    ulimit -n

    3.2 修改 limit 中 nofile 值

    当要修改的「nofile」值(最大打开文件数)未超过「nr_open」和「file-max」两个值时,直接修改「nofile」值即可。

    3.2.1 临时生效

    输入ulimit -n 128000,如下图所示:

    7.png

    3.2.2 永久生效

    注:参考该节步骤一后,直接执行 reboot 重启服务器,即可生效;若不想重启服务器,可参考本节完整步骤。

    1)使用vi /etc/security/limits.conf编辑 limits.conf 文件,修改 nofile 值(其中 128000 即为修改的 nofile 值),如下所示:

    vi /etc/security/limits.conf  #进入文件编辑界面
    * soft nofile 128000 #确保有该行内容
    * hard nofile 128000  #确保有该行内容

    注:有的系统需把「*」替换为具体用户名才生效,例如root soft nofile 128000

    13.png

    2)编辑/etc/pam.d/login文件,确保有下面内容,如下图所示:

    session required pam_limits.so

    10.png

    3)使用exit语句退出终端重新登录即可。如下图所示:

    1622787438237364.png

    3.3 nr_open 和 file-max 值

    3.3.1 临时生效

    echo 1200000 > /proc/sys/fs/nr_open
    echo 200000 > /proc/sys/fs/file-max

    3.3.2 永久生效:需重启服务器

    当要修改的最大打开文件数超过 nr_open 和 file-max 时,就需要改动该值,将该值提高。其修改方式如下:

    在文件/proc/sys/fs/nr_open
    中加入如下代码:(1200000 为修改的参数值)

    fs.nr_open=1200000

    在文件 /proc/sys/fs/file-max 中插入如下代码:

    fs.file-max=200000

    保存并执行 reboot 重启服务器。

    注:Linux的内核参数 nr_open 只有在内核版本是 2.6.25 之后的版本才可设置。查看内核版本使用命令“uname -a”。

    然后再修改 nofile 值 ,请参见 3.2 节。

    3.3.3 永久生效:无需重启服务器

    /etc/sysctl.conf中设置fs.nr_open= 1200000 fs.file-max=200000,然后执行sysctl -p,使配置生效。如下所示:

    15.png

    3.4 效果查看

    通过cat /proc/pid/limits查看单进程最大打开文件数,如下图所示:

    1612427271613637.png

    4. 注意事项

    4.1 普通用户修改未生效

    问题描述

    参考本文 3.2.2 节无需重启服务器的步骤后,普通用户修改未生效,使用 ssh 连接 Linux 报错:ulimit: open files: cannot modify limit: Operation not permitted

    原因分析

    该问题发生在 openssh 升级之后,且只有 ssh 登录才发生此问题,与 ssh 有关。

    解决方案

    1)修改sshd_config文件,将#UseLogin no修改为UseLogin yes,如下所示:

    vi  /etc/ssh/sshd_config

    1622787539250143.png

    2)使用service sshd restart重启 ssh 服务。

    附件列表


    主题: 部署集成
    • Helpful
    • Not helpful
    • Only read

    滑鼠選中內容,快速回饋問題

    滑鼠選中存在疑惑的內容,即可快速回饋問題,我們將會跟進處理。

    不再提示

    10s後關閉

    Get
    Help
    Online Support
    Professional technical support is provided to quickly help you solve problems.
    Online support is available from 9:00-12:00 and 13:30-17:30 on weekdays.
    Page Feedback
    You can provide suggestions and feedback for the current web page.
    Pre-Sales Consultation
    Business Consultation
    Business: international@fanruan.com
    Support: support@fanruan.com
    Page Feedback
    *Problem Type
    Cannot be empty
    Problem Description
    0/1000
    Cannot be empty

    Submitted successfully

    Network busy