当前位置: 首页 > article >正文

Linux性能调优,还可以从这些方面入手

        linux是目前最常用的操作系统,下面是一些常见的 Linux 系统调优技巧,在进行系统调优时,需要根据具体的系统负载和应用需求进行调整,并进行充分的测试和监控,以确保系统的稳定性和性能。同时,调优过程中要谨慎操作,避免对系统造成不良影响。

        其主要调优方向,大概包含几个方面:内存、CPU、i/o  网络调优以及安全性和资源限制。

一、内存调优

1、调整内核参数

        vm.swappiness:控制内核将内存页换出到交换空间的倾向。值越低,系统越倾向于保留内存中的页,减少对交换空间的使用。

        默认情况下,vm.swappiness设置为60,在服务器上,当内存使用率达到40%时就可能会使用交换空间。当你的服务器的RAM充足时,这个值可以适当降低,设置为10或更低,以减少不必要的交换操作。

        修改方法:编辑/etc/sysctl.conf文件,写入vm.swappiness=10

        运行命令sysctl -p使更改生效。

        vm.vfs_cache_pressure:调整内核回收用于目录和 inode 缓存的内存的倾向。较高的值会使内核更积极地回收缓存,释放内存用于其他用途。默认值为 100,可以根据系统负载和内存需求进行调整。

2、使用大页内存

        大页内存可以减少页表的大小,提高内存访问效率。对于内存密集型应用,如数据库,可以显著提高性能。
        启用大页内存需要在系统启动时进行配置,并在应用程序中进行相应的设置。

(1)在Linux系统中,可以通过下面的命令来查看系统是否支持大页内存。

cat /proc/meminfo | grep Hugepagesize

如果输出了大页的大小信息,则说明系统支持大页内存

(2)配置大页内存

临时配置:

sysctl -w vm.nr_hugepages=<number_of_hugepages>

其中 <number_of_hugepages> 是要分配的大页数量,例如大页大小设置为4096

永久配置:

在 /etc/sysctl.conf 文件中添加以下参数:

vm.nr_hugepages=<number_of_hugepages>

保存文件后,使其生效:

sysctl -p

二、CPU 调优

1、调整进程优先级

        使用 nice 和 renice 命令可以调整进程的优先级。较低的优先级数值表示更高的优先级。

        对于关键任务或对响应时间要求较高的进程,可以提高其优先级,确保它们获得更多的 CPU 时间。

        优先级的值范围是 -20 到 19,数值越小,优先级越高。默认情况下,进程以优先级 0 启动。

nice 基本语法:

nice [-n adjustment] command [arguments]

以优先级 5 启动一个名为 test 的程序:nice -n 5 test

renice  命令用于调整正在运行的进程的优先级。

基本语法:

renice priority [-p] pid... 或 renice priority [-g] pgrp... 或 renice priority [-u] user...
  • 其中,priority 是要设置的新优先级,pid 是进程 ID,pgrp 是进程组 ID,user 是用户名。
  • 例如,将进程 ID 为 1234 的进程优先级调整为 10:renice 10 -p 1234

注意:只有 root 用户可以将进程优先级设置为负值,以提高进程的优先级,普通用户只能减低进程的优先级或者保持不变。

2、绑定 CPU 核心

        通过 taskset 命令或在启动应用程序时指定 CPU 亲和性,可以将特定的进程绑定到特定的 CPU 核心上。

        这可以避免进程在不同的 CPU 核心之间频繁切换,提高 CPU 缓存的命中率,从而提高性能。

查询进程的CPU亲和性:

taskset -p <pid>

<pid> 是进程的ID 

设置进程的CPU亲和性:

taskset -cp <cpuset> <pid>

<cpuset> 是一个用逗号分隔的CPU核心列表, <pid> 是进程的ID

例如:将进程 ID 为 1234 的进程绑定到 CPU 核心 0 和 1 上运行:taskset -cp 0,1 1234

启动新进程时设置CPU亲和性:

taskset <cpuset> <command> [arguments]

<cpuset> 是一个用逗号分隔的 CPU 核心列表,<command> 是要执行的命令,<arguments> 是命令的参数。

例如,启动一个名为 test 的程序,并将其绑定到 CPU 核心 2 和 3 上运行:taskset 2,3 test

三、磁盘 I/O 调优

1、使用 SSD 硬盘

        SSD 硬盘具有更快的读写速度和更低的访问延迟,可以显著提高系统的磁盘 I/O 性能。

        如果可能,可以将关键数据和频繁访问的文件存储在 SSD 上。

对于SSD存储,通常推荐使用none或deadline调度器;对于HDD,则cfq或bfq可能更适合。
检查当前使用的调度器:

cat /sys/block/sda/queue/scheduler

更改调度器:

echo deadline > /sys/block/sda/queue/scheduler

禁用访问时间更新:
        在挂载选项中加入noatime以避免每次文件被读取时都更新访问时间戳,这样可以减少不必要的磁盘I/O。
        编辑/etc/fstab,修改相关分区条目,例如UUID=... / ext4 defaults,noatime 0 1

2、调整文件系统参数

        对于不同的文件系统,可以调整一些参数来优化磁盘 I/O 性能。例如,对于 ext4 文件系统,可以调整 block sizeinode size 等参数。

Ext 文件系统系列(如 Ext4)

  • 在创建文件系统时,可以使用特定的工具和选项来调整块大小和其他参数。例如,使用 mkfs.ext4 命令时,可以通过 -b 选项指定块大小,如 -b 4096 设置块大小为 4KB。
  • inode size 通常不是一个直接可配置的选项,但可以通过调整文件系统的总体布局和存储策略来间接影响 inode 的使用和分配。

XFS 文件系统

  • 使用 mkfs.xfs 命令创建文件系统时,可以通过 -b size= 选项设置块大小,例如 -b size=8192 设置块大小为 8KB。
  • inode 大小通常是根据文件系统的创建参数和存储需求自动调整的,一般情况下不太容易直接指定具体的 inode size。

3、使用磁盘缓存

        Linux 系统的磁盘缓存可以提高磁盘 I/O 的性能。可以通过调整内核参数 vm.dirty_background_ratio 和 vm.dirty_ratio 来控制磁盘缓存的行为。

        vm.dirty_background_ratio 表示当内存中的脏页达到系统内存的一定比例时,内核开始将脏页异步写入磁盘。

        vm.dirty_ratio 表示当内存中的脏页达到系统内存的更高比例时,内核将阻塞所有的写操作,直到脏页被写入磁盘。

临时调整:

sysctl vm.dirty_background_ratio=10
sysctl vm.dirty_ratio=20

永久调整:

  编辑  /etc/sysctl.conf  文件,添加下面设置:

vm.dirty_background_ratio = 10
vm.dirty_ratio = 20

保存文件后,使用 sudo sysctl -p 命令使更改生效。

四、网络调优

1、调整网络缓冲区大小

  • 可以通过调整内核参数 net.core.rmem_maxnet.core.wmem_maxnet.ipv4.tcp_rmem 和 net.ipv4.tcp_wmem 来调整网络接收和发送缓冲区的大小。
  • 较大的缓冲区可以提高网络吞吐量,但也可能会增加内存的使用。

net.core.rmem_max:
        定义了内核套接字接收缓冲区的最大大小。这个参数决定了系统在接收网络数据时可以使用的最大缓冲区空间。
net.core.wmem_max:
        定义了内核套接字发送缓冲区的最大大小。它控制了系统在发送网络数据时可以使用的最大缓冲区空间。
net.ipv4.tcp_rmem:
        这个参数是一个包含三个整数值的数组,用于设置 TCP 接收缓冲区的最小、默认和最大大小。例如,4096 87380 6291456表示最小接收缓冲区大小为 4096 字节,默认大小为 87380 字节,最大大小为 6291456 字节。
net.ipv4.tcp_wmem:
        与net.ipv4.tcp_rmem类似,也是一个包含三个整数值的数组,用于设置 TCP 发送缓冲区的最小、默认和最大大小。

临时调整:

sysctl -w net.core.rmem_max=<value>
sysctl -w net.core.wmem_max=<value>
sysctl -w net.ipv4.tcp_rmem=<min>,<default>,<max>
sysctl -w net.ipv4.tcp_wmem=<min>,<default>,<max>

永久调整:

编辑  /etc/sysctl.conf  文件,添加下面设置:

     net.core.rmem_max=<value>
     net.core.wmem_max=<value>
     net.ipv4.tcp_rmem=<min>,<default>,<max>
     net.ipv4.tcp_wmem=<min>,<default>,<max>

保存文件后,使用sudo sysctl -p命令使更改生效。

2、启用网络流量控制

        使用 tc(Traffic Control)工具可以对网络流量进行整形和控制。可以限制特定的网络接口或 IP 地址的带宽使用,确保关键服务的网络带宽得到保障。

3、优化网络协议栈

        对于特定的网络应用,可以调整网络协议栈的参数来提高性能。例如,对于 Web 服务器,可以调整 tcp_tw_reuse 和 tcp_tw_recycle 等参数来优化 TCP 连接的回收和重用。

tcp_tw_reuse:
        这个参数允许在 TIME_WAIT 状态的连接被重新用于新的连接。当设置为 1 时,内核会在安全的情况下(例如连接的时间戳符合要求等)将处于 TIME_WAIT 状态的连接重新分配给新的连接请求。
        启用这个参数可以减少 TIME_WAIT 状态的连接数量,从而节省系统资源,特别是在高并发的服务器环境中。
tcp_tw_recycle:
        这个参数开启快速回收 TIME_WAIT 状态的连接。当设置为 1 时,内核会更快地回收 TIME_WAIT 状态的连接,以减少连接资源的占用。
        但是,在一些网络环境中,开启这个参数可能会导致连接问题,特别是在网络地址转换(NAT)环境下,可能会导致数据包丢失和连接失败。

临时调整:

sysctl -w net.ipv4.tcp_tw_reuse=1
sysctl -w net.ipv4.tcp_tw_recycle=1

永久调整:

编辑  /etc/sysctl.conf  文件,添加下面设置:

net.ipv4.tcp_tw_reuse=1
net.ipv4.tcp_tw_recycle=1

保存文件后,使用sudo sysctl -p命令使更改生效。

五、安全性和资源限制

        一般用在需要确保只有特定用户可以执行某些敏感操作,同时控制每个用户的资源消耗。

1、使用ulimit限制资源

        可以在用户的shell初始化脚本中设置ulimit指令,例如限制打开文件数、进程数等。

在 /etc/security/limits.conf 中定义全局或用户特定的资源限制。

临时调整:

ulimit -n 2048

永久调整:

编辑  /etc/security/limits.conf   文件添加设置:

/etc/security/limits.conf文件的每一行都包含四个字段,分别是:

  1. <domain>:指定限制的范围,可以是用户名、用户组名或通配符*表示全局范围。
  2. <type>:限制的类型,可以是soft(软限制)、hard(硬限制)或-(同时设置软限制和硬限制)。
  3. <item>:要限制的资源项,例如nofile(最大打开文件数)、nproc(最大进程数)等。
  4. <value>:资源限制的值。

例如:以下行表示将用户myuser的最大打开文件数软限制设置为 1024,硬限制设置为 2048:

myuser soft nofile 1024
myuser hard nofile 2048

保存文件后,通常需要用户重新登录才能生效。已经运行的进程,这些限制不会立即生效。

2、利用cgroups管理资源

cgroups(Control Groups)提供了一种机制来限制、记录和隔离进程组的资源使用情况。

创建cgroup目录结构并在其中设置相应的资源控制策略,如CPU份额、内存上限等。

创建cgroup目录:

        可以在 /sys/fs/cgroup/ 目录下创建。例如,创建一个名为  test 的 cgroup:

mkdir /sys/fs/cgroup/mygroup

设置资源控制策略:

        CPU份额控制:

                CPU 份额表示在多个 cgroup 之间分配 CPU 资源的比例。

                例如,设置CPU 份额为512 (相对权重):

echo 512 > /sys/fs/cgroup/mygroup/cpu.weight

        内存上限控制:

                设置内存上限可以限制cgroup中进程使用的内存总量:

                例如:设置内存上限为1GB :

echo 1073741824 > /sys/fs/cgroup/mygroup/memory.limit_in_bytes

将进程添加到cgroup 

        找到要添加到 cgroup 的进程 ID(PID)。可以使用命令如pstop来查找进程 ID。

将进程添加到cgroup

echo <pid> > /sys/fs/cgroup/mygroup/tasks

注意:在操作cgroups 时,可能需要使用管理员权限,确保你有足够的权限来创建和修改 cgroup 目录及设置资源控制策略。


http://www.kler.cn/news/353349.html

相关文章:

  • 第四十三条:方法引用优先于Lambda
  • 数据结构——广义表
  • pikachu靶场CSRF-post测试报告
  • linux环境下curl工具常用参数和用法
  • 【算法系列-栈与队列】匹配消除系列
  • 构建后端为etcd的CoreDNS的容器集群(二)、下载最新的etcd容器镜像
  • Linux虚拟机安装
  • pytorch与卷积神经网络实战笔记
  • Centos7 搭建单机elasticsearch
  • 【重学 MySQL】六十四、主键约束的使用
  • STM32嵌入式移植GmSSL库
  • 利用Spring Boot构建大创项目资源规划平台
  • 医药追溯码是什么?
  • Java多线程--实现跑马小游戏
  • 《学习方法报》是什么级别的报纸?
  • 鸿蒙网络编程系列4-实现Smtp邮件发送客户端
  • 海康NVR管理平台EasyNVR多品牌NVR管理工具实现智能化视频管理介入现代化工厂
  • vue 音频播放控件封装
  • [已解决]DockerTarBuilder永久解决镜像docker拉取异常问题
  • Redis --- 第四讲 --- 常用数据结构 --- string类型
  • IntelliJ IDEA插件开发-开发环境搭建
  • 关于C语言中局部变量与全局变量——超详细解释篇
  • 元数据 -BWF 广播音频扩展 (bext)
  • redis--过期策略和内存淘汰策略
  • 灵当CRM index.php 任意文件上传漏洞复现
  • 我也要!赚钱是分层的:这就是你又累又穷的原因——早读(逆天打工人爬取热门微信文章解读)