怎么查看系统的上下⽂切换情况
vmstat 是⼀个常⽤的系统性能分析⼯具,主要⽤来分析系统的内存使⽤情况,也常⽤来分析 CPU 上下⽂切换和中断的次数。
# 每隔5秒输出1组数据
root@Test-MySQL:/home/zoom# vmstat 5
procs -----------memory---------- ---swap-- -----io---- -system-- ------cpu-----r b swpd free buff cache si so bi bo in cs us sy id wa st1 0 858404 353872 278700 6337136 0 0 13 139 4 15 1 0 99 0 0
- cs(context switch)是每秒上下⽂切换的次数。
- in(interrupt)则是每秒中断的次数。
- r(Running or Runnable)是就绪队列的⻓度,也就是正在运⾏和等待CPU的进程数。
- b(Blocked)则是处于不可中断睡眠状态的进程数。
可以看到,这个例⼦中的上下⽂切换次数 cs 是15次,⽽系统中断次数 in 则是4次,⽽就绪队列⻓度r是1,不可中断状态进程数b是0。
vmstat 只给出了系统总体的上下⽂切换情况,要想查看每个进程的详细情况,就需要使⽤我们前⾯提到过的 pidstat 了。给它加上 -w 选项,你就可以查看每个进程上下⽂切换的情况了。
# 每隔5秒输出1组数据
root@Test-MySQL:/home/zoom# pidstat -w 5
Linux 5.15.0-119-generic (Test-MySQL) 09/18/2024 _x86_64_ (4 CPU)09:15:17 AM UID PID cswch/s nvcswch/s Command
09:15:22 AM 0 14 12.38 0.00 rcu_sched
09:15:22 AM 0 15 0.40 0.00 migration/0
09:15:22 AM 0 21 0.40 0.00 migration/1
09:15:22 AM 0 27 0.40 0.00 migration/2
09:15:22 AM 0 33 0.40 0.00 migration/3
09:15:22 AM 0 44 2.00 0.00 kcompactd0
09:15:22 AM 0 152 22.75 0.00 kworker/2:1H-kblockd
09:15:22 AM 0 198 0.20 0.00 kworker/3:1H-kblockd
09:15:22 AM 0 235 4.79 0.00 irq/16-vmwgfx
09:15:22 AM 0 487 0.60 0.20 jbd2/dm-0-8
09:15:22 AM 0 604 1.20 0.00 multipathd
09:15:22 AM 0 823 10.98 0.00 vmtoolsd
09:15:22 AM 101 923 0.20 0.00 systemd-network
09:15:22 AM 0 965 0.20 0.00 irqbalance
09:15:22 AM 115 994 0.20 0.00 chronyd
09:15:22 AM 0 2332 4.79 0.00 ssm-agent-worke
09:15:22 AM 0 602404 28.94 0.00 kworker/u256:2-events_power_efficient
09:15:22 AM 0 602858 3.79 0.00 kworker/u256:1-ext4-rsv-conversion
09:15:22 AM 1000 602865 0.20 0.00 sshd
09:15:22 AM 0 612155 1.20 0.00 kworker/1:2-events
09:15:22 AM 0 612174 11.78 0.00 kworker/0:0-events
09:15:22 AM 0 613212 4.19 0.00 kworker/3:0-events
09:15:22 AM 0 613242 11.78 0.00 kworker/2:0-events
09:15:22 AM 0 613244 0.20 0.00 pidstat
这个结果中有两列内容是我们的重点关注对象。⼀个是 cswch ,表示每秒⾃愿上下⽂切换(voluntary context switches)的次数,另⼀个则是 nvcswch ,表示每秒⾮⾃愿上下⽂切换(non voluntary context switches)的次数。这两个概念意味着不同的性能问题:
- 所谓⾃愿上下⽂切换,是指进程⽆法获取所需资源,导致的上下⽂切换。⽐如说, I/O、内存等系统资源不⾜时,就会发⽣⾃愿上下⽂切换。
- ⾮⾃愿上下⽂切换,则是指进程由于时间⽚已到等原因,被系统强制调度,进⽽发⽣的上下⽂切换。⽐如说,⼤量进程都在争抢 CPU 时,就容易发⽣⾮⾃愿上下⽂切换。
案例分析
知道了怎么查看这些指标,另⼀个问题⼜来了,上下⽂切换频率是多少次才算正常呢?我们先来看⼀个上下⽂切换的案例。通过案例实战演练分析并找出这个标准。我们将使⽤ sysbench 来模拟系统多线程调度切换的情况。sysbench 是⼀个多线程的基准测试⼯具,⼀般⽤来评估不同系统参数下的数据库负载情况。当然,在这次案例中,我们只把它当成⼀个异常进程来看,作⽤是模拟上下⽂切换过多的问题。
先⽤ vmstat 看⼀下空闲系统的上下⽂切换次数。这⾥你可以看到,现在的上下⽂切换次数 cs 是15,⽽中断次数 in 是4,r和b都是0。因为这会⼉我并没有运⾏其他任务,所以它们就是空闲系统的上下⽂切换次数。
root@Test-MySQL:/home/zoom# vmstat
procs -----------memory---------- ---swap-- -----io---- -system-- ------cpu-----r b swpd free buff cache si so bi bo in cs us sy id wa st0 0 858404 364240 278796 6338484 0 0 13 139 4 15 1 0 99 0 0
操作和分析
在第⼀个终端⾥运⾏ sysbench ,模拟系统多线程调度的瓶颈
# 以10个线程运⾏5分钟的基准测试,模拟多线程切换的问题
sysbench --threads=10 --max-time=300 threads run
接着,在第⼆个终端运⾏ vmstat ,观察上下⽂切换情况:
root@Test-MySQL:/home/zoom# vmstat 1
procs -----------memory---------- ---swap-- -----io---- -system-- ------cpu-----r b swpd free buff cache si so bi bo in cs us sy id wa st6 0 858404 363516 278884 6339308 0 0 0 16 191677 1221954 13 68 18 0 04 0 858404 363516 278884 6339316 0 0 0 0 195832 1270357 12 69 19 0 0
CPU上下文切换由15骤然上升到了 120 多万。同时,注意观察其他⼏个指标:
- r 列:就绪队列的⻓度已经到了 6,远远超过了系统 CPU 的个数 2,所以肯定会有⼤量的 CPU 竞争。
- us(user)和 sy(system)列:这两列的CPU 使⽤率加起来上升到了 81%,其中系统 CPU 使⽤率,也就是 sy 列⾼达68%,说明 CPU 主要是被内核占⽤了。
- in 列:中断次数也上升到了1万左右,说明中断处理也是个潜在的问题。
综合这⼏个指标,我们可以知道,系统的就绪队列过⻓,也就是正在运⾏和等待CPU的进程数过多,导致了⼤量的上下⽂切换,⽽上下⽂切换⼜导致了系统 CPU 的占⽤率升⾼。
那么到底是什么进程导致了这些问题呢?我们继续分析,在第三个终端再⽤ pidstat 来看⼀下, CPU 和进程上下⽂切换的情况:
# 每隔1秒输出1组数据(需要 Ctrl+C 才结束)
# -w参数表示输出进程切换指标,⽽-u参数则表示输出CPU使⽤指标root@MySQL-MGR-01:/home/zoom# pidstat -w -u 1
Linux 5.15.0-107-generic (MySQL-MGR-01) 07/29/2025 _x86_64_ (8 CPU)11:00:24 PM UID PID %usr %system %guest %wait %CPU CPU Command
11:00:25 PM 0 844 1.96 0.98 0.00 0.00 2.94 3 falcon-sensor-b
11:00:25 PM 1007 355920 0.98 0.98 0.00 0.00 1.96 3 mysqlrouter
11:00:25 PM 1006 459465 0.98 0.00 0.00 0.00 0.98 7 mysqld
11:00:25 PM 0 595898 0.00 0.98 0.00 0.00 0.98 3 kworker/u256:2-events_freezable_power_
11:00:25 PM 0 607116 87.25 409.80 0.00 0.00 497.06 6 sysbench
11:00:25 PM 0 607170 0.98 0.00 0.00 0.00 0.98 0 pidstat
11:00:25 PM 0 607175 2.94 0.98 0.00 0.00 3.92 3 falcon-predict11:00:24 PM UID PID cswch/s nvcswch/s Command
11:00:25 PM 0 2 0.98 0.00 kthreadd
11:00:25 PM 0 13 0.98 0.00 ksoftirqd/0
11:00:25 PM 0 14 66.67 0.00 rcu_sched
11:00:25 PM 0 21 0.98 0.00 migration/1
11:00:25 PM 0 22 0.98 0.00 ksoftirqd/1
11:00:25 PM 0 28 4.90 0.00 ksoftirqd/2
11:00:25 PM 0 34 6.86 0.00 ksoftirqd/3
11:00:25 PM 0 46 1.96 0.00 ksoftirqd/5
11:00:25 PM 0 58 0.98 0.00 ksoftirqd/7
11:00:25 PM 0 230 0.98 0.00 kworker/4:1H-kblockd
11:00:25 PM 0 406 4.90 0.00 irq/16-vmwgfx
11:00:25 PM 0 516 2.94 0.00 jbd2/dm-0-8
11:00:25 PM 0 631 1.96 0.00 multipathd
11:00:25 PM 0 844 1.96 0.00 falcon-sensor-b
11:00:25 PM 0 175252 10.78 0.00 vmtoolsd
11:00:25 PM 0 268992 0.98 0.00 qualys-cep
11:00:25 PM 0 354689 5.88 0.98 watch
11:00:25 PM 1006 459465 0.98 0.00 mysqld
11:00:25 PM 0 489812 11.76 0.00 kworker/3:1-rcu_par_gp
11:00:25 PM 0 595898 26.47 0.00 kworker/u256:2-events_freezable_power_
11:00:25 PM 0 599305 1.96 0.00 kworker/u256:4-events_unbound
11:00:25 PM 1000 603807 0.98 0.00 sshd
11:00:25 PM 0 603823 2.94 0.00 kworker/3:0-rcu_par_gp
11:00:25 PM 1000 604932 0.98 0.00 sudo
11:00:25 PM 0 605595 0.98 0.00 vmstat
11:00:25 PM 0 605600 18.63 0.00 kworker/3:2-events
11:00:25 PM 0 605602 19.61 0.00 kworker/0:1-events
11:00:25 PM 0 605603 9.80 0.00 kworker/2:0-events
11:00:25 PM 0 605604 0.98 0.00 kworker/2:3-rcu_par_gp
11:00:25 PM 0 605712 1.96 0.00 kworker/7:3-events
11:00:25 PM 0 605713 1.96 0.00 kworker/4:0-events
11:00:25 PM 0 605992 20.59 0.00 kworker/1:1-events
11:00:25 PM 0 606074 1.96 0.00 kworker/5:1-events
11:00:25 PM 0 606578 4.90 0.00 kworker/1:3-rcu_par_gp
11:00:25 PM 0 607170 0.98 2.94 pidstat
11:00:25 PM 0 607175 1.96 5.88 falcon-predict
11:00:25 PM 0 607176 5.88 1.96 kworker/3:3-inet_frag_wq
从pidstat的输出你可以发现,CPU 使⽤率的升⾼果然是 sysbench 导致的,它的 CPU 使⽤率已经达到了 497%。但上下⽂切换则是来⾃其他进程,包括⾃愿上下⽂切换频率最⾼的 rcu_sched等。不过,pidstat 输出的上下⽂切换次数,加起来也就一百多,⽐ vmstat 的 127 万明显⼩了太多。这是怎么
回事呢?难道是⼯具本身出了错吗?别着急,在怀疑⼯具之前,我们再来回想⼀下,前⾯讲到的⼏种上下⽂切换场景。其中有⼀点提到, Linux 调度的基本单位实际上是线程,⽽我们的场景 sysbench 模拟的也是线程的调度问题,那么,是不是 pidstat 忽略了线程的数据呢?通过运⾏ man pidstat ,你
会发现,pidstat 默认显示进程的指标数据,加上 -t 参数后,才会输出线程的指标。所以,我们可以在第三个终端⾥, Ctrl+C 停⽌刚才的 pidstat 命令,再加上 -t 参数,重试⼀下看看:
# 每隔1秒输出⼀组数据(需要 Ctrl+C 才结束)
# -wt 参数表示输出线程的上下⽂切换指标root@MySQL-MGR-01:/home/zoom# pidstat -wt 1
Linux 5.15.0-107-generic (MySQL-MGR-01) 07/29/2025 _x86_64_ (8 CPU)11:08:38 PM UID TGID TID cswch/s nvcswch/s Command
11:08:39 PM 0 1 - 0.95 0.00 systemd
11:08:39 PM 0 - 1 0.95 0.00 |__systemd
11:08:39 PM 0 14 - 33.33 0.00 rcu_sched
11:08:39 PM 0 - 14 33.33 0.00 |__rcu_sched
11:08:39 PM 0 28 - 4.76 0.00 ksoftirqd/2
11:08:39 PM 0 - 28 4.76 0.00 |__ksoftirqd/2
11:08:39 PM 0 40 - 1.90 0.00 ksoftirqd/4
11:08:39 PM 0 - 40 1.90 0.00 |__ksoftirqd/4
11:08:39 PM 0 58 - 4.76 0.00 ksoftirqd/7
11:08:39 PM 0 - 58 4.76 0.00 |__ksoftirqd/7
11:08:39 PM 0 423 - 0.95 0.00 kworker/6:1H-kblockd
11:08:39 PM 0 - 423 0.95 0.00 |__kworker/6:1H-kblockd
11:08:39 PM 0 516 - 3.81 0.00 jbd2/dm-0-8
11:08:39 PM 0 - 516 3.81 0.00 |__jbd2/dm-0-8
11:08:39 PM 0 631 - 1.90 0.00 multipathd
11:08:39 PM 0 - 631 1.90 0.00 |__multipathd
11:08:39 PM 0 - 641 0.95 0.00 |__multipathd
11:08:39 PM 0 844 607601 20.95 0.00 (falcon-sensor-b)__workqueue
11:08:39 PM 0 - 1099457 19.05 0.95 |__evdefer/0
11:08:39 PM 0 - 1099458 19.05 0.00 |__evdefer/1
11:08:39 PM 0 - 1099459 19.05 0.00 |__evdefer/2
11:08:39 PM 0 - 1099460 16.19 4.76 |__evdefer/3
11:08:39 PM 0 - 1099463 43.81 0.00 |__wqtimer
11:08:39 PM 0 - 1099468 72.38 0.00 |__falcon-sensor-b
11:08:39 PM 0 - 1099550 11.43 5.71 |__bpfrb/0
11:08:39 PM 0 - 1099551 14.29 0.00 |__bpfrb/1
11:08:39 PM 101 84233 - 0.95 0.00 systemd-network
11:08:39 PM 101 - 84233 0.95 0.00 |__systemd-network
11:08:39 PM 0 175252 - 10.48 0.00 vmtoolsd
11:08:39 PM 0 - 175252 10.48 0.00 |__vmtoolsd
11:08:39 PM 0 - 175263 0.95 0.00 |__HangDetector
11:08:39 PM 0 268992 - 0.95 0.00 qualys-cep
11:08:39 PM 0 - 268992 0.95 0.00 |__qualys-cep
11:08:39 PM 0 354689 - 9.52 0.00 watch
11:08:39 PM 0 - 354689 9.52 0.00 |__watch
11:08:39 PM 1007 355920 355943 49.52 5.71 (mysqlrouter)__MDC Refresh
11:08:39 PM 1006 459465 - 1.90 0.00 mysqld
11:08:39 PM 1006 - 459465 1.90 0.00 |__mysqld
11:08:39 PM 1006 - 459488 1.90 0.00 |__ib_io_ibuf
11:08:39 PM 1006 - 459489 1.90 0.00 |__ib_io_rd-1
11:08:39 PM 1006 - 459490 1.90 0.00 |__ib_io_rd-2
11:08:39 PM 1006 - 459491 1.90 0.00 |__ib_io_rd-3
11:08:39 PM 1006 - 459492 1.90 0.00 |__ib_io_rd-4
11:08:39 PM 1006 - 459493 1.90 0.00 |__ib_io_wr-1
11:08:39 PM 1006 - 459494 1.90 0.00 |__ib_io_wr-2
11:08:39 PM 1006 - 459495 1.90 0.00 |__ib_io_wr-3
11:08:39 PM 1006 - 459496 1.90 0.00 |__ib_io_wr-4
11:08:39 PM 1006 - 459497 1.90 0.00 |__ib_io_wr-5
11:08:39 PM 1006 - 459498 1.90 0.00 |__ib_io_wr-6
11:08:39 PM 1006 - 459499 1.90 0.00 |__ib_io_wr-7
11:08:39 PM 1006 - 459500 1.90 0.00 |__ib_io_wr-8
11:08:39 PM 1006 - 459501 0.95 0.00 |__ib_pg_flush_co
11:08:39 PM 1006 - 459511 0.95 0.00 |__ib_log_checkpt
11:08:39 PM 1006 - 459512 9.52 0.00 |__ib_log_fl_notif
11:08:39 PM 1006 - 459513 10.48 0.00 |__ib_log_flush
11:08:39 PM 1006 - 459514 9.52 0.00 |__ib_log_wr_notif
11:08:39 PM 1006 - 459515 9.52 0.00 |__ib_log_writer
11:08:39 PM 1006 - 459516 100.00 0.00 |__ib_log_files_g
11:08:39 PM 1006 - 459521 0.95 0.00 |__ib_srv_lock_to
11:08:39 PM 1006 - 459522 0.95 0.00 |__ib_srv_err_mon
11:08:39 PM 1006 - 459525 1.90 0.00 |__ib_src_main
11:08:39 PM 1006 - 459526 0.95 0.00 |__ib_dict_stats
11:08:39 PM 1006 - 459530 0.95 0.00 |__xpl_accept-1
11:08:39 PM 1006 - 459543 10.48 0.00 |__ib_clone_gtid
11:08:39 PM 1006 - 459559 3.81 0.00 |__gcs_engine
11:08:39 PM 1006 - 459561 0.95 0.00 |__gr_certif
11:08:39 PM 1006 - 459562 2.86 0.00 |__rpl_rca_sql-0
11:08:39 PM 1006 - 459569 131.43 1.90 |__gcs_xcom
11:08:39 PM 1006 - 459575 0.95 0.00 |__connection
11:08:39 PM 1006 - 459587 5.71 0.00 |__connection
11:08:39 PM 1006 - 459912 5.71 0.00 |__connection
11:08:39 PM 1006 - 461078 2.86 0.00 |__rpl_rca_io-0
11:08:39 PM 1006 - 461079 0.95 0.00 |__rpl_rca_sql-0
11:08:39 PM 0 593910 593914 0.95 0.00 (fwupd)__GUsbEventThread
11:08:39 PM 0 595898 - 7.62 0.00 kworker/u256:2-events_freezable_power_
11:08:39 PM 0 - 595898 7.62 0.00 |__kworker/u256:2-events_freezable_power_
11:08:39 PM 0 605600 - 1.90 0.00 kworker/3:2-mm_percpu_wq
11:08:39 PM 0 - 605600 1.90 0.00 |__kworker/3:2-mm_percpu_wq
11:08:39 PM 0 605602 - 0.95 0.00 kworker/0:1-events
11:08:39 PM 0 - 605602 0.95 0.00 |__kworker/0:1-events
11:08:39 PM 0 605603 - 8.57 0.00 kworker/2:0-events
11:08:39 PM 0 - 605603 8.57 0.00 |__kworker/2:0-events
11:08:39 PM 0 605709 - 0.95 0.00 kworker/6:0-mm_percpu_wq
11:08:39 PM 0 - 605709 0.95 0.00 |__kworker/6:0-mm_percpu_wq
11:08:39 PM 0 605712 - 1.90 0.00 kworker/7:3-mm_percpu_wq
11:08:39 PM 0 - 605712 1.90 0.00 |__kworker/7:3-mm_percpu_wq
11:08:39 PM 0 605713 - 2.86 0.00 kworker/4:0-events
11:08:39 PM 0 - 605713 2.86 0.00 |__kworker/4:0-events
11:08:39 PM 0 605992 - 10.48 0.00 kworker/1:1-mm_percpu_wq
11:08:39 PM 0 - 605992 10.48 0.00 |__kworker/1:1-mm_percpu_wq
11:08:39 PM 0 606074 - 0.95 0.00 kworker/5:1-mm_percpu_wq
11:08:39 PM 0 - 606074 0.95 0.00 |__kworker/5:1-mm_percpu_wq
11:08:39 PM 0 608383 608384 21797.14 15422.86 (sysbench)__sysbench
11:08:39 PM 0 - 608385 19275.24 15637.14 |__sysbench
11:08:39 PM 0 - 608386 22426.67 23550.48 |__sysbench
11:08:39 PM 0 - 608387 20943.81 28220.00 |__sysbench
11:08:39 PM 0 - 608388 21609.52 20965.71 |__sysbench
11:08:39 PM 0 - 608389 20708.57 14800.00 |__sysbench
11:08:39 PM 0 - 608390 20321.90 20271.43 |__sysbench
11:08:39 PM 0 - 608391 19557.14 14730.48 |__sysbench
11:08:39 PM 0 - 608392 22974.29 17402.86 |__sysbench
11:08:39 PM 0 - 608393 20883.81 28958.10 |__sysbench
11:08:39 PM 0 - 608394 20070.48 20327.62 |__sysbench
11:08:39 PM 0 - 608395 20052.38 20308.57 |__sysbench
11:08:39 PM 0 - 608396 19577.14 22288.57 |__sysbench
11:08:39 PM 0 - 608397 18962.86 14022.86 |__sysbench
11:08:39 PM 0 - 608398 18878.10 18056.19 |__sysbench
11:08:39 PM 0 - 608399 22900.00 17213.33 |__sysbench
11:08:39 PM 0 - 608400 22464.76 19083.81 |__sysbench
11:08:39 PM 0 - 608401 22175.24 16828.57 |__sysbench
11:08:39 PM 0 - 608402 20079.05 19260.00 |__sysbench
11:08:39 PM 0 - 608403 20714.29 13056.19 |__sysbench
11:08:39 PM 0 608673 - 0.95 7.62 pidstat
11:08:39 PM 0 - 608673 0.95 7.62 |__pidstat
现在你就能看到了,虽然 sysbench 进程(也就是主线程)的上下⽂切换次数看起来并不多,但它的⼦线程的上下⽂切换次数却有很多。看来,上下⽂切换罪魁祸⾸,还是过多的 sysbench 线程。通过这个案例,你应该也发现了多⼯具、多⽅⾯指标对⽐观测的好处。
如果最开始时,我们只⽤了 pidstat观测,这些很严重的上下⽂切换线程,压根⼉就发现不了了。
现在再回到最初的问题,每秒上下⽂切换多少次才算正常呢?
这个数值其实取决于系统本身的 CPU 性能。在我看来,如果系统的上下⽂切换次数⽐较稳定,那么从数百到⼀万以内,都应该算是正常的。但当上下⽂切换次数超过⼀万次,或者切换次数出现数量级的增⻓时,就很可能已经出现了性能问题。这时,你还需要根据上下⽂切换的类型,再做具体分析。⽐⽅说:
- ⾃愿上下⽂切换变多了,说明进程都在等待资源,有可能发⽣了 I/O 等其他问题;
- ⾮⾃愿上下⽂切换变多了,说明进程都在被强制调度,也就是都在争抢 CPU,说明 CPU 的确成了瓶颈;
- 中断次数变多了,说明 CPU 被中断处理程序占⽤,还需要通过查看 /proc/interrupts ⽂件来分析具体的中断类型。
⼩结
今天,我通过⼀个sysbench的案例,给你讲了上下⽂切换问题的分析思路。碰到上下⽂切换次数过多的问题时,我们可以借助 vmstat 、 pidstat 和 /proc/interrupts 等⼯具,来辅助排查性能问题的根源。