1. 從“看個(gè)大概”到“精準(zhǔn)定位”為什么你需要掌握系統(tǒng)資源查詢?cè)诜?wù)器運(yùn)維、應(yīng)用性能調(diào)優(yōu)甚至是日常排查個(gè)人電腦卡頓的時(shí)候我們最常問的幾個(gè)問題就是“CPU現(xiàn)在忙不忙”、“內(nèi)存還夠用嗎”、“磁盤是不是快滿了”、“程序是不是卡在IO上了”。這些問題看似基礎(chǔ)卻是診斷系統(tǒng)健康狀況、定位性能瓶頸的起點(diǎn)。很多人可能只會(huì)用top或htop看一眼得到一個(gè)籠統(tǒng)的印象但面對(duì)復(fù)雜的生產(chǎn)環(huán)境這種“看個(gè)大概”的做法往往不夠用。比如你發(fā)現(xiàn)一個(gè)Java應(yīng)用響應(yīng)變慢top顯示CPU使用率不高但系統(tǒng)負(fù)載Load Average卻很高。這時(shí)候你就需要更精細(xì)的工具來判斷是等待磁盤I/O的進(jìn)程太多還是內(nèi)存不足導(dǎo)致頻繁的Swap交換亦或是某個(gè)進(jìn)程陷入了不可中斷睡眠D狀態(tài)再比如磁盤使用率顯示還有30%空間但應(yīng)用卻報(bào)“磁盤空間不足”這可能是因?yàn)閕node用盡了而df -h命令默認(rèn)不顯示這個(gè)信息。掌握Linux下查詢CPU、磁盤、內(nèi)存、IO使用率的全套方法就像醫(yī)生掌握了聽診器、血壓計(jì)和X光機(jī)。它讓你能從“感覺系統(tǒng)有點(diǎn)慢”的模糊描述快速定位到“CPU的sy系統(tǒng)態(tài)使用率異常升高疑似系統(tǒng)調(diào)用頻繁”或“某塊NVMe SSD的讀寫延遲await飆升到200ms以上”的具體問題。這不僅是一個(gè)運(yùn)維工程師的基本功也是任何在Linux環(huán)境下進(jìn)行開發(fā)、測(cè)試工作的開發(fā)者應(yīng)該具備的核心技能。本文將帶你超越top和free -m深入一套從全局概覽到深度剖析的命令行工具集讓你真正看懂系統(tǒng)的“生命體征”。2. CPU使用率不只是那個(gè)百分百的數(shù)字CPU使用率是我們最關(guān)注的指標(biāo)之一但它背后的含義遠(yuǎn)比一個(gè)簡單的百分比復(fù)雜。在Linux中CPU時(shí)間被劃分為幾個(gè)不同的狀態(tài)用戶態(tài)us、系統(tǒng)態(tài)sy、空閑id、等待I/Owa、硬件中斷hi、軟件中斷si等。一個(gè)健康的系統(tǒng)其CPU時(shí)間應(yīng)該主要消耗在us運(yùn)行用戶程序和id空閑上。其他指標(biāo)的異常升高往往指向特定問題。2.1 實(shí)時(shí)監(jiān)控與進(jìn)程級(jí)洞察top/htop與pidstattop命令是實(shí)時(shí)監(jiān)控的瑞士軍刀。啟動(dòng)top后第一行顯示的load average1分鐘、5分鐘、15分鐘平均負(fù)載需要結(jié)合CPU核心數(shù)來解讀。如果1分鐘負(fù)載遠(yuǎn)高于CPU核心數(shù)說明系統(tǒng)在過去一分鐘內(nèi)非常繁忙。top的CPU行是關(guān)鍵%Cpu(s): 12.5 us, 6.2 sy, 0.0 ni, 81.0 id, 0.0 wa, 0.0 hi, 0.2 si, 0.0 stus(user): 12.5% 的CPU時(shí)間用于運(yùn)行用戶空間進(jìn)程。sy(system): 6.2% 用于運(yùn)行內(nèi)核空間進(jìn)程系統(tǒng)調(diào)用。wa(iowait):這是非常重要的指標(biāo)。0.0% 表示幾乎沒有進(jìn)程在等待磁盤I/O。如果這個(gè)值持續(xù)很高比如超過20%通常意味著磁盤是系統(tǒng)瓶頸。st(steal): 在虛擬化環(huán)境中如果宿主機(jī)繁忙你的虛擬機(jī)CPU被“偷走”的時(shí)間。非零值可能意味著宿主機(jī)資源緊張。對(duì)于進(jìn)程級(jí)的CPU消耗top下半部分的列表按%CPU排序一目了然。但top的缺點(diǎn)是刷新時(shí)可能錯(cuò)過短時(shí)進(jìn)程。htop是top的增強(qiáng)版界面更友好支持鼠標(biāo)操作、樹狀視圖和顏色高亮是交互式監(jiān)控的首選。如果我們需要以固定間隔采樣并記錄數(shù)據(jù)用于后續(xù)分析pidstat是更好的選擇。例如每2秒采樣一次共采樣5次并顯示每個(gè)進(jìn)程的詳細(xì)情況pidstat -u 2 5輸出會(huì)包含%usr、%system、%guest運(yùn)行虛擬機(jī)CPU時(shí)間、%wait等待CPU時(shí)間注意與wa不同和%CPU總使用率。這對(duì)于捕捉間歇性的CPU峰值問題非常有效。2.2 整體統(tǒng)計(jì)與性能剖析vmstat與mpstatvmstat命令提供的是系統(tǒng)整體的一個(gè)快照它不僅能看CPU還能看內(nèi)存、進(jìn)程、IO等是一個(gè)綜合報(bào)告工具。vmstat 1 5 # 每1秒采樣一次共5次關(guān)鍵列r(run queue): 等待運(yùn)行的進(jìn)程數(shù)。如果持續(xù)大于CPU核心數(shù)說明CPU資源不足。us,sy,id,wa,st: 與top中含義相同。mpstat則是專門針對(duì)多核CPU的利器。在如今多核處理器普及的時(shí)代只看整體CPU使用率會(huì)掩蓋單個(gè)核心過載的問題。mpstat -P ALL 1 3 # 每1秒報(bào)告一次所有CPU核心的狀態(tài)共3次這個(gè)命令會(huì)列出每個(gè)邏輯核心的詳細(xì)使用率。你可能會(huì)發(fā)現(xiàn)雖然整體CPU使用率只有50%但其中一個(gè)核心的使用率是100%其他核心卻很閑。這通常意味著應(yīng)用程序是單線程的或者沒有做好CPU親和性affinity綁定存在線程在核心間頻繁遷移context switch的開銷。實(shí)操心得遇到CPU使用率高的問題不要只看%CPU。首先用mpstat看是否是單核瓶頸然后用top看wa值排除IO等待最后用pidstat定位到具體進(jìn)程并結(jié)合top的TIME列進(jìn)程累計(jì)占用CPU時(shí)間判斷是長期占用還是短期爆發(fā)。對(duì)于Java應(yīng)用結(jié)合jstack查看線程棧能進(jìn)一步定位到代碼行。3. 內(nèi)存使用率理解“已用”與“可用”的真相Linux的內(nèi)存管理非常復(fù)雜其設(shè)計(jì)哲學(xué)是“不用白不用”。因此我們看到free -m的輸出時(shí)常常會(huì)困惑為什么“已用”內(nèi)存那么多但系統(tǒng)似乎并不卡頓。3.1 破除“內(nèi)存恐慌”詳解free命令直接運(yùn)行free -m以MB為單位顯示total used free shared buff/cache available Mem: 7823 4521 234 627 3067 2456 Swap: 2047 0 2047total: 總物理內(nèi)存。used: 已使用的內(nèi)存。注意這個(gè)值包含了buffers和cached所以通常很大。free: 完全未被使用的內(nèi)存。這個(gè)值小不一定代表內(nèi)存緊張。buff/cache: 這是關(guān)鍵包括緩沖區(qū)Buffers存儲(chǔ)磁盤元數(shù)據(jù)和緩存Cache存儲(chǔ)文件內(nèi)容。這部分內(nèi)存在應(yīng)用程序需要時(shí)可以被立即釋放所以它屬于“可用內(nèi)存”范疇。available:這是最應(yīng)該關(guān)注的指標(biāo)。它估算的是在不進(jìn)行Swap的情況下可以分配給新應(yīng)用程序的內(nèi)存大小。它等于free 可回收的buff/cache。上例中雖然free只有234MB但available高達(dá)2456MB說明內(nèi)存非常充裕。Swap: 交換分區(qū)使用情況。如果used持續(xù)大于0且還在增長說明物理內(nèi)存已不足系統(tǒng)開始使用磁盤作為內(nèi)存擴(kuò)展這將導(dǎo)致性能嚴(yán)重下降。所以判斷內(nèi)存是否緊張核心是看available是否充足以及Swap是否被頻繁使用。一個(gè)更直觀的命令是free -h人類可讀格式。3.2 深入內(nèi)存細(xì)節(jié)/proc/meminfo與smem/proc/meminfo文件提供了最詳盡的內(nèi)存信息。free和top等命令的數(shù)據(jù)都來源于此。直接cat /proc/meminfo可以查看所有細(xì)節(jié)比如Slab內(nèi)核對(duì)象緩存、SReclaimable可回收的Slab、SwapCached被換出但又被換入仍留在Swap緩存中的內(nèi)存等。smem命令則提供了更先進(jìn)的進(jìn)程內(nèi)存報(bào)告視角。它主要報(bào)告USS、PSS、RSSRSS(Resident Set Size): 常駐內(nèi)存集進(jìn)程實(shí)際占用物理內(nèi)存的大小。但多個(gè)進(jìn)程共享的庫會(huì)被重復(fù)計(jì)算。PSS(Proportional Set Size): 按比例分?jǐn)偣蚕韼旌蟮膬?nèi)存占用。比如一個(gè)10MB的庫被10個(gè)進(jìn)程共享每個(gè)進(jìn)程在PSS中算1MB。這是衡量進(jìn)程內(nèi)存占用的更準(zhǔn)確指標(biāo)。USS(Unique Set Size): 進(jìn)程獨(dú)占的、不共享的內(nèi)存大小。這是當(dāng)進(jìn)程被終止時(shí)可以釋放的內(nèi)存。使用smem -k -s uss可以按USS排序快速找出獨(dú)占內(nèi)存最多的“內(nèi)存大戶”。3.3 識(shí)別內(nèi)存泄漏與Swap風(fēng)暴內(nèi)存泄漏的典型表現(xiàn)是某個(gè)進(jìn)程的RSS或PSS隨時(shí)間持續(xù)增長即使在其活躍期過后也不下降同時(shí)系統(tǒng)的available內(nèi)存持續(xù)減少最終可能觸發(fā)OOM-Killer內(nèi)存耗盡殺手來終止進(jìn)程。Swap風(fēng)暴則發(fā)生在物理內(nèi)存嚴(yán)重不足時(shí)。你可以用vmstat 1觀察si(swap in) 和so(swap out) 兩列。如果它們持續(xù)有較高的數(shù)值每秒幾百KB以上說明系統(tǒng)正在頻繁地進(jìn)行內(nèi)存頁換入換出磁盤IO會(huì)成為瓶頸系統(tǒng)響應(yīng)速度將變得極慢。踩坑記錄曾經(jīng)遇到一個(gè)案例free顯示available內(nèi)存充足但應(yīng)用頻繁發(fā)生短暫卡頓。后來用sar -B 1發(fā)現(xiàn)pgscankkswapd掃描的頁數(shù)和pgscand直接內(nèi)存回收掃描的頁數(shù)指標(biāo)很高說明內(nèi)核正在后臺(tái)積極地進(jìn)行內(nèi)存頁回收雖然還沒用到Swap但這種回收壓力已經(jīng)影響了應(yīng)用性能。根本原因是某個(gè)進(jìn)程雖然RSS不高但申請(qǐng)了大量短期內(nèi)存導(dǎo)致頁表項(xiàng)和緩存碎片化。解決方法是調(diào)整內(nèi)核參數(shù)vm.swappiness或優(yōu)化應(yīng)用的內(nèi)存分配模式。4. 磁盤使用率與IO性能空間與速度的雙重考驗(yàn)磁盤問題分為兩類空間不足和性能瓶頸IO延遲高。兩者都需要監(jiān)控但使用的工具側(cè)重點(diǎn)不同。4.1 空間監(jiān)控df、du與inodedf -h是最常用的查看磁盤空間使用率的命令。“-h”參數(shù)表示以人類可讀的格式G、M顯示。df -h / /home /data # 查看指定掛載點(diǎn)重點(diǎn)關(guān)注Use%列。通常建議在空間使用率達(dá)到80%之前進(jìn)行清理或擴(kuò)容因?yàn)橛行┪募到y(tǒng)在快滿時(shí)性能會(huì)急劇下降且日志文件可能無法寫入。du -sh *命令用于查看當(dāng)前目錄下每個(gè)文件和文件夾的磁盤使用情況?！?s”表示總計(jì)“-h”表示人類可讀。要找出占用空間最大的目錄可以結(jié)合sortdu -sh /var/* | sort -rh | head -10一個(gè)經(jīng)典的坑磁盤空間未滿卻報(bào)“No space left on device”。這很可能是因?yàn)閕node用盡了。每個(gè)文件包括目錄、設(shè)備文件等都會(huì)消耗一個(gè)inode。使用df -i來查看inode使用情況。df -i /home如果IUse%達(dá)到100%即使Use%還很低也無法創(chuàng)建新文件。這種情況常見于存儲(chǔ)海量小文件如郵件、日志、緩存的系統(tǒng)。解決方法通常是清理無用文件或者重新規(guī)劃存儲(chǔ)結(jié)構(gòu)。4.2 IO性能監(jiān)控iostat、iotop與await指標(biāo)當(dāng)應(yīng)用響應(yīng)慢且CPU的wa值很高時(shí)磁盤IO很可能就是罪魁禍?zhǔn)?。iostat是診斷IO性能的核心工具。iostat -dx 1 5 # -d顯示設(shè)備報(bào)告-x顯示擴(kuò)展統(tǒng)計(jì)每1秒一次共5次關(guān)鍵列解讀以sda設(shè)備為例r/s,w/s: 每秒讀寫請(qǐng)求數(shù)IOPS。rkB/s,wkB/s: 每秒讀寫數(shù)據(jù)量吞吐量。await:平均每次IO請(qǐng)求的等待時(shí)間毫秒。這是衡量磁盤響應(yīng)速度的最重要指標(biāo)。對(duì)于機(jī)械硬盤await通常應(yīng)低于20ms對(duì)于SSD應(yīng)低于5ms。如果await遠(yuǎn)高于此說明磁盤已經(jīng)飽和或存在故障。%util: 設(shè)備帶寬利用率。對(duì)于機(jī)械硬盤這個(gè)值接近100%意味著磁盤持續(xù)滿負(fù)荷運(yùn)轉(zhuǎn)。但對(duì)于SSD或RAID陣列由于它們可以并行處理請(qǐng)求即使%util達(dá)到100%await也可能依然很低性能依然良好。因此await比%util更能真實(shí)反映用戶體驗(yàn)到的IO延遲。iotop類似于top但是用于監(jiān)控進(jìn)程級(jí)別的磁盤IO活動(dòng)。它可以實(shí)時(shí)顯示哪個(gè)進(jìn)程在讀/寫磁盤以及讀寫速度。這對(duì)于定位某個(gè)“瘋狂寫日志”或“全表掃描”的進(jìn)程非常有用。4.3 進(jìn)階工具與場(chǎng)景分析sar與blktracesarSystem Activity Reporter是一個(gè)歷史數(shù)據(jù)收集和報(bào)告工具非常適合做事后分析。它通常由sysstat包提供并配置了cron任務(wù)定期收集數(shù)據(jù)。sar -b 1 3 # 查看過去1秒內(nèi)的IO傳輸速率歷史如果已配置 sar -d -p 1 3 # 查看設(shè)備級(jí)IO活動(dòng)類似iostat的歷史數(shù)據(jù)如果問題已經(jīng)發(fā)生可以去/var/log/sa/目錄下查找歷史數(shù)據(jù)文件如sa21對(duì)應(yīng)21號(hào)的數(shù)據(jù)用sar -f /var/log/sa/sa21 -b來回溯當(dāng)時(shí)的IO情況。對(duì)于極其深入的IO路徑延遲分析blktrace和blkparse是終極武器。它們可以跟蹤一個(gè)IO請(qǐng)求從塊設(shè)備層下發(fā)到最終完成所經(jīng)歷的每一個(gè)步驟如排隊(duì)、合并、調(diào)度、驅(qū)動(dòng)處理、硬件中斷返回等的時(shí)間。但這套工具使用復(fù)雜輸出信息龐大通常只在排查內(nèi)核或驅(qū)動(dòng)級(jí)IO問題時(shí)由資深工程師使用。性能調(diào)優(yōu)經(jīng)驗(yàn)一次線上數(shù)據(jù)庫性能抖動(dòng)iostat顯示await高達(dá)200ms但%util只有70%。初步判斷不是磁盤帶寬瓶頸。用iotop發(fā)現(xiàn)有一個(gè)備份腳本正在執(zhí)行rsync產(chǎn)生了大量隨機(jī)讀IO干擾了數(shù)據(jù)庫的順序?qū)憽Ｕ{(diào)整備份時(shí)間窗口后問題解決。關(guān)鍵點(diǎn)高await不一定意味著磁盤慢也可能是IO隊(duì)列太長或遇到了不友好的混合讀寫模式。需要結(jié)合r/s、w/s和iotop的進(jìn)程信息綜合判斷。5. 綜合監(jiān)控與可視化打造你的系統(tǒng)儀表盤命令行工具適合即時(shí)排查和腳本化監(jiān)控但長期趨勢(shì)分析和多指標(biāo)關(guān)聯(lián)觀察則需要借助更強(qiáng)大的綜合監(jiān)控系統(tǒng)。5.1 一站式監(jiān)控方案nmon與glancesnmon是一個(gè)交互式系統(tǒng)監(jiān)控工具在一個(gè)屏幕內(nèi)同時(shí)顯示CPU、內(nèi)存、磁盤、網(wǎng)絡(luò)、進(jìn)程等數(shù)十種信息支持按快捷鍵切換視圖。它還可以將數(shù)據(jù)捕獲到文件然后用nmon analyser一個(gè)Excel表格生成漂亮的圖表非常適合做單次性能測(cè)試的報(bào)告。glances是一個(gè)用Python編寫的跨平臺(tái)監(jiān)控工具界面比htop更現(xiàn)代化信息也更全面。它可以通過CSV文件或API導(dǎo)出數(shù)據(jù)也支持客戶端/服務(wù)器模式進(jìn)行遠(yuǎn)程監(jiān)控。對(duì)于需要同時(shí)關(guān)注多個(gè)指標(biāo)的快速巡檢glances非常高效。5.2 構(gòu)建長期監(jiān)控體系Prometheus Grafana對(duì)于生產(chǎn)環(huán)境我們需要一個(gè)7x24小時(shí)不間斷的監(jiān)控體系。PrometheusGrafana是目前最流行的組合之一。數(shù)據(jù)采集在需要監(jiān)控的服務(wù)器上安裝node_exporter。這是一個(gè)Prometheus的官方導(dǎo)出器它會(huì)收集系統(tǒng)的CPU、內(nèi)存、磁盤、網(wǎng)絡(luò)等幾乎所有指標(biāo)并通過HTTP接口默認(rèn)端口9100暴露給Prometheus。數(shù)據(jù)抓取與存儲(chǔ)Prometheus服務(wù)器定期如每15秒去拉取scrape所有node_exporter暴露的指標(biāo)并存儲(chǔ)在其內(nèi)置的高效時(shí)間序列數(shù)據(jù)庫中。可視化與告警Grafana連接到Prometheus作為數(shù)據(jù)源你可以利用其強(qiáng)大的儀表盤功能自由拖拽創(chuàng)建圖表。例如創(chuàng)建一個(gè)儀表盤同時(shí)展示所有服務(wù)器的CPU使用率熱力圖、內(nèi)存available趨勢(shì)線、磁盤空間使用率餅圖、以及核心業(yè)務(wù)磁盤的await延遲曲線。通過Grafana的告警規(guī)則你可以設(shè)置當(dāng)某個(gè)指標(biāo)超過閾值如available內(nèi)存 1GB或磁盤await 50ms持續(xù)5分鐘時(shí)自動(dòng)發(fā)送通知到釘釘、企業(yè)微信或郵件。5.3 核心監(jiān)控指標(biāo)清單與告警策略根據(jù)經(jīng)驗(yàn)以下是一些建議的核心監(jiān)控項(xiàng)和告警閾值需根據(jù)實(shí)際業(yè)務(wù)調(diào)整監(jiān)控指標(biāo)采集命令/來源告警建議閾值說明CPU使用率node_exporter(100 - avg(rate(node_cpu_seconds_total{mode“idle”}[5m])) * 100) 855分鐘平均使用率超85%CPU負(fù)載node_exporternode_load5 / count(node_cpu_seconds_total{mode“system”}) 35分鐘負(fù)載超過核心數(shù)3倍可用內(nèi)存node_exporternode_memory_MemAvailable_bytes / 1024^2 1024可用內(nèi)存低于1GBSwap使用率node_exporterrate(node_vmstat_pswpin[5m]) 0 or rate(node_vmstat_pswpout[5m]) 0過去5分鐘有任何Swap換入換出活動(dòng)對(duì)于內(nèi)存敏感型應(yīng)用磁盤空間使用率node_exporter(node_filesystem_size_bytes - node_filesystem_free_bytes) / node_filesystem_size_bytes * 100 85使用率超85%磁盤Inode使用率node_exporter(node_filesystem_files - node_filesystem_files_free) / node_filesystem_files * 100 90Inode使用率超90%磁盤IO延遲node_exporterrate(node_disk_read_time_seconds_total[5m]) / rate(node_disk_reads_completed_total[5m]) 0.1讀請(qǐng)求平均延遲超100ms0.1秒這套從命令行到可視化監(jiān)控的完整技能棧能讓你在任何Linux系統(tǒng)性能問題面前都做到心中有數(shù)手中有術(shù)。從快速響應(yīng)到深度根因分析從單點(diǎn)排查到全局洞察這些工具就是你最可靠的伙伴。