欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營(yíng)的一線實(shí)戰(zhàn)洞察。

Zabbix監(jiān)控Nginx沒(méi)數(shù)據(jù)?核心問(wèn)題往往在狀態(tài)頁(yè)與agent采集鏈路上

Zabbix監(jiān)控Nginx沒(méi)數(shù)據(jù)?核心問(wèn)題往往在狀態(tài)頁(yè)與agent采集鏈路上 上個(gè)月幫同事排查一套 Zabbix 監(jiān)控 Nginx 數(shù)據(jù)一直為空的問(wèn)題。一開(kāi)始我們都把注意力放在 Zabbix Web 端反復(fù)檢查模板、主機(jī)、宏折騰了一上午。最后才發(fā)現(xiàn)真正斷掉的環(huán)節(jié)是 Nginx 的 stub_status 狀態(tài)頁(yè)根本沒(méi)有暴露出來(lái)agent 自然也就拿不到任何數(shù)據(jù)。更讓我意外的是同事的配置是從一篇兩三年前的教程里抄來(lái)的那篇教程里的模板名稱、agent 類型和現(xiàn)在的環(huán)境已經(jīng)對(duì)不上。這不是個(gè)案。Zabbix 監(jiān)控 Nginx 這件事最常見(jiàn)的坑不是 Zabbix 不會(huì)裝而是安裝配置流程里塞滿了舊資料。所以下面我不打算只給一個(gè)固定命令序列而是想把 Zabbix 監(jiān)控 Nginx 的鏈路重新拆一遍Nginx 怎么暴露狀態(tài)agent 怎么讀到數(shù)據(jù)模板怎么匹配以及當(dāng)你拿到一臺(tái)新機(jī)器時(shí)應(yīng)該按什么順序驗(yàn)證。核心判斷只有一句——真正決定這套監(jiān)控能不能跑通的往往不是 Zabbix 本身而是 Nginx 狀態(tài)頁(yè)、agent 采集和模板匹配這三個(gè)環(huán)節(jié)有沒(méi)有全部連上。1. 先想清楚Zabbix 監(jiān)控 Nginx 到底在監(jiān)控什么1.1 表面是進(jìn)程存活本質(zhì)是連接和請(qǐng)求很多入門教程會(huì)把 Zabbix 監(jiān)控 Nginx 簡(jiǎn)單理解成“Nginx 掛了就報(bào)警”。這個(gè)理解不算錯(cuò)但太單薄。Nginx 是應(yīng)用入口它的價(jià)值不在于進(jìn)程起沒(méi)起來(lái)而在于它當(dāng)前扛了多少連接、請(qǐng)求處理得是否順暢、有沒(méi)有異常堆積。Zabbix 之所以能監(jiān)控 Nginx核心不是直接讀進(jìn)程狀態(tài)而是通過(guò) Nginx 自身的狀態(tài)接口或模塊拿到一組結(jié)構(gòu)化指標(biāo)。最常見(jiàn)的數(shù)據(jù)源是 Nginx 官方自帶的 stub_status 模塊。打開(kāi)狀態(tài)頁(yè)后你會(huì)看到類似這樣的一小段文本Active connections: 3 server accepts handled requests 12 12 15 Reading: 0 Writing: 1 Waiting: 2這幾個(gè)數(shù)字的含義值得記住Active connections當(dāng)前活躍連接數(shù)。acceptsNginx 啟動(dòng)以來(lái)成功接受的連接總數(shù)。handled成功處理的連接總數(shù)。正常情況下 accepts 和 handled 應(yīng)該接近。requests總請(qǐng)求數(shù)。Reading / Writing / Waiting分別表示正在讀請(qǐng)求頭、正在寫響應(yīng)、以及空閑 keep-alive 連接的數(shù)量。這些指標(biāo)能幫你看清什么比如 Reading 長(zhǎng)時(shí)間很高說(shuō)明請(qǐng)求堆積在讀取階段背后可能是客戶端沒(méi)有把請(qǐng)求發(fā)完整Waiting 大量存在不是壞事只能說(shuō)明 keep-alive 連接占著資源accepts 和 handled 差距持續(xù)增大則可能說(shuō)明有連接在中間環(huán)節(jié)被丟掉。1.2 為什么很多“監(jiān)控沒(méi)數(shù)據(jù)”其實(shí)和 Zabbix 無(wú)關(guān)排查過(guò)幾次就會(huì)發(fā)現(xiàn)Zabbix 監(jiān)控 Nginx 沒(méi)數(shù)據(jù)絕大多數(shù)原因不在 Zabbix要么是 Nginx 狀態(tài)頁(yè)沒(méi)開(kāi)啟要么是狀態(tài)頁(yè)返回的是 HTML 而不是純文本要么是 agent 訪問(wèn)不到狀態(tài)頁(yè)要么是模板里的宏路徑和實(shí)際路徑不一致。Zabbix 本身只是在按固定周期向 agent 要數(shù)據(jù)agent 再去請(qǐng)求 Nginx 狀態(tài)頁(yè)。這一條數(shù)據(jù)鏈上有任何一個(gè)環(huán)節(jié)斷了儀表盤就永遠(yuǎn)是空的。所以我建議把這條鏈路拆成三段來(lái)理解Nginx 負(fù)責(zé)提供數(shù)據(jù)agent 負(fù)責(zé)搬運(yùn)數(shù)據(jù)Zabbix 負(fù)責(zé)展示和告警。后兩段的問(wèn)題通常都有日志可查反而是第一段最容易被人忽略。很多“監(jiān)控沒(méi)數(shù)據(jù)”的案例其實(shí)和你選的模板、版本的關(guān)聯(lián)沒(méi)有想象中那么大問(wèn)題往往出在數(shù)據(jù)源這一層。2. Nginx 側(cè)的狀態(tài)頁(yè)配置先把數(shù)據(jù)源打開(kāi)2.1 先確認(rèn)模塊再改配置順序不要反Nginx 狀態(tài)頁(yè)依賴 http_stub_status_module 這個(gè)模塊。問(wèn)題在于不是所有 Nginx 環(huán)境都默認(rèn)包含它。源碼編譯安裝時(shí)如果沒(méi)有帶 --with-http_stub_status_module后面想加模塊就得重新編譯發(fā)行版?zhèn)}庫(kù)里的 nginx 通常已經(jīng)包含這個(gè)模塊但不同發(fā)行版、不同倉(cāng)庫(kù)之間也可能有差異容器鏡像則更不一定一些精簡(jiǎn)鏡像會(huì)把用不到的模塊裁掉。所以第一步是確認(rèn)模塊存在。常見(jiàn)做法是查看編譯參數(shù)nginx -V 21 | tr \n | grep stub_status如果輸出里能看到 http_stub_status_module說(shuō)明模塊沒(méi)問(wèn)題。如果什么都沒(méi)有就不要繼續(xù)往下配狀態(tài)頁(yè)了先解決模塊問(wèn)題。否則你配置再正確curl 訪問(wèn)時(shí)也只能看到 404。注意有些系統(tǒng)里 nginx 不在 PATH 中可能需要寫全路徑比如/usr/local/nginx/sbin/nginx -V或者先執(zhí)行which nginx確認(rèn)一下。2.2 一個(gè)穩(wěn)妥的 stub_status 配置示例確認(rèn)模塊存在后再修改 Nginx 配置。常見(jiàn)的做法是在一個(gè) server 塊里加一個(gè) location只讓狀態(tài)頁(yè)從指定路徑訪問(wèn)server { listen 80; server_name _; location /nginx_status { stub_status; allow 127.0.0.1; allow 192.168.10.0/24; deny all; } }這里有幾個(gè)細(xì)節(jié)要說(shuō)明。location /nginx_status是精確匹配避免掩蓋其他路徑規(guī)則stub_status;是常見(jiàn)寫法如果你看到的舊教程里寫的是stub_status on;通常也能兼容但更推薦按當(dāng)前版本的標(biāo)準(zhǔn)寫法來(lái)allow 和 deny 用來(lái)限制來(lái)源 IP避免狀態(tài)頁(yè)暴露到公網(wǎng)。雖然狀態(tài)頁(yè)內(nèi)容看起來(lái)不敏感但泄露給外界等于給攻擊者多一個(gè)信息采集入口沒(méi)有理由不做限制。寫完配置后先檢查配置再重載nginx -t nginx -s reload # 如果使用 systemd 管理也可以寫成 systemctl reload nginx然后用 curl 驗(yàn)證curl -s http://127.0.0.1/nginx_status如果能看到開(kāi)頭那段純文本說(shuō)明 Nginx 側(cè)已經(jīng)通了。注意curl 的來(lái)源 IP 要和 allow 規(guī)則匹配否則你會(huì)看到 403。2.3 容器化和非默認(rèn)端口環(huán)境的特殊點(diǎn)如果你的 Nginx 跑在容器里情況會(huì)稍微復(fù)雜一點(diǎn)。agent 要么和 Nginx 在同一個(gè)容器內(nèi)要么通過(guò)容器 IP 或映射端口訪問(wèn)狀態(tài)頁(yè)。容器內(nèi)的 Nginx 如果只監(jiān)聽(tīng)了容器內(nèi)部端口agent 在宿主機(jī)上直接 curl 127.0.0.1 是拿不到響應(yīng)的。這類問(wèn)題用 curl 驗(yàn)證時(shí)最容易暴露但很多人會(huì)誤以為是自己配置寫錯(cuò)了。另外狀態(tài)頁(yè)不一定只能放在 80 端口。有的環(huán)境為了安全和便于管理會(huì)把狀態(tài)頁(yè)放在 8080 或單獨(dú)一個(gè) server 塊里。這樣的設(shè)計(jì)沒(méi)問(wèn)題但模板里的宏就要跟著改。這里的重點(diǎn)是先想清楚 agent 要從哪個(gè)地址訪問(wèn) Nginx然后保證這個(gè)地址上的 TCP 連通性和 ACL 都允許。不要只在 Zabbix 里把宏改來(lái)改去主機(jī)上卻訪問(wèn)不到。我在很多環(huán)境里見(jiàn)過(guò)一種最隱蔽的錯(cuò)誤狀態(tài)頁(yè)本身配置正確但 allow 規(guī)則只放行了 127.0.0.1agent 卻通過(guò)內(nèi)網(wǎng) IP 去訪問(wèn)狀態(tài)頁(yè)。agent 請(qǐng)求時(shí)Nginx 看到的來(lái)源 IP 是內(nèi)網(wǎng)地址命中 deny all于是返回 403監(jiān)控項(xiàng)自然拿不到數(shù)據(jù)。所以配置 allow 時(shí)要想著 agent 會(huì)從哪個(gè) IP 過(guò)來(lái)而不是只寫 127.0.0.1。3. Zabbix agent 這一層不是安裝了就行3.1 配置 Server 地址和 Hostname一致性是第一原則Nginx 狀態(tài)頁(yè)通了之后才輪到 agent。agent 安裝本身不復(fù)雜麻煩的是配置。以最常見(jiàn)的 zabbix-agent 為例配置文件里幾個(gè)關(guān)鍵參數(shù)一定要理解Server192.168.10.20 ServerActive192.168.10.20 Hostnameweb01Server 和 ServerActive 不是一回事。Server 是被動(dòng)模式下允許從 Zabbix Server 拉取 item 的地址白名單ServerActive 是主動(dòng)模式下 agent 向哪個(gè) Zabbix Server 或 Proxy 上報(bào)數(shù)據(jù)的地址。如果你只配置了 Serveragent 就會(huì)等 Server 來(lái)問(wèn)如果你用了主動(dòng)模式ServerActive 也要填。很多舊教程只寫一個(gè)值換到新環(huán)境就出問(wèn)題。比這更容易出錯(cuò)的是 Hostname。Zabbix Web 端添加主機(jī)時(shí)填的主機(jī)名必須和 agent 配置里的 Hostname 保持一致。如果 Web 端寫的是 web01agent 里配的是 nginx-web-1那么即使在 Zabbix 里能看到主機(jī)監(jiān)控項(xiàng)也始終是 no data。在新版本 agent 里你還會(huì)看到HostnameItemsystem.hostname這樣的配置意思是讓 agent 用系統(tǒng)本身的 hostname 作為上報(bào)名稱。這個(gè)機(jī)制可以避免手工維護(hù) Hostname但前提是系統(tǒng) hostname 必須和 Zabbix Web 里的主機(jī)名一致。所以不管用哪種方式原則都是同一個(gè)兩邊名字要對(duì)上。3.2 agent 與 agent2模板和 key 可能不一樣這里要說(shuō)一個(gè)“和過(guò)去不一樣”比較明顯的點(diǎn)現(xiàn)在 Zabbix 官方推薦使用 Zabbix agent 2也就是 agent2。agent2 不僅在采集能力上更豐富還支持一些內(nèi)置插件但對(duì)應(yīng)的模板、監(jiān)控項(xiàng) key 和舊 agent 不完全一樣。在 Zabbix Web 里搜索 Nginx 時(shí)你可能會(huì)看到多個(gè)模板有些名字類似 Nginx by HTTP有些類似 Nginx by Zabbix agent 2。如果你在主機(jī)上裝的是 agent2卻鏈接了舊 agent 版本的模板可能會(huì)出現(xiàn) unsupported item。反過(guò)來(lái)也一樣。所以我的建議是在鏈接模板之前先打開(kāi)模板里的監(jiān)控項(xiàng)預(yù)覽看它使用的采集類型是 Zabbix agent、HTTP agent還是依賴 agent2 插件。確認(rèn)它跟你實(shí)際安裝的 agent 類型對(duì)得上再鏈接。這一步只要花兩分鐘卻可以省掉后面一晚上的排查時(shí)間。agent 和 agent2 的服務(wù)名也不一樣常見(jiàn)的有 zabbix-agent、zabbix-agent2系統(tǒng)服務(wù)名可能是 zabbix-agentd.service 或 zabbix-agent2.service。啟動(dòng)服務(wù)后用systemctl status看一下是否 active再看一眼日志路徑常見(jiàn)的是/var/log/zabbix/下面。出現(xiàn)問(wèn)題時(shí)日志里通常直接會(huì)告訴你 key 不支持還是連接失敗。3.3 用 zabbix_get 快速驗(yàn)證采集鏈路在 Web 端排查前可以先在 Zabbix Server 上用 zabbix_get 做一次最直接的驗(yàn)證確認(rèn) agent 是否正常工作zabbix_get -s 192.168.10.11 -k agent.ping如果返回 1說(shuō)明 Server 能連上 agent。如果返回值不是 1就別急著去 Web 端看模板先解決網(wǎng)絡(luò)、端口和 Hostname 問(wèn)題。agent.ping 是通用探活 key驗(yàn)證通過(guò)后再去模板里找到你想測(cè)的監(jiān)控項(xiàng) key比如和 Nginx 狀態(tài)頁(yè)相關(guān)的 key繼續(xù)用 zabbix_get 測(cè)試。不同版本、不同模板的 key 名稱會(huì)有差異所以這里不列具體 key但思路是一樣的先用 curl 確認(rèn)狀態(tài)頁(yè)存在再用 zabbix_get 確認(rèn) agent 能取到值最后才去 Web 端看圖表。鏈路從底層往上逐層打通比在界面上猜效率高得多。4. 在 Zabbix Web 端鏈接模板別被舊截圖帶偏4.1 模板名稱已經(jīng)變過(guò)好幾輪Zabbix 的模板策略在過(guò)去幾年變化很大。這次部署里我在模板列表里搜索 nginx出來(lái)的已經(jīng)不是早期教程里那張截圖上的名字了。官方模板按采集方式做了拆分有的走 HTTP agent有的走 Zabbix agent有的專門適配 agent2。這本身是好事但如果你照著一個(gè)兩三年前的教程去選模板很可能選錯(cuò)。我的建議是以當(dāng)前 Zabbix 版本實(shí)際加載的模板列表為準(zhǔn)不要憑記憶點(diǎn)。鏈接模板后立刻去“監(jiān)測(cè) – 最新數(shù)據(jù)”里過(guò)濾這個(gè)主機(jī)等一到兩個(gè)更新周期看有沒(méi)有數(shù)據(jù)進(jìn)來(lái)。如果 Zabbix 的刷新周期是 30 秒或 1 分鐘通常幾分鐘內(nèi)就能看到。另外一個(gè)主機(jī)通常只需要鏈接一個(gè)對(duì)應(yīng)當(dāng)前采集方式的 Nginx 模板不需要把所有 Nginx 模板全鏈接上。鏈接多個(gè)模板并不會(huì)讓數(shù)據(jù)更豐富反而會(huì)讓監(jiān)控項(xiàng)沖突、重復(fù)告警排查起來(lái)也更亂。4.2 宏參數(shù)路徑、協(xié)議、端口都是變量模板鏈接后還有一層容易被忽略宏參數(shù)。官方 Nginx 模板里通常會(huì)定義一組宏用來(lái)告訴 agent 去哪個(gè)地址、哪個(gè)路徑、用什么協(xié)議獲取狀態(tài)頁(yè)。常見(jiàn)宏名可能包括{$NGINX.SCHEME}、{$NGINX.PORT}、{$NGINX.STUB_STATUS.PATH}具體名稱以你當(dāng)前模板為準(zhǔn)。它們的作用就是把狀態(tài)頁(yè)的訪問(wèn)信息從監(jiān)控項(xiàng)中抽出來(lái)這樣同一套模板可以復(fù)用在不同的 Nginx 主機(jī)上。如果你的狀態(tài)頁(yè)地址不是默認(rèn)值就不用改監(jiān)控項(xiàng)直接在主機(jī)層級(jí)覆蓋宏就行。比如狀態(tài)頁(yè)路徑是 /nginx_status 而不是 /status就在主機(jī)的宏里把對(duì)應(yīng)宏改成實(shí)際路徑。改完后等下一次采集生效再看最新數(shù)據(jù)。要注意的是宏的生效范圍有層級(jí)全局宏、模板宏、主機(jī)宏。主機(jī)宏優(yōu)先級(jí)最高。如果模板里已經(jīng)定義了默認(rèn)值主機(jī)上沒(méi)改也沒(méi)關(guān)系但如果狀態(tài)頁(yè)地址做了修改一定要記得改對(duì)應(yīng)主機(jī)的宏而不是只在模板里改一個(gè)默認(rèn)值因?yàn)槟0迥J(rèn)值會(huì)影響所有鏈接該模板的主機(jī)。還有一個(gè)容易出錯(cuò)的地方狀態(tài)頁(yè)地址如果是 https但宏里用的是 http監(jiān)控項(xiàng)會(huì)一直返回錯(cuò)誤。這種問(wèn)題在視覺(jué)上非常隱蔽因?yàn)?Nginx 和 agent 都正常只有協(xié)議不匹配。4.3 驗(yàn)證模板是否能出數(shù)據(jù)鏈接模板和配好宏之后不要直接離開(kāi)頁(yè)面。花一分鐘做兩件事第一到主機(jī)監(jiān)控項(xiàng)列表里看有沒(méi)有出現(xiàn)紅色 error 狀態(tài)的監(jiān)控項(xiàng)第二到最新數(shù)據(jù)里過(guò)濾該主機(jī)確認(rèn)有非空數(shù)據(jù)。如果看到 error 狀態(tài)的監(jiān)控項(xiàng)先點(diǎn)擊進(jìn)去看錯(cuò)誤信息。常見(jiàn)的有 unsupported item key、Cannot connect to [...]: 10060、Connection refused 這類。每一條錯(cuò)誤信息其實(shí)都指向了數(shù)據(jù)鏈路的具體環(huán)節(jié)比你在外面猜模板要快得多。如果最新數(shù)據(jù)里有值但看起來(lái)不對(duì)比如 Reading 是 0、Writing 是 0也不要慌先用 curl 手動(dòng)看一次狀態(tài)頁(yè)確認(rèn)源數(shù)據(jù)里就是這些值然后判斷是 Nginx 本身空閑還是采集路徑不對(duì)。如果源數(shù)據(jù)是對(duì)的Zabbix 只是如實(shí)展示不用改 Zabbix。5. 沒(méi)數(shù)據(jù)的排查鏈路按順序查別亂試5.1 四個(gè)環(huán)節(jié)從上到下檢查如果你最終面對(duì)的是一臺(tái)沒(méi)數(shù)據(jù)的 Nginx 主機(jī)不要先懷疑 Zabbix更不要反復(fù)重新鏈接模板。按下面的順序逐層排查通常能在十分鐘內(nèi)定位問(wèn)題。第一層Nginx 狀態(tài)頁(yè)是否可訪問(wèn)。curl -s http://127.0.0.1:80/nginx_status如果 curl 能返回純文本進(jìn)入下一層。如果返回 403、404 或 HTML 頁(yè)面問(wèn)題在 Nginx 側(cè)。第二層agent 能否讀到狀態(tài)頁(yè)。注意 agent 的運(yùn)行身份和權(quán)限。你可以切換到 agent 運(yùn)行用戶或者用 sudo 模擬執(zhí)行同樣的 curl 命令確認(rèn) agent 視角下能訪問(wèn)。如果 agent 在容器里還要確認(rèn)容器網(wǎng)絡(luò)。第三層Server 和 agent 之間是否連通且 Hostname 匹配。zabbix_get -s agent_ip -k agent.ping如果 zabbix_get 返回 1說(shuō)明網(wǎng)絡(luò)層通。然后再確認(rèn) Web 端主機(jī)名和 agent Hostname 一致。第四層模板宏和監(jiān)控項(xiàng)是否匹配。打開(kāi)監(jiān)控項(xiàng)列表查看具體監(jiān)控項(xiàng)的 key、宏替換后的實(shí)際地址用測(cè)試功能跑一次。如果返回錯(cuò)誤根據(jù)錯(cuò)誤信息調(diào)整宏。這個(gè)順序的核心思路是先確定是哪一層壞了再?zèng)Q定修哪里。不要在不知道哪一層出問(wèn)題的時(shí)候改配置改來(lái)改去只會(huì)讓狀態(tài)更亂。5.2 高頻錯(cuò)誤對(duì)照表下面這張表基本覆蓋了 Zabbix 監(jiān)控 Nginx 時(shí)最容易遇到的幾類現(xiàn)象現(xiàn)象常見(jiàn)原因處理思路狀態(tài)頁(yè) curl 返回 404沒(méi)有配置 location 或模塊缺失先查 nginx -V 里的 stub_status 模塊狀態(tài)頁(yè) curl 返回 403allow/deny 沒(méi)有放行 agent 來(lái)源 IP調(diào)整 allow 規(guī)則思考 agent 從哪個(gè) IP 訪問(wèn)監(jiān)控項(xiàng)顯示 unsupported itemagent 版本或模板類型不匹配確認(rèn)是 agent 還是 agent2換對(duì)應(yīng)模板或 key最新數(shù)據(jù)一直是空Hostname 不匹配、宏路徑不對(duì)、采集周期長(zhǎng)檢查主機(jī)名一致性測(cè)試宏替換后的地址監(jiān)控項(xiàng)返回 Connection refusedagent 未啟動(dòng)、端口不通、防火墻攔截systemctl status 看服務(wù)再用 zabbix_get 驗(yàn)證狀態(tài)頁(yè)返回的是 HTML 而非純文本location 配置被其他規(guī)則截獲檢查 server 塊順序確認(rèn)精確匹配位置這張表不是讓你背下來(lái)而是給你一個(gè)參考坐標(biāo)。遇到問(wèn)題時(shí)先看現(xiàn)象再判斷屬于哪一層然后去對(duì)應(yīng)位置檢查。5.3 沉淀一個(gè)“四層驗(yàn)收清單”最后一個(gè)能長(zhǎng)期復(fù)用的經(jīng)驗(yàn)把 Zabbix 監(jiān)控 Nginx 的鏈路固定成一張驗(yàn)收清單每次新接入一臺(tái) Nginx 主機(jī)時(shí)按順序過(guò)一遍。Nginx 狀態(tài)層模塊存在、location 配置正確、curl 返回純文本、allow 已放行 agent 來(lái)源 IP。Agent 采集層服務(wù)已啟動(dòng)、配置了正確的 Server/ServerActive、Hostname 與 Web 端一致、zabbix_get 驗(yàn)證 agent.ping 返回 1。Server 接入層Web 端主機(jī)存在、agent 接口可達(dá)、主機(jī)名匹配。模板匹配層鏈接了適配 agent 類型的 Nginx 模板、宏路徑/協(xié)議/端口正確、最新數(shù)據(jù)出現(xiàn)非空值。這個(gè)清單不是固定不變的但它能幫你把一次復(fù)雜的排查變成一次順序的確認(rèn)。以后不管是三臺(tái)機(jī)器還是三十臺(tái)機(jī)器先讓這種驗(yàn)證順序變成肌肉記憶再談自動(dòng)化。6. 適用邊界這套方案不是所有 Nginx 環(huán)境都適合6.1 適合誰(shuí)Zabbix 監(jiān)控 Nginx 這套方案適合的場(chǎng)景其實(shí)很清楚你已經(jīng)在用 Zabbix手里是一批長(zhǎng)期存在的虛擬機(jī)或物理機(jī)核心關(guān)注的是連接數(shù)、請(qǐng)求數(shù)、握手狀態(tài)等基礎(chǔ)指標(biāo)。這種情況下引入一套新的監(jiān)控系統(tǒng)成本遠(yuǎn)大于收益直接在 Zabbix 里接 Nginx 模板是最順的路。從我個(gè)人經(jīng)驗(yàn)看當(dāng)一個(gè)團(tuán)隊(duì)已經(jīng)用 Zabbix 管了幾百臺(tái)機(jī)器再為了 Nginx 單獨(dú)部署一套 Prometheus、Grafana反而不劃算。不是因?yàn)?Prometheus 不好而是你的告警、權(quán)限、儀表盤、值班流程都已經(jīng)長(zhǎng)在 Zabbix 上了新增一套系統(tǒng)意味著要同時(shí)維護(hù)兩套監(jiān)控體系的賬號(hào)、存儲(chǔ)和告警規(guī)則。6.2 不適合誰(shuí)反過(guò)來(lái)如果你的環(huán)境是大量短生命周期容器Nginx 實(shí)例像 Pod 一樣隨時(shí)擴(kuò)縮容Zabbix 這種以主機(jī)為單位的管理模型就會(huì)變得很吃力。每來(lái)一個(gè)新實(shí)例都要?jiǎng)?chuàng)建主機(jī)、鏈接模板、維護(hù) Hostname規(guī)模一大這些動(dòng)作本身就是運(yùn)維負(fù)擔(dān)。另外如果業(yè)務(wù)需要按 URL、按狀態(tài)碼、按 upstream 做細(xì)粒度 SLA 分析單靠 Zabbix 的 Nginx 狀態(tài)頁(yè)數(shù)據(jù)也不夠。狀態(tài)頁(yè)給的是連接數(shù)和請(qǐng)求總數(shù)拿不到每個(gè)接口的響應(yīng)時(shí)間分布。這種需求更適合讓 Nginx 輸出 access log 結(jié)構(gòu)化、再送進(jìn)時(shí)序數(shù)據(jù)庫(kù)或者日志系統(tǒng)或者直接采用具有服務(wù)發(fā)現(xiàn)能力的監(jiān)控方案。這不是說(shuō) Zabbix 不能做擴(kuò)展而是說(shuō)你要先判斷值不值得。任何方案都有維護(hù)成本Zabbix Nginx 監(jiān)控的優(yōu)勢(shì)是簡(jiǎn)單直接代價(jià)是深度有限。認(rèn)清這個(gè)邊界比盲目堆監(jiān)控項(xiàng)更重要。6.3 重要的不是某一個(gè)命令而是適應(yīng)變化的能力回到標(biāo)題里那半句“和過(guò)去有一點(diǎn)不同”。這句話其實(shí)很適合用來(lái)概括這類監(jiān)控方案的常態(tài)Nginx 的編譯參數(shù)在變agent 從舊版走向 agent2模板名稱和宏定義在變安裝方式從裸機(jī)走向容器。過(guò)兩年你再回頭看今天這篇文章里的具體配置很可能又有出入。但有一點(diǎn)不會(huì)變數(shù)據(jù)從 Nginx 到 agent 再到 Server 這條鏈路的邏輯是穩(wěn)定的。你只要掌握了“先 curl 狀態(tài)頁(yè)、再 zabbix_get 探活、最后看模板宏”的驗(yàn)證順序無(wú)論版本怎么升級(jí)你都能在最短時(shí)間內(nèi)判斷出問(wèn)題出在哪一層。這才是比某一條命令更有價(jià)值的東西。所以我的長(zhǎng)期建議是不要只收藏某個(gè)版本的配置片段而是順手把自己的環(huán)境、模板名稱、宏定義、驗(yàn)證命令寫成一個(gè)簡(jiǎn)短文檔或腳本。下次再遇到 Nginx 監(jiān)控沒(méi)數(shù)據(jù)你不是回去翻舊教程而是打開(kāi)自己的排查清單?;氐介_(kāi)頭那個(gè)案例。我們最后做的事情其實(shí)很簡(jiǎn)單把 stub_status 狀態(tài)頁(yè)配置好allow 規(guī)則放行 agent 來(lái)源 IP再把 Web 端主機(jī)名和 agent Hostname 改成一致。數(shù)據(jù)在第二個(gè)更新周期就出現(xiàn)了。整個(gè)過(guò)程沒(méi)有任何懸案只是之前分散在不同教程里的經(jīng)驗(yàn)沒(méi)有串成一條完整的鏈路。Nginx 側(cè)會(huì)變、Zabbix 會(huì)變、模板會(huì)變但驗(yàn)證順序不會(huì)變。下次再看到最新數(shù)據(jù)為空時(shí)不要急著在界面上反復(fù)點(diǎn)先打開(kāi)一個(gè)終端curl 一下?tīng)顟B(tài)頁(yè)很多時(shí)候答案早就寫在響應(yīng)里了。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
色综合网址| 夜夜撸日日操| 日本97在线| 另类在线| 久久性刺激| 欧洲色区| 久久九九网| 色丁香五月婷婷在线| 五月婷婷天堂| www激情网站| 人妻内射视频| 超碰人人操在线| 国产乱妇乱子伦| 五月天婷婷色在线视频免费观看 | 免费无码毛片一区二区A片| www.com五月天| 国产婷婷五月中文字幕高清| 亚洲精品网站色视频| 午夜激情久久| 激情五月天福利| 久久99热这里只频精品6学生| 久久亚洲天堂| 91九色视频在线观看| 亚洲综合丁香五月| 夜夜骑日日夜夜| 色欲丁香| 人人色人人摸人人看| 狠狠色大香蕉| 日本色99| 99视频内射三四| 丁香五月婷婷Av| 91无码一起草| Www.se.久久| 丁香激情五月天| 亚洲99热| 欧美丰满熟妇BBB久久久| 久热9| 五月天精品| 日韩AV色色色| 婷婷五月另类网站| 五月婷婷丁香五月婷婷丁香| 超碰在线视屏| 99精品无码| 丁香五月电影| AV九九| 丁香五月天堂网| 婷婷六月天| 色色色色色色色色色色色色色色,网站| 五月天激情网址| 久久久妻人人人| 久久之人妻| 亚洲色色色色色色色色色| 99re免费精品视频| 97色五月天| 精品无码色| 99亚洲综合| 国产欧美日韩性爱| 天天摸日日舔狠狠添婷婷婷 | 中文字幕乱码亚洲精品一区| 亚洲AV成人精品网站在线播放| 91肏肏肏| 婷婷内射视频在线| 久久五月天激情婷婷| 欧美va亚洲va| 99热99干| 丁香五月综合婷婷| 狠狠爱成人综合网| 91激情五月开心| 婷婷娌伦网| 超级黄色片| www.久久久久久久| 玖玖精品资源| 色色五月丁香| 五月婷无码| 青青草原爱爱网| 日韩美女羞羞网站在线观看| 亚州欧美国产久精国产99综合视频| 99热99日…..| 亚洲婷婷激情综合激情999精品| 亚洲在线资源| 九月丁香久久网| 丁香六月婷婷激情| 热99国产精品| 99视频这里只有精品10| 色五月婷婷成人视频| 久久色五月天| 久热免费| 婷婷色影音天| 九九热只有这里精品| 五月激情综合五月| 久久久8| 91五月天| 激情综合色图| 婷婷开心六月| 欧美私人家庭影院| 亚洲无码播放| 欧美黄色韩日网| 色吧综合网| 亚洲激情AV| 五六月婷婷久久| 天天操B| 五月天色婷婷视频| 九九视频在线观看| 国产成人av在线| 亚洲性爱日韩无码| 色综合天天| 丁香婷婷久久五月天| 99亚洲视频| 人人射av| 激情影院丁香五月| 亚洲国产成人在线| 国产激情在线| 1囯产午夜仑鲁鲁| 综合色图区| 99这里是精品| 丁香五月大香蕉在线99| 五月天播播综合| 天天做天天爱天天玩| 婷婷激情五月综合| av中文在线| 激情婷婷五月天日本系列| 色五月在线观看| 五月天小说激情| 色黑鬼导航| 伊人玖玖网| 草草女人亚洲| 欧美综合丁香网| 婷婷永久在线| 久久婷婷五月综合成人d啪| 成人精品亚洲性爱| 成人短视频在线免费观看| 丁香五月天婷婷激情| 激情五月婷婷五月| 五月草影视| 婷婷综合激情| 日韩久热| 丁香五月先锋| 日本在线99| 伊人狠狠综合| 日本欧美成人片AAAA| 激情婷婷五月| 色婷婷网| 就是色婷婷五月亚洲色| 色欲av伊人久久大香线蕉影院| 亚洲xx在线| 影音先锋91网站在线观看| 婷丁香五月天| 色婷婷丁香| 开心五月婷婷婷美女| 婷婷五月丁香香蕉| 91久久色| 色五月婷婷基地| 99ri国产在线| 97色色婷婷| www.超碰在线| 六月婷婷综合| 色丁香五月综合网| 无码A片一区二区免费| 99免费在线| 婷婷五月天性爱视频| 五月丁香六月婷婷综合| 久久五月天色婷婷| 天天做天天爱天天高潮| 综合色色婷婷| 国产精品视频网| 激情五月天激情五月天| 五月丁香操婷逼| 五月婷婷三级| 天天爱天天做综合| 色婷婷色| 色噜噜狠狠色综无码久久合欧美| 天天射综合网天天插| av高清无码| 99热只有国产在线精品| 97色在线观看视频| 三男玩一女三A片| 婷婷五月天视频在线观看| 99久久新视频| 精品丁香五月天在线播放| 亚洲AV无码电影| 1010日日无码| 97婷婷狠狠久久综合9色| 久久性爱视频网站| 五月婷婷欧美| 欧美激情综合色综合啪啪五月| 九月婷婷综合八月丁香在线观看| 国产精女同一区二区三区久| 久久99网| 五月婷婷啪啪| 激情久久伊人| 91九色中文字幕女在线观看| 热99国产精品| www.99色在线| 人人97碰| 婷婷WWW久久| 欧美激情凹凸丁香网| 色婷婷色丁香色欲av| 丁香六月婷婷综合缴| 婷婷丁香社区| 色99视频| 婷婷亚洲欧美丁香五月| 亚洲黄色影视| 蜜乳久AV| 日本一级特黄大片AAAAA级| 综合99久久| 强伦轩人妻一区二区电影| 久久99激情| 伊人大综合| 色色色综合色| 婷婷五月花免费视频在线| 国产熟妇的荡欲午夜视频| 日撸夜撸日操| 色五月天激情| 日本性视频| 99国产精品久久久久久久久久久| 99er6| 久9久视频精品| 五月天激情小说网| 五月丁香婷婷激情| 婷婷五月天激情小说| A片试看50分钟做受视频| 亚洲夜夜操| 色玖玖玖| 开心婷婷五月| 玖玖在线资源视频| 激情啪啪五月| 九九操屄| 五月丁香香蕉| 日本成人噜噜噜| 人人操AV| 性爱五月婷婷| 少妇人妻偷人精品无码视频新浪| 人妻精品在线| 99无码黄色视频| 任你草| 99久久天堂婷婷| 久热这里只有精品99re| 5月婷婷6月六月丁香| 99热国产国产| 99热这里| 色噜噜五月丁香婷婷| 婷婷五月天伊人| 亚洲成人五月| 五月天激情小说婷婷基地| 人人综合久| 四川BBB搡BBB搡多人乱亂| 天天玩天天摸| 性色婷婷| 九九综合图片网| 激情网五月天| 久久视频婷婷视频| www.婷婷五月天.com| 天天人人天天爽| 五月天婷婷色色网| www.com任你艹| 粉嫩AV久久一区二区三区| 亚洲秘 无码一区二区三区妃光/1| 婷婷久久视频| 99re这里只有精品国产99| 五月亭大香蕉| 久久影视婷婷五月| 九九超日本| 中文中文在线| 欧美三级A做爰在线观看| 久久久激情视频| 91午夜激情| 久久九九99字幕| 婷婷,五月天,丁香,第一| 精品综合爱| 精品一区久热| 女人被躁到高潮嗷嗷叫小| 丁香五月婷婷影院| AV在线资源| 亚州色色色| 婷婷丁香成人五月天| 超碰97在线操| 老美AA片| 在线看AV| 综合久久综合五月天婷婷| 欧美成人猛片AAAAAAA| 成人在线99| 超碰在线视屏| 色综合激情| 色久女| 色色99| 开心激情综合| 伊人网啪啪| 免费观看的婷婷五月视频在线| 五月激情黄色小说| 五月婷婷网五月在线| 丁香五月婷婷激情123| 天天摸天天爽| 狠狠狠狠狠草| 婷婷五月六月丁香| 婷婷五月天激情综合| 日本久久人人| 日韩人妻无码专区| 亚洲精品又粗又大又爽A片 | 婷婷五月丁香激情| 99在线观看| 亚洲中文av| 狠狠色综合网| 99久热| 色播五月婷婷| 色婷婷中文| 91色综合网站在线| 看全色黄大色大片| 丁香色六月| 干亚洲天堂| 人人色性网| 亚洲女婷婷五月基地综合久久久| 丁香五月综合AV在线| 婷婷精品综合| 丁香五月中文字幕| 俺也去色| 91久久精品视频| 91pornav在线| 99热福利| 五月之婷婷| 思思re99视频在线观看| 成人短视频在线观看| 99精彩视频| 极品人妻VIDEOSSS人妻| www.久9| 色婷婷婷婷| 偷拍九九热| 伊人超碰在线| 五月6香色婷婷视频| 激情伊人六| 。久久久久久久久久久久久久人妻| 999热在线视频| 丁香五月欧美| 99热在线观看| 婷婷色基地在线看 | 激情丁香五月天图片| 成人五月天丁香| 久久色情| 日本视频欧美观看免费| 亚洲另类视频| 久久精彩免费视频| 亚洲美女婷婷五月天| 97色在线观看视频| 91精品综合久久婷婷九色| 天堂婷婷丁香六月网| 开心激情五月天网| 丁香婷婷五月天网站| 日韩高清成人| 久久东京热婷婷五月| 五月天天视频| 色哟哟性爱av| 激情六月天婷婷| www.九月婷婷丁香.com| 五月天激情电影| 成人免费黄色短视频| 婷婷五月天国产手机在线视频观看| 色综合久久88色综合天天99| 丁香六月色婷婷| www.婷婷.com| 婷婷综合在线| 99视频内射三四| 色婷婷手机在线| 亚洲最大视频| 丁香婷五月天| 欧美熟女视频 色婷婷| 久久婷婷五月天激情| 黑人巨粗进入警花疼哭A片| 丁香五月婷婷性爱| 天天揷综合网| 五月婷婷六月少妇激情| 久久九九国产| 99热这里只有精品在线| 国产精品噜噜在线视频| 成人五月丁香花| 开心五月婷婷99| 九色在线五月婷婷网址| 丁香六月综合| 四色永久成人网站| 91九色最新视频| 亚洲人妻一区二区 | 激情五月天色婷婷综合| 久久色吧| 久久久com| 丁香五月天啪啪| 五月丁香六月婷| 欧美视频在线观看噜噜| 六月丁香婷婷色狠狠久久| 天天做天天爽| 99er日韩| 97人人妻人人艹| 婷婷香五月天| 99热这里只有精品26| 99久久国产宗和精品1上映| 九月婷婷丁香| 国产色网站| 婷婷狠狠操| 五月丁花色综合网| www.97碰碰com| 五月丁香偷拍| 精品乱码久久久久| wwW天天干| 久综合4| 丁香久月| 伊人综合网4| 激情网色五月| 色婷五月| 亚洲网站999| 日本本土色网第一区| 日B日潘金莲BB| 色丁香五月婷婷| 婷婷色激情网| 婷婷五月激情视频网| PORNY九色9l自拍视频成人| 色六月丁香婷婷狠狠干| 大香蕉久久草| 啪啪视频99| 超碰av在线| 先锋av性爱成人电影| 亚洲视频操| 国产精品99久久久久久久女警| 五月婷婷丁香婷婷| 五月久久亚洲| 国产色丁香| 热久久婷婷| 国产亚洲在线| 97狠狠色| 婷婷五月天天天| 另类图片激情五月天| 啪啪六月婷婷| 艹色18p| 精品一二三区久久AAA片| 日日干夜夜干| 婷婷五月丁香香蕉| 五月天婷婷五月| 永久无码色| 岛国资源站| 99热精品在线| www.狠狠| 九九99九九99九九99视频网| 久久狠狠干| 狠狠干2007| 9久热| 91色吧网| 77777亚洲午夜久久| 国产精品美女久久久久AV超清| 五月婷婷丁香大陆免费| 色五月av| 五月激情婷婷国产精品久久久久久| 六月伊人婷婷| 最新精品视频99| 日日爱678| 91超级碰在线视频| 激情婷婷丁香五月天| 日hao1区| 精品网站:999WWW| 狠爱婷色| 97婷婷在线| 碰超亚洲| 色婷婷色和| 九九无毛| 六月丁香天堂| 在线看黄色| 97丁香视频| 婷婷99狠| 毛片蕉地一二| 色天使色婷婷| 丁香激情网| 97精品自拍| 另类视频综合| 婷婷丁香视频在线观看免费| 色色网站在线免费观看视频| \\五月天婷婷激情| 巴基斯坦粉嫩无码视频| 五月性色| 九九热欧美| 五月天婷婷影院| 丁香五月成人| 免费无码毛片一区二区A片 | 婷婷五月大| 99综合视频在线| 这里只有精品99视频| 六月丁香五月婷婷首页| 99色色最新视频| 婷婷天天综合| 思思热在线精品视频| 九九在线精点品| 五月婷丁香| 色婷精品91| 久热无码| 婷婷五月丁香五月基地| 奇米网大香蕉| 婷婷五月天国产精品| 这里只有精品日韩精品| 亚洲色婷婷视频| 亚洲丁香五月天视频| 精品99在线| 色噜噜狠狠色综无码久久合欧美| 色综色网| 丁香色综合| 激情com| 日本五月视频| 中文字幕成人| 黄色高清无码| 91久久婷婷| 内射激情在线| 先锋资源91| 超碰人妻在线| 在线视频激情网站| 丁香八月综合激情| A1片久久久| 色色色五月婷婷| 婷婷丁香大香蕉| 99操中文视频| 色婷婷五月中文字幕在线dvd| 狠狠99| 精品夜夜澡人妻无码AV| 99精品视频偷拍| 管管補管管紱| w婷婷五月婷婷w| 无码AV免费精品一区二区三区 | 激情五月天www| 人妻AV在线观看| 黄色片久久| 亚洲旡码| 婷婷瑟瑟五月天| 狠狠操狠狠操AV| 婷婷综合玖玖五月| 久久机热这里只有精品免费视频| 天天干天天色综合| 色五月婷婷7777| 久月婷婷| 丁香婷五月天开心六月| 人五月天婷婷喷水| 九九精品片一| 婷婷亚洲综合| 国产免费av在线| 九九视频精品视频精品| 操碰97| 六月丁香中文字幕| 99热精品中文字幕| 婷婷视频在线碰| 五月丁香啪啪| 在线成人网址| 伊人网啪啪| 天天碰夜夜爽| 婷婷中文综合网| 干亚洲天堂| 激情99热| 色综合天堂| 六月激情久久| 超碰在线94| 久久深爱激情网| 五月丁香激情啪啪| 日日日日日| 久久精品系列| 操逼巨乳91| 中文字幕婷婷五月天在线观看| 久久99美女精彩视频| 99久久大片| 色婷婷狠狠| 五月丁香激情综合啪啪| 欧美日韩成人在线| 国产看真人毛片爱做A片| 亚洲六月色| 激情五月天福利| 欧美啪啪9| 色色色综合网| 五月天久久成人| 亚洲欧美国产高清vA在线播放| 婷婷五月天av| 五月丁香狠狠爱| 五月天丁香色色| 日韩无码人妻一区二区| 亚洲激情亚洲激情| 丁香婷婷伊人| 综合久久影院| 亚洲欧美日韩VIP| 婷婷久久色| 婷婷五月激情六月丁香| 国产毛片精品一区二区色欲黄A片| 五月天丁香啪啪综合| 五月天婷婷基地| 五月婷婷和六月| 夜夜操加勒比| 国产精品香蕉| 天天操中文字幕| 99久久婷| 开心深爱五月天| 无码AV免费精品一区二区三区| 日日干夜夜撸夜夜骑| 五月激情综合网婷婷| 桔色成人在线| 激情综合在线观看| 五月丁香成人网| 亚洲乱码成人| 成人资源在线| 激情深爱五月天| 六月丁香婷婷天堂| 色综合色婷色基地| 色999五月色| 青青福利网| 亚洲一级AV在线免费播放| 无码人妻电影| 99在线视频精品| 精品导航在线x不卡| 色婷婷久久久| 激情五月天色爱| 综合玖玖偷拍| 青青青在线视频国产| 日操夜撸| 五月激情丁香五月| 婷婷五月综合免费在线| 日韩色色视频| 婷婷六月久久综合导航| 97色色色色| 婷婷九月丁香中文| 免费黄色片子| 国产婷婷色综合AV蜜臀AV| 五月综合激情| 久久综合26p| 97碰久久| 五月播播| 九九视频这里是精品五月| 91精品综合久久久久久五月天| 97久久视频| 有哪些A片网站| 亚洲激情网| 黄色AAAAAAA| www.色五月| 五月婷婷丁香在线| 五月丁香婷婷国产精品综合| 色婷婷丁香综合中文字幕| 影音先锋日本三级资源| 九九99精品视频在线观看| 日韩99精品| 99热这里只有精品手机在线观看| 六月久久婷婷| 99久久天堂婷婷| 97精品综合| 91九色丨国产丨爆乳| 丁香六月婷婷姐网| 深爱激情四射| 色婷婷手机在线| 亚洲一级AV在线免费播放| 久久人妻少妇嫩草AV| 婷婷五月天色| 久久婷婷色综合| 亚洲综合婷婷六月丁香五月| 婷婷丁香成人在线视频| 九九精品网站| 六月激情婷婷| 国产9色在线/日韩| 伊人玖玖精品| 91 九色 入口| 97人人操com| 丁香五月天AV在线 | 九九色区| 99热在线爱| 无语停婷丁香网| www,奇米影视| 色天堂婷婷| 五月婷婷六月天| 99久视频| 久久久久婷婷| 涩涩五月天| 色99视频| 色五月首页| 九九热99视频| 亚洲丁香花色| 亚洲激情综合| 六月激情网| www.婷婷| 国产婷伊人| 五月开心播播网| 狠狠精品干练久久久无码中文字幕 | 99国产精品久久久久久久久久久| 亚洲色五月| 成人片黄网站色大片免费毛片| 97综合在线| 久色激情| 嫩BBB搡BBBB榛BBBB| 日韩丰满少妇无码内射| 婷婷丁香熟女| 日本色超碰| 久久婷婷综合拍| 五月丁香综合成人社区| 五月丁香婷婷在线| 六月丁香基地| 国产精品-91JQ就要激情网91JQ6.91JQ27.CASA:16888 | 丁香五月www| 色五月开心久久网| 久久9久久| 激情五月天色色| 六月激情婷婷色| 激情五月婷婷啪啪| 天天日,天天干,天天操| 亚洲AV综合网| 99久久婷婷| 超碰国产在线播放| 九九99男女视频在线观看| 99亚洲视频| 天天久久66xxx| 天色综合网站| www.minyis.com【JT】实力收量可预付QQ2101460746 | 欧美婷婷精品激| 欧美日韩成人一区二区| 欧美五月丁香啪啪响视频| 思思热性操| 欧美25p| 大香蕉婷婷| 久久人妻熟女一区二区| 日韩无码91| aaaaa不卡| 色天天综合成人网| 黄色五月婷婷| 人人色人人弄人人操| 97超碰欧美中文字幕| 亚洲免费看片| 丁香婷婷在线| 二色av| 亚洲九九99精品视频在线播放| 日本人人草草| 伊人干练久| 丁香五月婷婷六月丁香| 风流少妇A片一区二区蜜桃 | 激情欧美婷婷| 精品国产va久久久| 久久久精品色| 日日操夜夜操中国无码| 99色这里| 26uuu欧美| 国产精品A成V人在线播放| www.com亚洲网站在线免费| 思思热99er在线视频| 99热这里只有精品首页| 国产做爰视频免费播放| 九九久久五月天综合伊人| 9久热这里只有精品| 综合五月婷婷| 色天堂97| 丁香五月中文字幕久色| 久久婷婷五月| 激情九月天天天天婷婷| 天天操天天日天天操| 久久九九免费视频| 中文字幕,综合,91| 天天操夜夜橾| 国产AV熟妇人震精品一品二区| 成人一级片| 五月天国产婷婷精品视频在线| 九月丁香| 婷婷天堂综合| 五月综合激情| 91伦| 精品成人无码A片观看香草视频| 久热久| 99久超碰| 久久这里只有精品99| 五月天丁香色色| 精品九九在线观看| 激情五月综合亚洲另类| 91色久| 久久婷婷内射| 97热久久| 日日撸夜夜操| 综合精品99| 99爱免费在线视频| 久久xxxx| 亚洲五月婷| 开心五月综合激情网| 丁香五月网| av在线观看网址| 日韩久久日| 操精品9| 日韩专区五月天婷婷丁香| 风流少妇A片一区二区蜜桃 | 五月久久婷婷成人网| 五月婷婷综合精品| 天天做天天爱天天综合| 五月婷婷五月天激情网| 曰日爽日日操| 五月天另类视频| 天天爽,夜夜爽| 午夜五月天| 国产日韩欧美| 99精品在线观看视频| 婷婷社区五月天| 婷婷五月天综合在线| 人人播| 偷偷操99| 色婷婷狠狠爱| 色五月激情五月| 五月婷婷开心网| 九九99久久| 久久精品99国产精品日本| 97干干干丁香| 97色五月丁香婷婷| 久久丁香婷婷五月| 九色PORNY自拍成人精彩视频| 涩综合网| 丁香五月综合高清在线| 日本va网站| 丁香五月激情视频在线| 亚洲综合激情五月| 丁香五月色网| 五月丁香婷婷综合网| 久久婷婷五月综合色播| 五月综合婷婷久久在线| 激情深爱综合网| 久久玖玖综合| www色五月| 久久久国产精品黄毛片| 1024久婷| 91丨九色丨熟女丰满| 激情文学 综合 色| 婷婷五月天伊人网在线观看视频| 99热无码| 日良久久| 午夜天堂一区人妻| 人人操人| www.久久久久| 色婷丨日丨天丨综合久久| 操操操AV| 99天堂网| 另类五月激情| 91丁香五月| 十月丁香婷婷| 99色精品| 婷婷五月天小说| 99色人| 日韩在线9| 五月天婷婷在看| 九九婷婷网五月天| 色婷婷五月综合| 综合 激情 婷婷| 色五月婷婷91| 天天日夜夜夜操操操操| 久久99精品久久久久久三级| 99热精品在线观看| 成人丁香五月婷| 怕怕av| 丁香六月久久| 五月天伊人| 伊人久热91| 激情涩涩网| 天天插天天爽| 五月天久久综合婷婷丁香| 久久与婷婷| 亚洲视频在线观看| 亚洲av日韩无码| 婷婷五月天激情小说网站| 婷婷五月天AV在线| 色日本颜射| 五月丁香啪啪激情| 欧美激情综合色综合| 97人人干| 色婷婷综合在线| va婷婷在线| 影视av久久久噜噜噜噜噜三级| 国产精品久久久久久喷浆| 日韩欧美老妇性视频91久久久| 亚洲色爽| 色婷操逼| 久久激情婷婷| 色婷婷五月天天天天天天天天天| 色噜噜狠狠色综合成人网| 伊人五月婷| 99热最新精品| 亚洲婷婷激情综合激情999精品| 丰满少妇猛烈A片免费看观看| 丁香九九九九| 直接看的AV| 国产免费性爱| 丁香五月天在线视频| 五月婷婷,狠狠操| 中文字幕成人版| 国内裸舞二区| 激情性爱五月天| 五月丁香亭亭AV女优| 五月丁香AV、伊人业余、性色熟妇| www.五月婷婷久久.com| 婷婷丁香黄色| 婷婷丁香激情| 少妇水多A片太爽了| 99色综合| 91干| 91丨九色丨白浆| www.99视频| 丁香五月天91| 99热精品一区| www.色婷婷.com| 伊人91| 久久五月天大美女| 三级三久久线久久99久目本WW| 9久9久| www.色五月.com| 激情五月成年| 五月丁香花伦理电影| 日韩成人免费电影| 综合天天综合| 久/久精品99看9| 97人妻碰碰碰久久香蕉| 九九热精品| 大香蕉人人网| 婷婷婷婷婷开心无码播放| 婷婷丁香久久网| 五月婷婷色吧!| A短视频免费在线观看| 六月婷婷日| 欧美顶级少妇做爰HD| 2050人人操免费工开爱| 97色色色| 五月婷婷干干干| 99亚州综合精品成人网| 成人日韩欧美| 五月天综合色| 九九综合久久丁香婷婷,开心激情综合网| 人人摸人人搞| 久久婷婷六月| 五月综合视频| 深爱激情五月天色婷婷| 国产XXXX搡XXXXX搡麻豆| 五月深爱婷婷| 精品欧美性爱超级爽| 开心五月激情五月丁香五月婷婷| 日韩综合成人| 成人精品99| 久青草大香蕉| 久re热视频| 色色色综合色| 久久a热| 人妻操逼| 成人国产欧美大片一区| 五月色丁香激情| 大香人妻| 欧美天堂久久| 激情小说五月天社区丁香| 99这里只有精品| 丁香六月色情| 五月婷婷综合天天操| 五月丁香在线观看| 综激情网| 久久九九综合| www.色五月天.com| 久久91久久91色欲精品| 五月婷婷基地| 日本色色影院| 五月丁香综合影院| 97成人丁香婷婷| 青柠影视免费高清电视剧| 久久思思精品| 久9精品视频| 超碰精品在线| 亚洲激情网站| 亚洲综合视频网| 大香蕉久操| 五月开心深深爱激情综合| 99久精品视频| 99色视频| 九九久热| 激情文学久久| 爆乳熟妇一区二区三区四区| 99热这里有精品| 嫩草AV久久伊人妇女超级A| 婷色天堂| 伊人www22综合色| 日本色婷婷五月天成人电影| 色yeye色综合| 五月丁香六月色| 婷婷香五月综合激情| 五月停停999| 中文幕无线码中文字蜜桃| 天天操人人干| 久久五月天精品视频| 五月色亭丁香| 人妻久久久久久久| 久久人妻伊人| 久久久久久久综合狠狠综合| 色五月综合网站| 深夜男女福利刺激影院一区| 日日干干天天干| 激情綜合網址| 亚洲国产精品二二三三区| 久婷婷色| 99视频精品8| 92久久| 午夜微拍福利| 很很干天天干| 亚洲va欧美va天堂v国产综合| 久久婷婷六月| 激情伊人网| XX色综合| 亚洲操人| 夜夜综合色| 涩涩涩,com| 六月婷婷视频| 精品人妻一区二区三区在| 五月丁香啪啪啪综合网| 五月丁香操亭亭网| 久久99激情| 成人网站免费在线播放| 久热A片| 亚洲成人免费在线| 激情婷婷久久| 色婷婷五月综合在线| 五月婷婷操操| 国产成人网站在线观看| WWW,五月| 色吧五月婷婷| 69婷婷丁香午夜| 久久婷婷五月天激情新地址| 国产一区18| 日操夜操天天操不卡| 99操视频| WWW.99热| 久草热在线视频| www.亚洲激情| 久久99热这里只有精品23| 婷婷六月啪啪| 五月天婷婷激情在线色图| 丁香婷婷狠狠97| 五月天激情婷婷| 97狠狠色| 99色五月| 激情综合五月婷婷| 五月天激情www| 五月婷婷无码专区| 日本色婷婷久久99精品91| 激情五月婷婷丁香六月| 亚洲成人av在线| 日韩三及成人AV片| 久久婷鲁| www.金莲av| 国产精产国品一二三在观看| 精品久热| 婷婷五月天av| 婷婷五月天开心网| 久久九九婷婷| 99自拍视频网站| site:901-07.com| 99视频| 免费视频99| 九色婷婷| 国产偷人爽久久久久久老妇APP| 一区二区三区四区无码| 天堂久久大香蕉| 日韩欧美一级大黄网站| 五月婷婷成人网首页| 狠狠爱丁香婷| 97久久草草超级碰碰碰| 婷婷亚洲激情在线观看视频| 国产九月婷婷| 久久久99久久| 婷婷色色播五月天| 99视频在线观看视频| 日韩啪啪网| 天天摸日日舔狠狠添婷婷婷| 91av视频在线观看最新网址| 五月大香蕉| 婷婷五月中文字幕国产| 欧洲精品爱爱| 婷婷色综合| 美女五月狠狠| 第四色色六月色综合| 九九Y精品热播| 91欧美| 久久婷婷五月天亚洲欧美| 激情另类综合| 色五月丁香91| 婷婷五月综合在线| 操逼棍操逼| 五月丁香激情啪啪| 五月婷狠狠| 丁香色五月天| 婷婷五月天激情丁香| 久久99久久99精品免视看婷婷| 99九九这里有免费视频| 婷婷色中文字幕| 日本五月视频| 丁香五月天导航| 中文字幕成人日韩| 五月婷婷色| 人人草人人舔| 丁香五月亚洲综合| 亚洲区,视频区,视频区免费| 国产综合A片| a在线观看| 久碰婷婷视频| 五月天激情av| 久久成人性爱| 成人五月天丁香| 日韩欧美性爱| 日韩中文字幕| 精品久久艹| A久久| 欧美激情综合色综合| 99re这里只有精品国产99| 久热69| 丁香花五月天社区| 色视频色综合91| 人人摸人人| 成人av播放| 欧美成人色婷婷| 亚洲久久婷婷| 99热精品少| 99热偷拍| 久久久久久99精品无码| 国产麻豆视频| 激情久久久| 色婷婷视频在线| 婷婷九月亚洲| 五月亭亭狠狠| 五月丁香婷婷成人综合网| 色婷婷五月天天天做| 天天开心婷婷丁香五月| 欧美人人操| 97碰成超视频免费视频| 婷婷激情综合色五月久久91| 2025超碰| 三十熟女| 国产美女无遮挡裸体毛片A片| 免费精品99| 欧美激情综合| 操碰97| 色婷婷99| 久久综合婷婷| 五月香婷婷| 亚洲色啪| 丁香成人五月天| 婷婷五月情| 大香蕉手机视频| 天天色色天天| 激情亚洲网| 亚洲五月花| 久久小视频| 日本一级一级一级一级| 九九热精品| 1000部毛片A片免费观看| 无码99| 最近中文字幕2019视频1| 202丰满熟女妇大| 97热91| 午夜在线成人网站免费观看| 丁香婷婷五月综合欧美另类| 五月天婷婷Av| 99色在线免费观看视频| 99内射视频| 99精品在线观看视频| 色婷婷97| 久久五月丁香伊人青草| 婷婷综合网伊人| 成人精品99| 狠狠干天天日| WWW.99热| 日日夜夜狠狠| 九色成人AV在线| 亚洲天堂碰碰婷婷| 日韩精品一品二区三区的使用体验| 99热在线资源| 99,色| 无码G高清天| 丁香婷婷五月基地| 欧美性爱中文字幕| 99精品视频免费观看| 色偷偷AV亚洲男人的天堂| 欧美五月婷婷综合| 久操干| 操人妻90p| 五月丁香婷婷俺| 99精品国产在热久久婷婷| 日韩aaa| 天天日天天肏天天奸| 日韩无码系列| 亚洲精品视频在线| 丁香五月激情欧欧美| 五月婷婷在线综合| 色色色色综合网| 被强行糟蹋的女人A片| 婷婷WWW久久| 色狠狠综合| 99热精品综合| 丁香久月| 成人无码髙潮喷水A片| 九九美女视频| 久久永久网址| 色欲久久久久| 五月婷婷之综合激情| 五月停视频天堂| 99视频久久| 热久久视频99| 九月丁香亭亭| 五月婷婷亚洲天堂97色婷婷| 久久综合无| 欧美成人网婷婷综合在线| 伊人五月综合网| 青青草国产亚洲精品久久| 射久久丁香五月| 成人欧美一区二区三区在线观看| 色偷偷色婷婷| 丁香五月激情综合| 啪啪黄页网| 久久久婷丁香五月| 色婷婷免费观看| 99青青草99| 只有精品在线观看| www.色婷婷.com| 免费无码毛片一区二区A片| 激情丁香六月| 99综合免费视频| 婷婷伊人网| 五月丁香色婷基地综合久久| 26UUU欧美激情一区二区| 久久新地址| 超级碰碰99| 五月丁香六月婷婷亚洲激情综合| 91免费看片| 婷婷字幕在线| 日本熟女三区| 亚洲旡码| 97在线视频 欧美| 人人爽人人爽人人爽人人爽| 丁香五月播播| 日本97在线| 婷婷六月激情综合| 亚洲日韩一页精品发布| 色吧综合网| 色五月婷婷大香蕉| 91九九热| 五月天影院婷婷在线观看| 99热超碰在线| 激情五月综合久久| 中文字幕日本最新乱码视频 | 丁香五月激情月| 五月丁香综合伦理片| 色99网| 91精品综合久久婷婷九色| 五月婷婷六月丁香在线视频| 丰满少妇乱A片无码| 天天做综合| 色播五月婷婷| 婷婷午夜激情| 亚洲va综合va国产va中文| 激情电影五月婷婷| 人人看人人草人人摸| 办公室少妇激情呻吟A片在线观看| 亚洲天堂热| 久久婷婷五月丁香网| 九九精品热播| 五月丁香六月婷婷成人电影| 亚洲天堂有码| 欧美色色色色色色色| 丁香花大香蕉婷婷综合| 色色丁香五月婷婷| 国产FREESEXVIDEOS性中国| 新久久五月天激情| 五月天色区| 六月丁香婷婷色狠狠久久| 熟女激情五月天| 久久五月婷婷电影| 五月天婷婷久久视频| 无码四色色色| 91色久| 亚洲成人色五月婷婷综合| 极品少妇高潮啪啪AV无码| 91热er| 《亚洲操B久久免费在线观看,亚洲操B久久在线播放》在线播放 - 高清资源 - 97 | 九九丁香社区欧美激情|