欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運營的一線實戰(zhàn)洞察。

HAProxy配置文件五段結(jié)構(gòu)詳解:從零搭建HTTP負載均衡

HAProxy配置文件五段結(jié)構(gòu)詳解:從零搭建HTTP負載均衡 第一次接觸 HAProxy 的時候大多數(shù)人都是被那堆配置項勸退的。老實說作為 Linux 下應(yīng)用最廣的開源負載均衡器之一HAProxy 的配置文件反而沒那么玄乎——它核心就五段global、defaults、frontend、backend、listen。搞懂它們分別管什么再把幾個高頻參數(shù)吃透基本就能應(yīng)對大部分場景了。這篇文章不聊那些花活只講 haproxy 基礎(chǔ)配置、配置文件結(jié)構(gòu)和幾個最簡單實用的功能適合剛上手或者用了一段時間但一直靠復(fù)制粘貼的朋友。先說清楚 HAProxy 能干什么。它本質(zhì)上是一個基于 TCP 和 HTTP 的高性能反向代理最常干的活就是負載均衡把用戶的請求按照某種策略分發(fā)到后面一組真實服務(wù)器上同時還要負責健康檢查——某臺后端掛了自動把流量摘掉等它恢復(fù)后再加回來。很多團隊也拿它做流量入口的統(tǒng)一收斂點順帶完成簡單的請求路由、訪問控制、監(jiān)控統(tǒng)計。它的特點就一個字穩(wěn)純 C 寫的單進程事件驅(qū)動在普通 x86 服務(wù)器上扛住幾萬并發(fā)并不稀奇配置正確的情況下跑幾年不重啟也沒問題。這篇文章我會用一套完整的 Web 負載均衡配置作為主線把 global、defaults、frontend、backend 四段逐行講清楚再用 listen 段演示一個最簡單的 TCP 轉(zhuǎn)發(fā)最后把平時最容易踩的坑列出來。下文中所有配置均基于 HAProxy 2.4 及更新版本較老版本個別參數(shù)略有差異但主體框架完全一致老版本用戶在用到具體參數(shù)時留意一下版本差異即可。1. HAProxy 配置文件的整體框架與定位1.1 為什么 HAProxy 的配置文件要分成五段理解 HAProxy 的配置最關(guān)鍵的一步是理解它的設(shè)計哲學(xué)接收端和轉(zhuǎn)發(fā)端分開描述。Nginx 里你經(jīng)常在一個 location 或 server 塊里既寫監(jiān)聽的端口又寫轉(zhuǎn)發(fā)的目標但 HAProxy 偏不這么干它把“怎么接流量”和“往哪兒轉(zhuǎn)發(fā)”拆成兩個獨立對象也就是 frontend 和 backend。這樣的拆分有兩個顯而易見的好處。第一多個 frontend 可以共用同一個 backend。比如你有一個 80 端口的 HTTP 入口和一個 443 端口的 HTTPS 入口兩個入口收到的流量都可以轉(zhuǎn)發(fā)到同一組 Web 服務(wù)器上只在 frontend 這塊分別定義各自的監(jiān)聽方式后端邏輯完全復(fù)用。第二一個 frontend 也可以根據(jù) ACL 規(guī)則路由到不同的 backend。比如同一個入口進來的流量路徑帶 /api/ 的轉(zhuǎn)發(fā)到接口服務(wù)集群其余走靜態(tài)頁面集群這只需要在 frontend 里加幾條規(guī)則不用動后端定義。listen 段則是把 frontend 和 backend 合并在一起寫的老式風格適合簡單場景一個端口進來直接轉(zhuǎn)到一個后端池沒有復(fù)雜的路由需求。它寫起來確實省事但一旦場景變復(fù)雜——比如多個不同端口、多個目標組——用 listen 會導(dǎo)致配置迅速膨脹且難以閱讀。我的建議是學(xué)習(xí)階段兩種都要會看新項目一律用 frontend/backend 分離式寫法。還有兩個特殊的段global 和 defaults。global 是進程級配置管的是 HAProxy 自身的行為比如運行身份、最大連接數(shù)、日志怎么發(fā)defaults 則是給后面所有 frontend/backend/listen 提供默認值的“模板段”里面寫的參數(shù)會被繼承后面的段如果重復(fù)定義同名參數(shù)就覆蓋它。理解繼承關(guān)系很重要這也是很多新手排查配置的盲區(qū)——你明明沒在 backend 里寫某項配置但它就是從 defaults 里繼承來的。1.2 五大配置段的職責邊界與繼承關(guān)系把五大段的職責邊界理清楚配置文件就看懂了一半配置段核心職責典型參數(shù)示例global進程運行級別非事務(wù)性daemon, user, group, maxconn, logdefaults提供全局默認參數(shù)供各段繼承mode, timeout, option, retriesfrontend流量入口定義監(jiān)聽端口與路由規(guī)則bind, use_backend, default_backendbackend后端服務(wù)器池定義轉(zhuǎn)發(fā)目標與策略server, balance, check, cookielisten入口后端合并定義適用簡單場景bind, server, mode, balance注意 global 段是特殊的它不受 defaults 的繼承機制影響因為它壓根就不是一個“流量處理單元”它是一個獨立進程的描述。defaults 的繼承對象是 frontend、backend、listen 這三個段。比如你在 defaults 里寫了timeout connect 5s那么后面所有的段即使自己不寫 timeout也會自動帶上這個值。如果你在某個 backend 里改了timeout connect 10s那只有這個 backend 用新值其他段仍然用 defaults 里的 5s。這段繼承邏輯實操中非常有用是配置精簡的核心。一個規(guī)范的單機配置文件通常就是 global 段十幾行 defaults 段十行左右 每個業(yè)務(wù)一個 frontend 一個 backend加起來四五十行就夠跑一個像樣的負載均衡了。不要刻意寫長HAProxy 配置的價值不在行數(shù)而在每個參數(shù)是不是真正合理。需要提醒的是defaults 里盡量只放真正的“通用默認項”別把業(yè)務(wù)相關(guān)的參數(shù)塞進去。比如有的人在 defaults 里寫balance leastconn結(jié)果后面所有不同業(yè)務(wù)的 backend 都默認用了這個算法但有的業(yè)務(wù)其實適合 roundrobin就容易出現(xiàn)流量分不均勻的怪現(xiàn)象。defaults 是兜底不是萬能池。2. 核心配置參數(shù)詳解從進程參數(shù)到 HTTP 功能搞清結(jié)構(gòu)之后接下來就要鉆進細節(jié)里。HAProxy 的配置參數(shù)很多但基礎(chǔ)階段真正高頻使用的其實就那一二十個。我按使用場景把它們分成了四組每組都有實際意義和踩坑點逐組講透。2.1 global 段進程級參數(shù)與運行性能調(diào)優(yōu)global 段的參數(shù)不算多但每一個都影響運行方式。最常用的幾個如下global log 127.0.0.1:514 local0 info chroot /var/lib/haproxy pidfile /var/run/haproxy.pid maxconn 80000 user haproxy group haproxy daemon stats socket /var/lib/haproxy/stats mode 600 level admin逐行解釋一下關(guān)鍵項。log指定日志發(fā)送地址和 facility。這里寫的127.0.0.1:514 local0 info表示把日志通過 UDP 發(fā)給本機的 rsyslog 端口facility 用 local0日志級別 info。實操中很多人忽略這行導(dǎo)致出問題時啥都查不到。我強烈建議一開始就配上哪怕沒有獨立日志服務(wù)器發(fā)到本機 rsyslog 也足夠用了。日志是排查問題的第一手資料沒有日志的負載均衡等于盲人摸象。maxconn單進程最大連接數(shù)。這是一個在性能和資源之間取平衡的值不要盲目調(diào)大。它受限于文件描述符上限Linux 下單個進程默認 fd 上限通常是 1024你需要先在系統(tǒng)層面調(diào)大ulimit -n否則配置再大也只是個擺設(shè)。一個粗略的計算公式是maxconn × 每個連接約消耗 20~40KB 內(nèi)存 若干 fd。如果機器內(nèi)存是 16G按 40KB 一個連接算maxconn 設(shè)到 30 萬左右理論上可以但實際還要留出系統(tǒng)和其他進程的余量所以我一般建議按可用內(nèi)存 / 64KB的 60%~70% 來估算寧可保守一點。daemon讓 HAProxy 以后臺 daemon 方式運行這是生產(chǎn)環(huán)境的標準姿勢。沒有這行的話HAProxy 會在前臺運行終端一關(guān)就退出了。調(diào)試的時候你反而可以臨時去掉 daemon 用前臺模式跑方便直接看輸出但正式部署一定要加回來。stats socket這個別小看。它暴露了一個 Unix socket讓運維員可以在本機執(zhí)行echo show info; show stat | socat stdio /var/lib/haproxy/stats這種命令直接查詢運行數(shù)據(jù)。配合level admin還可以在線啟用/停用服務(wù)器、調(diào)整權(quán)重是免重啟運維的核心入口。生產(chǎn)環(huán)境我強烈建議配置這個后面排查和做操作都會爽很多。chroot和user/group是安全相關(guān)項分別把進程困在指定目錄里和降權(quán)運行?;A(chǔ)的配置階段照抄即可但要注意 chroot 的目錄必須存在且 HAProxy 用戶有權(quán)限訪問否則啟動會直接報錯。2.2 defaults 段時間參數(shù)與通用選項的合理預(yù)設(shè)defaults 段是配置文件的“聯(lián)合作戰(zhàn)地圖”模版。我常用的基礎(chǔ)配置如下defaults mode http log global option httplog option dontlognull option http-server-close option forwardfor except 127.0.0.0/8 option redispatch retries 3 timeout http-request 10s timeout queue 1m timeout connect 10s timeout client 1m timeout server 1m timeout http-keep-alive 10s timeout check 10s maxconn 5000挑重點講。mode http表示默認以七層 HTTP 模式工作HAProxy 會解析請求報文可以做 URI 級的轉(zhuǎn)發(fā)、ACL、cookie 保持等功能。如果你的場景是純 TCP 轉(zhuǎn)發(fā)比如數(shù)據(jù)庫、Redis就要在對應(yīng)的 frontend/backend 里改成mode tcp。注意 mode 是可以按段覆蓋的defaults 里寫 http某個 listen 段里寫 tcp 是合法的。option httplog開啟 HTTP 請求日志它會記錄請求方法、URI、狀態(tài)碼、響應(yīng)字節(jié)數(shù)、耗時等信息。沒有這個選項日志里就只有 TCP 層的信息排查業(yè)務(wù)問題幾乎沒法用。option dontlognull用于過濾掉那些沒有產(chǎn)生任何數(shù)據(jù)的空連接——很多端口掃描或監(jiān)控探測會產(chǎn)生這種連接不打日志能省不少磁盤。option forwardfor是給后端的真實 IP 傳遞用的。HAProxy 作為代理時后端服務(wù)器看到的所有請求來源都是 HAProxy 自身的 IP這會導(dǎo)致后端拿不到客戶端的真實地址。開了這個選項后HAProxy 會往請求頭里追加X-Forwarded-For字段后端用這個字段還原客戶端 IP。做日志分析、限流、黑白名單都靠它。except 127.0.0.0/8的意思是本機發(fā)來的請求不加這個頭防止某些內(nèi)部應(yīng)用來源信息被錯誤改寫。option redispatch在高可用場景比較重要。當某個后端服務(wù)器因為資源耗盡等原因?qū)е聲挓o法完成時HAProxy 可以把這個請求重新調(diào)度到其他健康的服務(wù)器上避免用戶一直卡在故障機上。代價是某些依賴會話一致性的應(yīng)用未做會話共享的可能會出現(xiàn)狀態(tài)錯亂所以要不要開需要結(jié)合業(yè)務(wù)判斷但對大部分無狀態(tài) Web 服務(wù)來說是值得開的。timeout 系列是 defaults 里的重頭戲也是新手最容易牽連踩坑的地方。行為邏輯timeout connect與后端服務(wù)器建立 TCP 連接的超時時間。這個值不要設(shè)太大因為正常的局域網(wǎng)連接都在幾十毫秒內(nèi)完成設(shè) 10s 已經(jīng)非常保守了。如果后端網(wǎng)絡(luò)質(zhì)量差建議排查鏈路而不是盲目調(diào)大這個值。timeout client客戶端與 HAProxy 之間的空閑超時時間。注意這說的是“空閑連接”的超時——也就是客戶端發(fā)送完請求后長時間沒有再發(fā)送下一個請求或讀取響應(yīng)時HAProxy 會斷開連接。設(shè)太短會導(dǎo)致長輪詢、WebSocket 等連接被意外斷開設(shè)太長又容易積壓一堆半死不活的連接。timeout server與后端服務(wù)器之間的空閑超時時間。含義和 client 對應(yīng)但作用于 HAProxy 到后端那一段。如果后端程序處理請求特別慢比如某些報表類的同步接口要跑幾十秒這個值就需要相應(yīng)調(diào)大否則請求剛算好結(jié)果就被掐斷了。timeout http-request接收完整 HTTP 請求頭的超時時間。這個值建議設(shè)小一點因為它主要用來防慢速攻擊——惡意客戶端一點一點地發(fā)請求頭把連接拖死。10s 已經(jīng)夠?qū)捲US脩舨粫ǔ^幾秒鐘填一個請求頭。timeout http-keep-aliveHTTP 長連接的空閑超時時間。客戶端用 keep-alive 維持連接、準備發(fā)下一個請求時空閑超過這個值就會被斷開。有個容易誤會的點timeout client和timeout server設(shè)的是“空閑超時”不是硬性的最長請求時間。比如 timeout server 1m不是說后端處理請求超過 1 分鐘就會被殺而是說后端和 HAProxy 之間如果超過 1 分鐘沒有任何數(shù)據(jù)交互這個連接就會被回收。理解這個區(qū)別很重要否則你會在一堆長耗時請求的場景下糾結(jié)為什么明明設(shè)了很大的值還是斷連。2.3 frontend 段流量入口與基礎(chǔ)路由規(guī)則frontend 的職責是“接住流量”所以配置的核心是監(jiān)聽地址和路由決策。看一個最簡單的 HTTP 入口frontend web_front bind 0.0.0.0:80 mode http default_backend web_serversbind 0.0.0.0:80表示監(jiān)聽本機所有網(wǎng)卡的 80 端口。如果你只希望內(nèi)網(wǎng)網(wǎng)卡接收流量可以寫成bind 192.168.1.10:80這樣外網(wǎng)網(wǎng)卡即使到達了也不會進這個 frontend等于從入口做了隔離。default_backend是兜底路由前面的請求如果沒匹配到任何別的規(guī)則就統(tǒng)一走這個后端池。實際生產(chǎn)中使用 HTTP 入口一般會加一些簡單的 ACL 路由比如根據(jù)路徑區(qū)分 API 請求和靜態(tài)資源frontend web_front bind 0.0.0.0:80 mode http acl api_path path_beg /api/ use_backend api_servers if api_path default_backend web_servers這里acl定義了一個名為 api_path 的規(guī)則條件是請求路徑以 /api/ 開頭。use_backend根據(jù) ACL 規(guī)則選擇對應(yīng)后端池不滿足就落到 default_backend。這個模式在微服務(wù)網(wǎng)關(guān)和前后端分離架構(gòu)里非常常見基本可以覆蓋大多數(shù)路由需求?;A(chǔ)階段掌握bind、acl、use_backend、default_backend就夠了。ACL 的匹配字段很多域名、URL、Headers、來源 IP、HTTP 方法等后面有需要再看具體字段的語法這里先不做擴展。另外frontend 的名字是可以隨便起的比如 web_front、api_front但同一個文件里不能重復(fù)。名字起得規(guī)范一些多人協(xié)作時能把閱讀成本降很多。2.4 backend 段后端服務(wù)器池、權(quán)重與健康檢查backend 是真正干活的段——定義一組服務(wù)器以及負載均衡策略。基礎(chǔ)模板如下backend web_servers balance roundrobin option httpchk GET /health http-check expect status 200 server web1 10.0.0.11:8080 weight 100 check inter 3s fall 3 rise 2 server web2 10.0.0.12:8080 weight 100 check inter 3s fall 3 rise 2 server web3 10.0.0.13:8080 backup check inter 3s fall 3 rise 2balance roundrobin是最常用也最好理解的負載均衡算法——按順序輪流把請求分配給后端服務(wù)器。它適合后端性能大致相同的場景。如果后端機器性能差異大可以用balance leastconn新建連接時優(yōu)先分給當前活躍連接數(shù)最少的服務(wù)器適合長連接和請求處理時間不穩(wěn)定的場景。還有一個常用的balance source它會根據(jù)客戶端 IP 做哈希同一個 IP 的請求總是落到同一個后端——對會話保持要求高又沒有共享 session 的老系統(tǒng)比較友好。三個算法的適用場景我整理了一張表算法核心邏輯適用場景注意點roundrobin輪流分發(fā)后端性能近似、連接多為短連接最通用無腦首選leastconn挑選活躍連接數(shù)最少者請求耗時差異大、長連接較多需要配合健康檢查使用source按客戶端 IP 哈希需要 IP 級別的會話粘滯后端增刪節(jié)點會導(dǎo)致哈希漂移weight表示權(quán)重范圍 1~256默認 1。比如一臺新機器剛上線可以先給個較小權(quán)重觀察表現(xiàn)穩(wěn)定后再調(diào)正常。注意動態(tài)調(diào)整權(quán)重有兩種方式一種改配置 reload一種通過前面的 stats socket 執(zhí)行set weight web_servers/web1 50在線調(diào)整。后者對線上流量無感是非常實用的運維技巧。check參數(shù)是健康檢查的開關(guān)。沒有這個參數(shù)HAProxy 會把請求送到一個已經(jīng)宕機的服務(wù)器上然后超時報錯。加上check后HAProxy 會按照inter 3s的間隔、每 3 秒對后端做一次健康探測。fall 3表示連續(xù) 3 次探測失敗就把節(jié)點標記為 DOWNrise 2表示連續(xù) 2 次成功后重新標記為 UP。這兩個值要按業(yè)務(wù)敏感度調(diào)后端重啟速度快的可以設(shè)小一點減少流量的空閑時間后端啟動慢比如 Java 應(yīng)用冷啟動需要幾十秒的rise 就要設(shè)大一點防止剛起來還沒就緒就被塞流量。option httpchk GET /health配合http-check expect status 200把健康檢查從簡單的 TCP 端口探測升級成 HTTP 級別的探測。這非常關(guān)鍵——一個后端進程可能在正常運行但業(yè)務(wù)邏輯已經(jīng)無法響應(yīng)了比如數(shù)據(jù)庫連不上、內(nèi)部線程池耗盡純 TCP 探測根本發(fā)現(xiàn)不了只有 HTTP 探測能真實反映業(yè)務(wù)健康度。幾乎所有面向用戶的 Web 服務(wù)都應(yīng)該在后端應(yīng)用里實現(xiàn)一個返回 200 狀態(tài)的 /health 接口然后在這里配置對應(yīng)的健康檢查。沒有健康檢查的負載均衡等于把命運交給了運氣。還有一個backup參數(shù)值得了解加上后這臺服務(wù)器只在其他非 backup 節(jié)點都不可用時才接收流量。這是一種冷備策略。注意 backup 節(jié)點平時不接流量健康檢查照常執(zhí)行一旦切換到它它會默默抗住所有流量所以要對它的處理能力有清晰認知。別把它當普通節(jié)點用。3. 從零搭建一個 HTTP 負載均衡的完整配置配置文件每個段都過了基礎(chǔ)的關(guān)現(xiàn)在把它們拼起來完整走一遍實操流程。假設(shè)場景你有三臺后端 Web 服務(wù)器IP 分別是 10.0.0.11、10.0.0.12、10.0.0.13端口都是 8080它們對外提供相同的 HTTP 服務(wù)?,F(xiàn)在要在前臺的一臺 2C4G 的 Linux 服務(wù)器上部署 HAProxy監(jiān)聽 80 端口實現(xiàn)負載均衡、健康檢查、監(jiān)控頁面這三個基礎(chǔ)功能。3.1 環(huán)境準備安裝與目錄規(guī)范先裝 HAProxy。Debian/Ubuntu 系列直接用系統(tǒng) apt 源安裝apt install -y haproxyCentOS/RHEL 系列yum install -y haproxy系統(tǒng)包管理安裝的版本不一定是最新的但勝在穩(wěn)定和干凈適合不折騰的生產(chǎn)環(huán)境。安裝完成后配置文件默認在/etc/haproxy/haproxy.cfgHAProxy 進程以 haproxy 用戶運行。安裝后先驗證一下版本不同主版本的參數(shù)兼容性有差異haproxy -v看到輸出后記下版本號后面查閱文檔時用的都是對應(yīng)版本的行為。我下面展示的配置兼容 1.8 到 2.x 的范圍內(nèi)常用的參數(shù)但如果你用的是 3.x 新版?zhèn)€別寫法要參照官方文檔調(diào)整。另外一個容易被忽略的目錄管理建議把/etc/haproxy下的配置做成haproxy.cfg主文件加多個獨立片段文件的方式主文件里用include /etc/haproxy/conf.d/*.cfg引入。這樣每個業(yè)務(wù)模塊一個文件互不干擾后續(xù)維護時找一個業(yè)務(wù)改一個文件不會在巨型單文件里反復(fù)翻找。3.2 完整配置逐行注釋版下面就是整合后的完整配置。這個配置我直接在生產(chǎn)環(huán)境里驗證過重點參數(shù)都有注釋global log 127.0.0.1:514 local0 info maxconn 20000 user haproxy group haproxy daemon stats socket /var/lib/haproxy/stats mode 600 level admin defaults mode http log global option httplog option dontlognull option forwardfor except 127.0.0.0/8 option redispatch retries 3 timeout http-request 10s timeout queue 1m timeout connect 10s timeout client 1m timeout server 1m timeout http-keep-alive 10s timeout check 10s frontend web_front bind 0.0.0.0:80 default_backend web_servers # 可選啟用完整統(tǒng)計頁面 stats enable stats uri /haproxy-stats stats realm HAProxy\ Statistics stats auth admin:YourStrongPass stats refresh 30s stats admin if LOCALHOST backend web_servers balance roundrobin option httpchk GET /health http-check expect status 200 server web1 10.0.0.11:8080 weight 100 check inter 3s fall 3 rise 2 server web2 10.0.0.12:8080 weight 100 check inter 3s fall 3 rise 2 server web3 10.0.0.13:8080 backup check inter 3s fall 3 rise 2一段一段說。global 里maxconn 20000這是一臺 2C4G 服務(wù)器比較合理的估算值。硬要算的話按每個連接約 30KB 內(nèi)存值20000 個連接最多占用約 600MB 內(nèi)存加上進程本身和系統(tǒng)開銷4G 內(nèi)存夠用。實際情況是 Web 短連接場景下同時到達 2 萬的連接數(shù)已經(jīng)是很大的并發(fā)量了初期的服務(wù)完全不需要設(shè)更高。defaults 里的參數(shù)在上面已經(jīng)全部解釋過不再重復(fù)。注意這臺前臺的 80 端口壓力不會太大所以 timeout 系列我都給了比較中庸的值如果想調(diào)優(yōu)再根據(jù)業(yè)務(wù)特征微調(diào)。frontend 段增加了一個統(tǒng)計功能。stats enable開啟頁面stats uri /haproxy-stats指定訪問路徑stats auth指定訪問用戶名和密碼stats refresh 30s表示頁面每 30 秒自動刷新。訪問http://前臺IP/haproxy-stats就能看到各后端的實時狀態(tài)包括當前連接數(shù)、會話總數(shù)、健康狀態(tài)等。這是個非常實用的運維頁面哪怕不做監(jiān)控系統(tǒng)集成手動看一眼也比猜強得多。stats admin if LOCALHOST限制只有本機訪問時才允許通過頁面修改后端狀態(tài)防止生產(chǎn)環(huán)境被人惡意操作。這里有個細節(jié)要提醒stats uri的路徑不要和業(yè)務(wù)路徑?jīng)_突。如果業(yè)務(wù)里剛好有/haproxy-stats這個路徑那就會被統(tǒng)計頁“劫持”。所以在規(guī)劃路徑時建議選一個業(yè)務(wù)永遠不會用到的路徑或者直接在文件名上加個隨機字符串前綴。backend 的三臺服務(wù)器中web1、web2 是正常節(jié)點web3 是 backup 冷備。健康檢查用的是GET /health后端應(yīng)用需要實現(xiàn)這個接口正常時返回 200異常時返回非 200 狀態(tài)碼HAProxy 就會把節(jié)點自動摘除。3.3 配置校驗、啟動與常見啟動問題配置寫完后先做語法校驗再啟動。這個習(xí)慣極其重要不要跳過haproxy -c -f /etc/haproxy/haproxy.cfg-c表示僅檢查配置輸出提示說明配置有效Configuration file is valid如果配置里有錯誤它會明確打印出錯的參數(shù)和行號。這個校驗操作是零成本的幾秒鐘的事卻能把大量奇葩問題攔在重啟之前。校驗通過后有兩種啟動方式。用 systemd 管理systemctl restart haproxy systemctl status haproxy另一種方式是直接以前臺模式跑一下做快速驗證尤其是排查啟動時的問題非常方便haproxy -f /etc/haproxy/haproxy.cfg前臺運行的好處是日志直接打到終端啟動報錯一目了然。確認沒問題再CtrlC停掉改用 systemd 正式啟動。啟動后立刻做三件事第一驗證端口監(jiān)聽。ss -lntp | grep :80確認 80 端口已被 HAProxy 監(jiān)聽。第二驗證負載均衡。從本機用 curl 連續(xù)請求幾次后端接口觀察統(tǒng)計頁面的各節(jié)點請求數(shù)是否大致均勻增長。如果全跑到一臺機器上八成是算法配置有誤或健康檢查把大部分節(jié)點標 DOWN 了要看統(tǒng)計頁確認。第三驗證健康檢查。停掉其中一臺后端的 Web 服務(wù)等待約 10 秒覆蓋 inter 3s × fall 3 的周期再到 HAProxy 統(tǒng)計頁上看該節(jié)點應(yīng)該已經(jīng)變成紅色 DOWN 狀態(tài)。此時繼續(xù)發(fā)起請求流量只分布在剩余健康節(jié)點上。重啟這臺后端服務(wù)后等待 rise 2 × inter 3s 周期節(jié)點恢復(fù) UP流量自動重新分布。這個驗證過程建議每次變更配置后都做一遍防止配置在“看起來正?!钡臓顟B(tài)下對故障毫無反應(yīng)。4. 用 listen 段實現(xiàn)一個最簡單的 TCP 轉(zhuǎn)發(fā)前面講的都是 HTTP 層面的負載均衡但 HAProxy 最初的優(yōu)勢其實在于 TCP 層的四層轉(zhuǎn)發(fā)能力。它的性能天花板很高很多團隊用它來轉(zhuǎn)發(fā) MySQL、Redis、各種自研 TCP 協(xié)議流量效果同樣出色。4.1 listen 段寫法和適用場景當場景非常簡單——一個端口進、一個端口出、不需要復(fù)雜的路由判斷——listen 段是最低成本的方案??匆粋€經(jīng)典例子把本機的 3306 端口流量轉(zhuǎn)發(fā)到兩臺數(shù)據(jù)庫服務(wù)器上實現(xiàn) MySQL 的讀寫分離或高可用入口這里以讀流量均衡為例listen mysql_front bind 0.0.0.0:3306 mode tcp balance roundrobin option tcplog server db1 10.0.0.21:3306 weight 100 check inter 5s fall 3 rise 2 server db2 10.0.0.22:3306 weight 100 check inter 5s fall 3 rise 2兩行的體量就完成了一個四層 TCP 負載均衡。mode tcp告訴 HAProxy 不要解析上層協(xié)議直接把 TCP 流量按字節(jié)流透傳開銷極小。這里option tcplog替代了 HTTP 場景的 httplog記錄 TCP 層的連接信息。listen 段的寫法在結(jié)構(gòu)上的角色是 frontend 和 backend 的合體bind 定義入口server 定義目標池平衡策略直接寫在同一個塊里。適用場景就是入口和目標都唯一的簡單轉(zhuǎn)發(fā)如果你的場景里有多個不同入口要轉(zhuǎn)到不同目標還是用 frontend/backend 分離結(jié)構(gòu)更清晰。4.2 tcp 模式下的健康檢查細節(jié)TCP 模式的健康檢查默認是純 TCP 連接探測HAProxy 去嘗試連一下后端的 IP:端口能連上就算健康。對 MySQL 來說這個探測方式夠用——如果能建立 TCP 連接通常意味著 mysqld 進程在監(jiān)聽端口但如果 MySQL 服務(wù)還在但業(yè)務(wù)層面已經(jīng)卡死純 TCP 探測就會誤判為健康。進階做法是用更精確的業(yè)務(wù)級探測。比如 MySQL 場景可以配置option mysql-check user haproxy_check它會用指定的 MySQL 賬號連接一次后端用真實的認證流程做健康檢查這比 TCP 端口探測可靠得多。類似的還有 Redis 的option redis-check、PostgreSQL 的option pgsql-check。各數(shù)據(jù)庫場景的健康檢查做對了之后故障切換的準確率會提升一個量級。另外注意 TCP 模式下沒有option forwardfor這類 HTTP 頭操作后端的客戶端 IP 獲取方式不能在 HAProxy 層解決只能在業(yè)務(wù)應(yīng)用層自行記錄對端地址此時對端地址就是 HAProxy 的 IP無法直接還原真實客戶端 IP。如果你的業(yè)務(wù)必須拿到真實客戶端 IP建議改用 proxy protocol這個是另一個進階話題基礎(chǔ)階段先了解有這個解決路徑即可。5. 常見問題與排查技巧實錄HAProxy 本身運行極穩(wěn)定真正的故障大多來自配置不當或周邊環(huán)境。下面這些問題是我實操中遇到頻率最高的每一個都有具體的現(xiàn)象和排查路徑。5.1 配置正確但啟動失敗端口權(quán)限與語法錯誤“配置文件明明校驗過了怎么啟動還是失敗”這是我被問過最多的問題之一。校驗通過只能說明語法沒有基本錯誤很多運行時問題需要啟動才會暴露。最常見的是非 root 用戶綁定 80 或 443 端口失敗。Linux 約定 1024 以下的端口只有 root 才能綁定HAProxy 默認以 haproxy 用戶運行如果 bind 了 80 端口又沒有配置特權(quán)啟動會提示Permission denied。解決辦法有幾種最常見的是保持 bind :80 寫法然后讓 HAProxy 以 root 身份啟動后切換到 haproxy 用戶global 里的 user/group 配置會在綁定完端口后才生效也可以加setcap cap_net_bind_serviceep /usr/sbin/haproxy給可執(zhí)行文件單獨授權(quán)但這在部分系統(tǒng)上需要額外配置。最簡單穩(wěn)妥的方式是讓 HAProxy 先以 root 啟動綁定端口后再切換到低權(quán)限用戶這也是全局配置里推薦的標準姿勢。另一個坑是配置文件里殘留了 Windows 換行符\r\n。把文件從 Windows 機器上編輯后傳到服務(wù)器上HAProxy 解析到行尾的\r就會報格式錯誤或參數(shù)異常。解決方式是用sed -i s/\r$// /etc/haproxy/haproxy.cfg清洗一遍再校驗。還有一個隱蔽的坑include引入的片段文件里如果定義了重名的 frontend 或 backend 名字啟動時會直接報duplicate name。這種問題在多人協(xié)作時尤其容易踩建議每個業(yè)務(wù)的配置文件頂部都寫清楚業(yè)務(wù)名和占用端口做一層清單登記從根源上避免撞名。5.2 能啟動但轉(zhuǎn)發(fā)不正常健康檢查引發(fā)的“靜默故障”很多“奇怪”的轉(zhuǎn)發(fā)問題本質(zhì)上都是健康檢查沒配好。最典型的場景HAProxy 啟動了端口也監(jiān)聽了但請求梭到后端全部 503 或 504。查統(tǒng)計頁往往能看到節(jié)點狀態(tài)是 DOWN。排查思路分三步。第一步確認后端的 /health 接口是否真的返回 200。有的應(yīng)用把健康檢查路徑寫錯了比如后端實際是/actuator/health配置里卻寫成/health返回 404HAProxy 根據(jù)http-check expect status 200判斷為不健康節(jié)點被摘除流量自然全掛。第二步確認 HAProxy 到后端的網(wǎng)絡(luò)是否通。用telnet 10.0.0.11 8080手動測試。第三步確認健康檢查超時時間是否合理。timeout check如果設(shè)得太短比如 1s而健康檢查接口本身響應(yīng)較慢例如要查數(shù)據(jù)庫狀態(tài)需要 2s那每次探測都超時節(jié)點會反復(fù)抖動在 UP/DOWN 之間流量時通時斷。這種抖動比完全 DOWN 更折磨人因為它表現(xiàn)成偶發(fā)的 502非常難定位。我自己調(diào)試這類問題最常用的伎倆是開日志看。把 rsyslog 配好然后請求幾次出問題的接口去 /var/log/haproxy.log 里看那一行日志的狀態(tài)碼和耗時基本能判斷出問題出在 HAProxy 本身還是后端。日志里如果顯示后端返回 503問題大概率在后端如果顯示連接超時問題大概率在 HAProxy 到后端這條鏈路上。5.3 流量分布不均算法選擇與節(jié)點狀態(tài)排查流量分布不均是另一個高頻問題。你配置了 roundrobin但統(tǒng)計頁上每個節(jié)點的流量卻有明顯的傾斜甚至全跑在同一臺上。第一件要查的事那臺“偏瘦”的節(jié)點是不是處于 DOWN 或 MAINT 狀態(tài)。MAINT 表示節(jié)點被管理員手動停用或正在維護它不會接任何流量觀察這個狀態(tài)首先要看是不是有人通過 stats 頁面或 socket 執(zhí)行了 disable。第二件要查的事后端節(jié)點是否真的在 CHECK 狀態(tài)。如果配置里漏寫了check參數(shù)HAProxy 默認不會對這個節(jié)點做健康檢查但這反而會讓流量正常發(fā)過去——除非這臺機器本身都已經(jīng)宕機了。如果一臺節(jié)點已經(jīng)掛了但沒有配 checkHAProxy 還是會固執(zhí)地把流量往它上面發(fā)表現(xiàn)就是一部分請求超時、一部分成功。第三件事才是回顧算法本身。roundrobin 在連接數(shù)少時表現(xiàn)可能顯得“不均勻”——它按請求輪轉(zhuǎn)但如果客戶端使用了 keep-alive連接超時前會連續(xù)復(fù)用同一個后端連接長時間看統(tǒng)計頁就發(fā)現(xiàn)某些節(jié)點連接數(shù)特別多。這不是配置錯誤而是連接復(fù)用的正常現(xiàn)象。如果你希望更均勻可以把模式改成leastconn或者減小timeout http-keep-alive強制更頻繁地建立新連接。5.4 連接頻繁斷開或超時timeout 參數(shù)的全鏈路思維和 timeout 相關(guān)的問題排查時一定要有“全鏈路”視角。一次完整請求經(jīng)過的鏈路是客戶端 ? HAProxy ? 后端。任何一個環(huán)節(jié)的空閑超時都可能掐斷連接但表現(xiàn)往往都集中在前后端兩側(cè)的服務(wù)端日志里很難直接看清。舉例說明某業(yè)務(wù)是前端頁面定期向后端輪詢數(shù)據(jù)間隔 20 秒。如果timeout client設(shè)成 10s那么頁面發(fā)起下一次輪詢時客戶端發(fā)現(xiàn)之前的空閑連接早被 HAProxy 回收了于是重新走 TCP 握手建立新連接。這個現(xiàn)象本身不是錯誤但會讓網(wǎng)絡(luò)連接數(shù)量持續(xù)增高。如果后端的應(yīng)用框架比較陳舊頻繁重連時會積累 TIME_WAIT日積月累可能導(dǎo)致端口耗盡。這類問題的排查思路是到統(tǒng)計頁看每個節(jié)點的活躍連接數(shù)再結(jié)合實際業(yè)務(wù)的長連接間隔反推 timeout 是否合理。還有一類和 timeout 相關(guān)的“事故現(xiàn)場”后端程序臨時卡頓導(dǎo)致某臺節(jié)點積壓了大量慢請求這些請求的處理時間超過了timeout serverHAProxy 直接把后端連接斷開客戶端收到 504。后端恢復(fù)后積壓的請求又瞬間全部集中到它身上引發(fā)雪崩。這種場景下合理做法是配合隊列和時間參數(shù)雙重限制在健康檢查層面提前摘除“亞健康”節(jié)點而不是單純調(diào)大 timeout 去硬扛。不過這個話題屬于高可用調(diào)優(yōu)范疇基礎(chǔ)階段先把每個 timeout 的語義理解到位遇到問題時能做到準確定位就算達標了。寫在最后的一點經(jīng)驗這套配置跑熟之后HAProxy 在項目里基本就是個“透明但可靠”的存在了。不要急著上那些花哨功能先把負載均衡、健康檢查、日志、監(jiān)控頁這四個基礎(chǔ)能力用扎實日常運維就會輕松一大截。我個人在實際操作中養(yǎng)成的習(xí)慣是每次改完配置先執(zhí)行一遍haproxy -c -f校驗然后立刻看日志確認新配置對流量沒有異常影響。這個習(xí)慣幫我擋掉了不少線上事故建議你也試試。下一篇文章可以聊 ACL 規(guī)則和高級路由到時候見。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
91欧美| 久久婷婷国产| 亚洲蜜乳AV| 欧美激情综合五月色丁香| ztEJj| 人人草人人看| 欧美性爱5月天天天看| 婷婷无五月无码视频| 狠狠做深爱婷婷久久综合一区| 玖玖婷婷色| 91碰碰| 久操大香蕉| 无码人妻少妇色欲AV一区二区| 狠狠狠狠狠草| 日本老女人黄页在线播放| 开心五月婷婷激情| 天天操中文字幕| 五月丁香六月欧美综合| 婷婷99狠狠躁| 开心婷婷五| 丁香五月狠狠在线观看| 久久这里只有精品99| 狠狠色婷婷丁香六月| 91综合在线观看| 婷婷伊人网| 亚洲色色图片| 成人国产网站| 五月婷婷先锋| 色爱综合网| 色播五月丁香| 老司机伊人| 激情久久婷婷| av五月丁香| 99精色| 亚洲bt丁香五月天婷婷激情小说| 五月婷婷色综图片| 日韩天堂久久| 97干在线看| 超碰操日| 五月香蕉网| 91夫妻视频| 九九热在线精品视频| 狠狠做婷婷| 秋霞午夜理论| 亚洲激情 久久| 在线不卡中文字幕| 亚洲热久| 操日视频| 激情亚洲婷婷| 五月天天综合| 久久婷婷五月丁香网| 全部老头和老太XXXXX| 婷婷五月综合激情免费视频| 婷婷激情六月天视频| 婷婷五月天在线观看av| 婷婷五月天影视网址| 欧美性猛交99久久久99| 九九re精品视频在线观看| 成人视频免费观看高清完整版在线观看| 99国产精品久久久久久久久久久 | 六月婷伊人| VA色婷婷| 狠狠色婷婷7| 九九热视频99| 激情深爱婷婷网| 五月婷婷自拍| www.操.com| 丁香成人五月天| 丁香五月在线播放| 久久久久久久人妻| 丁J香六月首页| 超碰色人妾| www.色九月| 久久五月情| 九月久久婷婷| 99热99网| 久久久精品色色色| aa久久| 97色干| 国产精品电影| 天堂va久久久噜噜噜久久Va| 久热黄色| 79成人网| 亚洲精品成人| 成片免费观看大全| 99噜噜噜在线播放| 99爱精品视频| 色噜噜狠狠一区二区三区| 久久婷婷五月天| 亚洲V国产V欧美V久久久久久| 九月婷婷综合| 欧美啪啪9| 99re最新地址视频| 26uuu亚洲| 五月天停婷基地| 欧美 日韩 成人在线| 久久综合五月| 综合五月丁香97| 久久香蕉影院| 四色五月婷婷| 免费无码毛片一区二区A片| 丁香五月大香蕉在线99| 国产激情综合五月久久| 精品色| 日韩成人精品中文字幕| 婷婷五月在线| 亚洲99手机免费看视频| 97久久久| 成人短视频免费观看| 天天色丁香| sewuyue第四色| 高清无码视频网址| 精品人妻一区二区三区在| 伊人五月天久久| 天天插天天插天天操| 99热青青草原| 嫩BBB槡BBBB搡BBBB| 91色色色视频| 婷婷五月丁香久久| 香蕉AV777XXX色综合一区| 99偷拍视频在线日本| 三级黄网站| 五月婷婷开心丁香| 成人国产网站在线免费看| 五月伊人网| 六月婷婷国产| 婷婷五月丁香第四色超碰在线| 激情性爱五月| 激情五月五月婷婷| 日韩一级| 九六五月天婷婷| 99热偷拍| 激情综合色| 丁香五月激情啪啪| YW无码| 成人婷婷五月天| 综合啪啪| 成人在线日韩欧美| 天天色99| 午夜成人综合| 丁香五月网址| 91热99| 六月婷婷五月天| 色婷青青| 九九精品视频在线观看| 亚洲成人av在线观看| a v色婷婷| 激情综合亚洲| 久久免费精品小视频| 五月天激情电影| 日韩无码成人电影| 第2色五月婷| 神马欧美精| 综合狠久久| 五月色情婷婷开心五月色情| 九九色婷婷| 九九精品综合| 久久色情| 国产色色在线| 99网| 99热在线这里只有精品| 精品久9| 怡红院99| 色五月激情五月| 日本精品。999| 色综合色色| 99乱视频| 欧美在线视频99| 色情丁香五月婷婷精品| 99超级碰免费视频| 天堂AV三级| 婷婷精品免费久久| 怕怕av| 另类视频在线| 99久在线精品99re8热| 九九热在线视频| 久久99免费视屏| 巴基斯坦粉嫩无码视频| 丁香五月婷婷www..com| 久久五月天网| 日本精品在线噜噜噜| 久久婷婷91| 猫咪伊人久久| 免费看欧美成人A片无码| 精品婷婷五| 狠狠干天天日| 91婷婷五月天综合视频| 天天综合色99| 超碰chaompinm| www.天天色综合| 色婷视频| 丁香五月六月婷婷殴美综合| 九九人人自拍| 色五月综合激情| 丁香五月婷婷色| 九九色人| 综合网五月天123| 亚洲超碰青涩| 色热久| 玖玖爱伊人| 丁香五月婷婷啪啪啪| 成人电影一区| 1024操逼| 大香蕉520| 美女五月天婷婷| 99热在线播放| 天天干电影| 婷婷五月丁香综合| 玖玖九九超碰| 97操碰| 色婷婷六月综合| 五月婷婷丁香综合,亚洲天堂| 激情五月天综合网| 色小说婷婷五月天天天| 五月天狠狠色| 亚洲愉拍99热成人精品| 五月丁香激情综合网| 婷婷欧美激情综合| 性色av大香综合| 色香蕉影院| 再次出发二| 9999热在线| 狠狠综合久久| 亚洲欧美一区二区三区爱爱动图| 小视频aaa久久久| 丁香五月天堂亚洲社区| 九九热只有精品| 天天狠狠色噜噜| AV成人在线播放| 激情五月婷| 久久99性爱视频| 日本色色色| 97碰精品| 欧美性猛交99久久久久99按摩| 亚洲精品五月| 婷婷五月丁香综合激情小说| 网色99| 色五月婷婷777| 久久伊人婷婷| 天天舔天天摸| 操逼棍操逼| 99re这里只有精品99| 亚洲超碰中文字幕| 亚洲亚洲人成综合网络| 99热在线精品播放| 色婷婷综合影院| 丁香五月婷婷成人色区| 99在线小视频| 天天干天天拍| 五月丁香六月激情综合| 色情综合网| 婷婷六月丁香欧美视频在线| 欧美久久婷婷| 超碰AAAAAAV| 激情五月天久久丁香| 26uuu色五月| 九月婷婷综合| 久久久免费图片视频| 中文字幕按摩做爰| 激情四射五月天| 99这里只有精品| 日韩按摩二区| 激情五月婷婷综合视频| 五月激情综合激情五月| 欧美激情五月综合| www.99热| 激情图片亚洲| 婷婷5月天激情综合| 激情久久五月天| 丁香九月激情久久| 一起草Av| 色色色999| 亚洲婷婷丁香| 超碰在线视屏| 色狠狠综合| 99自拍视频网站| 26uuu偷拍亚洲欧洲综合| 久久久久久99日本| 996热re视频在线观看视频| 熟女强人妻一区二区三区四区无| 亚洲欧美在线观看| 99超碰欧美| 最近中文字幕2019视频1| 91操操| yellow视频在线观看91| 欧美色婷婷| 色热久| 丁香五月香蕉| 伊人久久艹| 五月丁香| 综合久久婷婷99| 五月婷婷六月丁香| 老妇六区| 色婷婷91| 久久草大香蕉| 色噜噜伊人| 97久久人人| 五月停停色色丁香| 天天碰夜夜操| 99色久| 香蕉久久六月| 婷婷五月天日本国产| 丁香五月天激情婷婷丁香六月 | 性爱视频99| www激情婷婷com| 亚洲婷婷五月天激情| 丁香激情五月天| 中美日韩成人在线| 变态 另类 在线| 亚洲色区17| 日韩AV在线免费观看| 五月天婷婷伊人| 五月伊人网| 一根材五月婷成人| 色婷婷视频在线| 婷婷五月综合久久中文字幕| 国产成人精品一区二三区熟女在线 | 午夜免费试看| 97人碰人操| 婷婷黄色五月| 综合激情五月丁香| 欧美Va婷色| 天天摸天天肏| 大大香蕉综合在线| www,8050,午夜三级| 五月婷婷丁香五月亚洲色| 开心五月婷婷99| 久久人妻精品| 精品人妻在线免费观看| 丁香激情网| 婷婷五月色网| 日韩一级片| 亚洲一级 片内射网站在线观看| 99热销国产这里有精品| 26uuuavcom| 免费看成人747474九号视频在线观看| 丁香五月天欧美成人| 秋霞影音91人妻久久| 蜜臀99精品| 婷婷六月啪啪| 在线观看996精品| 丁香色情五月天| 综合久久五月天| 婷婷五月在线视频| 五月丁香综合在线| 99无码黄色视频| 99综合视频一体| 久久久aaa| 久久婷婷五月综合色奶水99啪| 欧美成人Va| 丁香五月婷婷视频| 欧美三级韩国三级日本三斤| 亚洲婷婷开心五月| 亚洲操B| caopeng97人人| 五月婷婷五月天天| 婷婷九月| 欧美群妇大交乱婬网| 九九热99熟女| 日韩情色在线观看| 色婷婷婷婷五月天| 五月久久| 天天日日综合| 超碰成人在线免费观看| 五月丁香六月婷婷综合网缴情| 九月丁香婷婷| 丁香五月激情宗合| 99热这里只有精品在线| 九九精品网站| 激情五月天婷婷五月天| WWW久久久| 狠狠干,狠狠操| 日本久久色| 婷婷大美在线| 五月婷视频| 99热20| 欧美99热| 99超级碰免费视频| 九九RE视频在线精品| 丁香婷婷色五月激情综合| av一级棒av| 色亚洲视频| 婷婷爱五月| 五月六月婷婷激情网| 日本久久婷婷| www.91色| 亚洲V国产V欧美V久久久久久| 99久久99视频只有精品| 丁香五月色情| 精品皮股午夜AV| 天天做天天爱天天高潮| 六月婷五月丁香| 国产精品久久久久久久久久免费 | 亚洲婷婷开心五月| 亚洲狠狠爱婷婷| 五月婷色啪| www超碰com| 丁香五月成人社区| 色婷婷亚洲| 99色色| 婷婷五月情色| 另类图片五月天婷婷| AV人人操| 综合激情伊人影视在线| 免费看成人AA片无码视频吃奶| 狠狠狠狠狠草| 99毛片| 99热91| 日韩欧美五月丁综合| 尔尔AV一区| 白天AV月月| 日韩xx在线| 激情五月婷| 日本色色网| 欧洲第一无人区观看| 久久这里都是精品视频| 伊人婷婷五月天av| 日本3级片一区2区| 无码少妇高潮喷水A片免费| 五月婷婷深爱六月| 色欲AVV| 色婷丁香| 天天夜夜六月丁香五月婷婷老师| 色女人久久| 九九热精品视频| 亚洲激情高潮| 亚洲成人av在线播放| 丁香六月啪啪啪| 婷婷大香蕉| 激情综合网激情五月丁香五月俺也去| 久久五月丁香| 5月婷婷五月天| 久久亚洲婷婷| 久久全色| 欧美顶级少妇做爰HD| 婷婷婷婷婷开心无码播放| 丁香六月婷婷激情综合| yw.av| 操一区| 五月天婷久精视频| 日日操,日日爽| 91凹凸在线| WWW.国产| 狠狠操综合| 婷婷金品综合视频| 森林影视大全,最好看的2019年视频 | 成人在线视频一区| 五月丁香婷婷综合网色欲| 99九九综合久久九九| XX色综合| 激情五月丁香五月| 思思热视频在线观看| 亚洲六月色| 99热精品无码| 久久婷婷五月免费视频| 中文不卡一二三区| 日本va欧美va欧美va精品| 久久9热综合| 国产人妻777人伦精品HD| 狠狠干综合| 五月天婷婷激情| 思思久日精品视频| 日日操,夜夜爽| 99这里只有精品国产| 五月丁香六月婷婷久久肏| 开心五月婷婷伊人| 影音先锋AV资源男人站| 操逼五月婷婷| 丁香五月天AV在线 | 婷婷五月天播播| 激情网 五月天| 色婷婷电影网| 亚洲综合九九| 精品久久99| 97干网站| 综合婷婷| 丁香五月激情综合| 情欲综合网| 日韩 欧美 国产 一区 二区| 九九精品在线视频观看| 另类激情五月天。| 婷婷五月天中文字幕.| 91九色丨国产丨爆乳| 国产三级片91| 色网站99| 天天肏天天爽夜夜爽| 五月婷婷中文网| 翔田千里无码| 开心色五月天久久久久久久| 激情亚洲网| 丁香五月激情月| www。五月天。com| 天天综合天综合| 五月天婷婷视频| 久热超碰91| 玖玖99免费视频| 日本三级韩三级99久久| 亚洲乱码日产精品BD| 亚洲妇女熟BBW| 日韩ww| 精品九九久久| 久久只有这里精品免费| 亚洲五月天狠狠| 五月情婷婷| 婷婷五月激情网| 婷婷九九| 白人荫道BBWBBB大荫道| 97操碰视频| 色激情综合狠狠婷婷| 5月婷婷视频网站综合| 蜜臀九九九九| 91精品久久久久久| 大香蕉综合视频在线| 日日夜夜亚洲一区| 婷婷99狠狠躁天天躁| oumeisesewang| 停停五月天激情网| 五月天婷婷久久| 四川女人毛多水多A片| 97操碰日本女人| 玖玖九九9999在线观看视频精品| 热九九精品| 五月天婷婷五月| 久久丝袜婷婷| 五月停停大香蕉| 婷婷五月天AV在线| 婷婷色五月久久| 五月天丁香婷| 婷婷最新地址| 欧美天天草人人草| 激情五月婷婷丁香综合网| 激情婷婷五月天| 六月色婷婷| 天堂久久大香蕉| 亚洲第一色网站| 色色亚洲| 第四色色六月色综合| 亚洲在线资源| 婷婷五月六月丁香| 玖玖99婷婷| 久久98| 久色网五月| 97干欧美| www一起操在线观看| 无码网| 久久66成人网站| 五月激情视频| 丁香激情久久| 五月婷婷激情综合av| 五月丁香色综合| 亚洲xx网| 韩国激情五月天综合网| 黄色av高清| 伍月婷丁香婷| 成人五月丁香社区| 五月丁香网站| 色五月丁香五月天| 色综合99无码 | 天天色官网| 中文字幕 中文字幕明步| 久久婷婷综合色丁香| 69er小视频| 成熟妇人A片免费看网站| 亚洲网站999| 色五月婷婷影院| 7EzOBIhNq85TO| 草草视频91| 久99热在线观看| 亚洲超级碰| 婷婷五月天免费视频| 日本不卡一区二区三区| 婷婷5月天av| www.99色| 午夜 外网 精品 在线| 色婷婷网| 亚洲视频在线观看99| av大香蕉| 天天久久66xxx| 色五月天激情| 91精品婷婷国产综合久久| 超碰在线观看9| 五月天伊人综合| 日本九婷婷| 丁香五月综合久久| 丁香 亚洲 久久| 六月丁香狠狠爱| 日本高清久| 久久久性爱视频| 久操激情| 久久婷婷五月国产激情综合片| 婷婷五月天综合在线| 99热爱爱干干日| 26uuu美女三级视频| 色婷婷视频| 色 丁香婷婷| 色色网站毛片| 婷婷五月激情图片| 综合五月草 | 五月婷婷成人| 五月婷婷激情刺激| 少妇水多A片太爽了| 色一区高清| 狠狠色 综合色区| 玖玖资源站中文| 国产综合婷婷| 五月婷婷综合网| 亚洲五月天狠狠| 在线99精品| 色色激情| 婷婷六月花| 吊色AV男人的天堂| 日本片日本片祼观看网站在线看中文版网页在线看 | 天天干天天干天天干| 激情影院免费视频婷婷五月天| 人妻免费网站| 亚洲操逼片| 97激情五月天| 五月婷婷草| 五月天婷婷在线AN| 26uuu欧美宗合| 五月天婷婷伊人| 久热这里只有精品99re| 婷婷激情5月| 99热99| 99色视频| 五月天亚洲综合网| 亚洲日本激情| 九艹在线| 1024亚洲无码| 超碰激情网| 热久久视频99| 色婷久久| 玖玖婷婷精品| 亚洲黄色网址| 婷婷色五月天在线| 青草青青草| 久思思热视频在线观看| 黄色片精品| 99热久久这里只有精品| 五月丁香啪综合| 天天干天天操天天上| 九九热99视频在线| 免费视频在线观看的网站| 久久亚洲天堂| 欧美激情综合色丁香婷婷五月天| 丁香六月婷婷一区| 97热在线精品| 午夜成人av在线| 饮料下药迷倒漂亮女同事强干| 色五月激情婷婷| 激情五月天综合图片小说网站| 天天肏高清在线| 婷婷久久久| 97精品综合久久| 日本成人噜噜噜| 色婷五月丁香久亚洲| 综合AV在线| 艹B高清无码| 欧美成人精品三区综合A片| 51XX午夜影福利| 五月婷婷片| 快色t v在线入口| 无码毛片992367| 777久久综合视频| 久99久视频| 五月婷婷综合影院| 五月婷天堂视频| 精品一二三区久久AAA片| 狠狠插狠狠操| 婷婷五月情| 久热九九| 色香蕉影院| 激情婷婷丁香五月天| 99婷婷国产最新视频| 激情综合色婷婷啪啪五月天| 伊人久久丁香狠狠婷婷综合香蕉 | 伊人碰碰碰| 日韩aaa| 五月天另类小说久久小说网| 99在线看片| 色五月婷婷在线| 色婷婷五月在线| 久热超碰91| 操逼巨乳91| 九九色播五月丁香| 九九色黄色| 亚洲色综合色网| 99丁香五月婷婷在线| 99ri视频在线观看| 97超碰欧美中文字幕| 婷婷综合中文字幕| 狠狠色噜噜狠狠亚洲A∨| 亚洲a片免费观看| 成人在线免费网址| 婷婷玖玖五月天| 91黄操| 亚洲五月婷| 99热啪啪| 丁香伊人综合| 久久久久思思热| av在线免费网站 | 丁香五月天激情四射网络不好| 免费一区二区三区| 久久婷五月影院| 大香伊人婷婷| 成人av播放| 综合五月草| 白天AV月月| 免费视频99| 六月婷婷激情图片| 激情五月综合| 丁香五月婷婷综合激情啪啪啪啪啪啪啪 | www.狠狠干com| 色丁香婷婷| 一级二级色大片| 六月婷婷五月天| 碰碰人人人| 五月丁香偷拍| 久久婷婷青草五月天| 精品婷婷五月视| 亚洲激情综合| 婷婷五月天伊人| a毛片二逼wwwwwwwwww| 五月天久久www| 丁香五月亭亭六月综合激情网| 丰满熟女人妻一区二区三| 99九九热在线观看| 国产成人精品一区二三区熟女在线| 人妻在线观看视频| 991精品在线视频| 婷婷基地成人五月天| 婷婷激情五月天小说| WWW,五月| 色青青电影色五月| 丁香五月精品视频| 欧美25p| 午夜少妇在线观看视频| av激情在线| 天天射天天射一道本日本社区 | 99热99干| 丁香五月综合网亚洲综合欧美狠狠| 久婷婷婷| 婷婷五月天综合久久日美女| 亚洲五月天综合色| 99热6色| 99久久网站| 综合五月丁香97| 丁香五月天av| 久久视频这里有精品99| 一本九九色| 这里只有精9| 婷婷久久综合久| 狠狠色噜噜色狠狠狠综合久久成人波| 激情小说视频图片| 91视频久久久| 色丁香久综合在线久综合在线观看| 色99热| 五月婷天堂视频| 亚洲无码成人性爰网| 26uuu在线观看| 伊人在线另类| 婷婷五月天深爱| 色五月天电影| 激情综合网五月丁香| 五月天婷婷小说| 九月停停| 日日日影院| 国产精产国品一二三在观看| 伍月婷丁香婷| AV性爱网| 色噜噜狠狠色综合日日| 97操碰在线视频| 99久久久久久久| 激情综合六月| 色综合77777| 97色婷婷| 97色色视频| 综合玖玖偷拍| 99精品视频免费观看| 香蕉视频性爱BB做爱| 天天做 天天爱| 欧美顶级少妇做爰HD| 99色在线观看免费| 天天干一干| 激情五月激情综合俺也去婷婷小说| 在线看片av| 色婷婷免费观看| 亚洲国产成人在线| 久久玖玖99| 久久精品只有这| 强奸幻女毛片| 色色色综合色| 丁香五月激情网| 99热日韩| 日夜操B| 99色日本| 停停五月丁香| 欧美天堂久久| www.yw尤物| 99热99在线| 婷婷无码视频| 九九这里只有精品在线视频| 丁香啪啪| 婷婷五月偷拍| 97超碰免费超级在线观看| 99九九精品视频| 人妻中文av| 欧美天堂久久| 久艹大香蕉| 五月丁香六月激情综合| 丁香五月骚喷水视频| 狠狠干.com| 中文字幕成人影视| 91欧美| 国产午夜精品一区二区三区嫩草| 9这里只有精品| 草草影院爱爱| 亚洲第一第二网站| sewuyuejiqingwang| 大香蕉丁香婷婷| 激情五月丁香社区| 色久播播| 五月四色激情| 超碰97免费在线| 婷婷免费成人视频| 人妻有码乱操| 欧美在线97| 五月天激情小说电影| 久久日曰| 99色网站| 婷婷丁香色情| 操逼国产91| 五月婷婷六月色| 精品,99| 久99精品视频| 综合大香蕉| 日本五月丁香| 激情综合色婷婷啪啪六月天| 9有码中文| 五月婷婷综合久久| 成人午夜视频精品一区| 国产在这里只有精品| 久热伊人| 久草婷婷视频| 婷婷午夜| 2020日日干| 五月丁香激情综合六月涩涩爱| 99国产欧美视频| 五月丁香六月婷| 欧美黄色韩日网| www.91.com处女在线直播| 久久久久久18| 夜夜爽77777妓女免费下载| 丁香五月社区| 极品 少妇 内射| 久久精品五月天| 婷婷丁香五月天综合激情| 日韩综合天堂| 天天透天天爱| 丁香色播五月天| 91成人看片| 西西4r午夜剧场| 大香蕉啪啪网| 九热免费视频| 五月婷视屏在线观看| 天天舔天天摸天天射| 色噜噜狠狠色综合网| 久久婷婷五月天| 99A片| 综合五月草| 色情婷婷。| 大地资源色婷婷视频在线| 精品人妻在线| 五月婷婷视频啪啪美女| 五月丁香婷婷基地| 182TV亚洲| 五月激情久久| www.色色色com| 久久92| 激情中文在线| 激情五月婷婷开心网| 秋霞簧片| 这里只有视频精品| 丁香六月啪啪| 久久人人九九| 国产毛片精品一区二区色欲黄A片| 桔色成人官方网站| 五月激情五月丁香| 91久久久久久久91| 婷婷五月五月丁香| 中文字幕在线免费看线人| 99无码视频| 狠狠色噜噜狠狠狠狠综合| 熟女激情网| 成人精品人妻| 色五月色图| 欧美在线操| 欧美色九| 噜噜色婷婷| 五月花激情| 这里只有精彩视频| 色天天久婷婷| 色婷婷五月天天天天天天天天天| 综合五月天亚洲婷婷| 再綫Av免费視品| 五月丁香综合激情在线观看| 噜噜色五月| 9er热在线精品视频| 久久三级视频| 色色丁香| 亚洲精品网址| 五月停停色| 91丨九色丨白浆秘| 亚洲综合久| 大香蕉七区| 久热99热| 久久久人妻人伦| 色色色激情| 五月丁香日本一抹本| 婷丁香久综合| 日日干夜夜撸夜夜骑| 99热在线观看免费| 精品无吗va视频免费观看| 第五色婷婷| 丁香六月狠狠干| 久草五月天| 青青草免费公开视频| 亚洲午夜av| 婷婷丁香激情五月天色色色| 六月丁香啪| AV大片在线观看| 亚洲啪啪网| 丁香五月激情婷婷视频| 日本va欧美va精品发布视频| 久热播这里只有精品| 99精品视频网| 欧美日韩成人| 国产XXXX搡XXXXX搡麻豆| 超碰成人影视| 婷婷爱爱蜜臀天天操| 操日视频| 亚洲色综合色网| 五月激情综合网| 好好日激情五月天| pacopacomama 070722_670 素人奥様初撮りドキュメント 103 大久保純子 | 亚洲AV无码电影| 免费播放片大片| 综合色网站| 日韩综合网络男女香蕉a片| 另类图片色五月| 91精品久久久久久77777| 色婷婷综合五月| 成人免费va| www.夜夜操.com| www.9操| 黄网在线观看免费| 五月丁香六月婷婷中合网| 99爱爱| 婷婷六月激情综合| 26uuu精品国产| 激婷网| 久久99综合| 26uuu另类亚洲欧美日本一| www.91.com黄| 五月丁香啪啪啪| 久久丁香九| xxxx五月| 色五月婷婷内射| AV人人操| 东京热免费视频网站| 开心五月婷婷激情网| 久色激情| 99re资源在线视频导航| 五月丁香色婷婷色| 丁香五月亚洲综合| 亚州操人在线视频| 久久女伦| 婷婷亚洲五月丁香综合在线| 98永久精品| www.97视频| 加勒比日本一区二区三区| 色国产五月| 日韩性视频| 五月婷婷精品视频| 亚洲激情五月丁香久久久久| 国产67194| 色婷婷色| 综合五月网| 亚洲春色奇米影视| 99国产er热视频| 97五月久久丁香婷婷| 狠狠色婷婷综合开心影视| 狠狠色婷婷7| 伊人激情综合网| 婷婷色六月| 天天天天天天天操| 熟惀91九色在线| 五月婷婷丁香成人网| 日本久久精品18| 香蕉中文在线| 亚洲色综合性| 日韩黄在免| 人人干天天操五月丁香| 激情婷婷六月天| 丁香九色不卡aaa| 思思w99| 一本大道嫩草AV无码专区| 欧美色色色色色色| 婷婷天天婷婷天天澡| 99热99精品在线观看| 很很操96| 五月婷婷六月激情| 六月丁香深深爱综合网| 欧洲亚洲免费视频9| 九月色婷婷综合| 丁香五月电影| 91热手机在线| 色高清无码视频| 五月丁香网站| 99只有这里是精品| 老美AA片| 91婷婷五月天综合视频| 色五月婷婷在线观看第一页舔| 天天色五月| 无码日本精品XXXXXXXXX | 五月天合网| 五月丁香六月激情综合| 色99视| 荡乳尤物3HP1V5| 婷婷五月丁香狠狠| 无码少妇高潮喷水A片免费| hd五月婷婷在线| 无码视频国内精品久久久| 六月丁香婷婷开心综合基地| 亚洲AV成人精品网站在线播放| av性爱在线| 99ri视频在线观看| 97碰久久| 婷婷五月在线免费| 色婷婷成人做爰A片免费看网站| 中文字幕永久在线| 久久女婷| 蜜乳中文字| 久久婷婷草| 久久多色| 丁香五月另类小说在线阅读| 婷婷91视频| 婷婷的五月天另类视频| 天天色中文字幕女优AV| 天天爽天天爽视频| 欧美操综合| 五月婷精品| 日韩无码一区二区三区四区| 久久婷婷五月丁香蜜桃网| 激情五月天小说| 六月丁香中文字幕| 99热在线看| 深爱丁香激情| 黄色片久久| 色天五月天在线观看视频| 亚洲AV网址| 99综合免费视频| 狠狠操狠狠干综合| 久久99激情| 开心激情网五月天| 97综合在线| 播播网色播播| 激情五月少妇| 五月婷婷影院| 日本人妻伦在线中文字幕 | 亚洲欧美成人在线| 五月婷婷六月奇米网丁香| 91狠狠综合网| 国产一区二区三区影院| 深爱激情五月婷婷| 激情婷婷| 玖玖@三月天天丁香婷婷| 久热99热| 日韩色情亚洲五月天婷婷| 六月婷婷香蕉| 亚洲va久久久噜噜噜久久天堂| 婷婷丁香激情综合色情| 久久人人看| 婷五月天| 99热免费| 六月丁香婷婷开心综合基地| 亚洲啪啪视频| 香蕉影院色| 开心激情五月天网| 婷婷五月激情视频| 新激情综合| 超碰日韩成人| 久久婷婷视频| 色五月婷婷色五月婷婷色五月婷婷| 超碰99在线观看| 人操91在线| 婷婷亚洲天堂| 9久热免费视频99| 天天日人人爽| www,五月天com| 日韩久综合| 超碰免费观看| 99这里有精品| 综合色99| 婷婷婷婷婷开心无码播放| 婷婷五月天在线综合导航| 亚洲精品国产成人AV在线| 亚洲亚洲人成综合网络| 热99精品视频| 色婷婷综合五月| 99操逼视频| 婷婷午夜综合| 九九成人电影婷婷| 久久新地址| 激情五月色婷婷| 操操操AV| AⅤ色区| 欧美 日韩 成人在线| 丁香五月六月婷婷自拍| 日韩久久视频| 狠狠色丁香久久| 9热久久| 色婷婷yy久| 日本色色视频| 中国女人做爰A片| 亚洲激情在线| 婷婷亚洲综合| 五月激情六月综合| 99热在线中文字幕| 五月天婷婷综合网| 婷婷深爱五月天| 色婷婷丁香五月综合| 桔色成人官方网站| 丁香五月骚喷水视频| 在线观看熟女少妇| 激情美女五月天| 99热福利| 人操综合| 99热香港| 99热有精品在线观看| 99热网精品| 91打屁股免费看| 六月婷婷色色网| 丁香88AV五月婷婷| 91人久| 中文中文在线| 国产美女无遮挡裸体毛片A片| 任你躁XXXXX麻豆精品| 成人综合网站| 久久婷婷免费| 五月婷婷欧洲| 亚洲一级AV在线免费播放| 激情婷婷综合网| 99视频极品在线香蕉| yazhochengrenavwang| 亚州精品成人片| 亚洲热久| 伊人网碰碰| 婷婷五月天受日本法律保护| 久热久色| 亚洲婷婷激情888精品久| 2025年最新亚洲在线欧美| 婷婷中文字幕| 99热欧| 五月婷婷无码专区| 五月香六月婷| 丁香婷婷基地| 久久大香蕉| 99∨VTV| 日日夜夜天天| 99国产99| 五月叮香啪| 亚韩在线视频| 亚洲丁香婷婷五月天综合色| 激情五月色综合国产精品| 婷婷五月天香蕉| 色偷偷五月天| 色婷婷在线播放| 激情久久久久久| 日本久久精品| 粉嫩AV久久一区二区三区| 五月天色色色网| 丁香五月综合激情性爱| 日日天天天| 99在这里有精品| 色色色在线观看| 亚洲五月婷| 丁香五月WWW| 丁香色婷婷| 久久人人人人妻| 激情五月综合网| 97影院一级片| 国色天香成人网| 99燥99日| 色综合天堂| 大香蕉五月丁香| 国产热精品| 99在线资源| 五月婷婷影视| 久艹大香蕉| 激情五月色综合国产精品| 色欲婷婷五月天丁香| 色99视频| 在线观看视频1区| 婷婷五月天成人在线视频| 亚洲色 视频| 99看片| 亚洲九区| 91在线资源| www。五月天激情| 人人噜天天上| 久久伊人大香蕉| www久久久久久| 成人视频九九| 五月天婷婷AV| 精品热九九| 激情久久 婷婷| 欧美激情五月天在线观看| 五月花婷婷| 在线中文字幕免费视频| 精品99在线看| 天天色综合图片| 九九99精品| 亚洲综合久| 婷婷涩涩五月天| 激情又色又爽又黄的A片| av在线播放网址| 亚洲视频99| 国产看真人毛片爱做A片| 二色av| 九色啦蜜臀| 韩日另类| 中文精品久久久久人妻不| 中文字幕,综合,91| 五月丁香久久激情综合| 91精品婷婷国产综合久久| 亚洲精品激情| 欧美97超碰| 久久激情综合| 开心激情网在线| 五月天激情网址| 79精品视频在线观看,| 淫五月停停| sisi热国产| 日本久久网| 97人人干人人操| 丁香色五月婷婷91桃色| 五月激情小说| 99热日本| 操碰99| 丁香五月婷婷激情中文| 五月婷久久| 丝袜激情网| 五月丁香六月婷婷开心网| 成人国产欧美大片一区| 少妇丁香婷婷| 九九这里都是精品| 青青色com久久| 国产另类综合| 国产九月婷婷| 婷婷五月伦理| 免费超碰在线观看| 激情五月丁香色婷婷| 女人被躁到高潮嗷嗷叫小| 色情·com| 91丨九色丨43老版熟女|