欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運營的一線實戰(zhàn)洞察。

MySQL讀寫分離與高可用:MaxScale完整配置與排坑指南

MySQL讀寫分離與高可用:MaxScale完整配置與排坑指南 做MySQL運維的朋友遲早會碰到一個繞不開的話題數(shù)據(jù)庫代理Proxy。業(yè)務(wù)量一旦上來主庫寫壓力高、從庫讀流量分配不均、主從切換要改一堆應(yīng)用連接串這些問題會逼著你去找一個能統(tǒng)一收口的中間層。MaxScale就在這種情況下進(jìn)入我的視野——它是MariaDB官方出品的MySQL/MariaDB代理能幫忙承擔(dān)讀寫分離、負(fù)載均衡、自動故障轉(zhuǎn)移和查詢路由。這篇指南我按一條真實上線路徑來寫先講清楚為什么需要它、部署前要想什么再給一套可直接套用的配置接著拆解路由和監(jiān)控的底層邏輯最后分享上線后踩過的坑以及maxctrl日常巡檢方法。不管你是剛接觸MySQL的新人還是正在做代理選型的DBA應(yīng)該都能從里面找到自己需要的那部分。1. 先從選型說起為什么是MaxScale而不是另一套代理1.1 沒有代理層之前我經(jīng)歷過的三個痛點最早維護(hù)一套單主雙從的MySQL集群時我的日??梢杂萌齻€詞概括改配置、等發(fā)布、背鍋。業(yè)務(wù)線直接在配置中心里寫下多個從庫地址從庫擴(kuò)容時要挨個通知應(yīng)用方修改連接串某個從庫宕機(jī)后監(jiān)控明明紅了但應(yīng)用里的連接池還在向這個死亡地址發(fā)起新連接直到超時重試才緩緩反應(yīng)過來。主從切換更是一場災(zāi)難手動把從庫提升為主庫后還需要在配置中心里改一大圈讀寫地址期間整個聯(lián)調(diào)環(huán)境都處于不可用狀態(tài)。換句話講應(yīng)用層直接面向MySQL裸連接是把架構(gòu)的脆弱性暴露給了所有上游。我當(dāng)時的訴求很明確有一個統(tǒng)一入口應(yīng)用只配一個地址讀寫路由由入口負(fù)責(zé)主從切換時入口能自動感知并處理。這個訴求指向的正是數(shù)據(jù)庫代理層。理論上也可以自己在應(yīng)用里封裝一套多數(shù)據(jù)源路由Java有現(xiàn)成的sharding-jdbc、讀寫分離插件Go也有各種方案。但問題是公司里不同團(tuán)隊語言不統(tǒng)一、維護(hù)成本高一旦有人把事務(wù)和讀路由的關(guān)系搞錯線上故障就來了。代理層的價值在于把路由邏輯從業(yè)務(wù)代碼里抽出來收口到基礎(chǔ)設(shè)施層讓應(yīng)用只關(guān)心連一個地址。1.2 MaxScale、ProxySQL、MySQL Router、MyCat的定位差異選型階段我把市面主流方案都過了一遍。MySQL Router是MySQL官方出品的輕量路由配置簡單但功能偏少不太適合做復(fù)雜路由和故障轉(zhuǎn)移ProxySQL功能確實很強(qiáng)查詢規(guī)則、緩存、流量控制都有但配置體系比較重規(guī)則寫多了之后排查起來累MyCat更偏向分庫分表一旦引入就相當(dāng)于把整個數(shù)據(jù)訪問層都交給它改造量大。相比之下MaxScale走的是“聚焦讀寫分離和高可用”的路線配置結(jié)構(gòu)清晰和MySQL/MariaDB的復(fù)制體系貼合得很緊內(nèi)置的monitor直接管理主從感知、failover、rejoin不需要額外寫腳本。我當(dāng)時用一個小型壓測環(huán)境簡單對比過下面這張表基本說明了差異方案讀寫分離自動故障轉(zhuǎn)移配置復(fù)雜度分庫分表能力我對它的評價MaxScale成熟內(nèi)置和復(fù)制狀態(tài)聯(lián)動較低一個conf文件即核心不支持專注路由層讀寫分離和高可用組合場景最優(yōu)ProxySQL成熟依賴外部腳本或ProxySQL Admin配置高規(guī)則和庫表多不支持適合對查詢規(guī)則有極強(qiáng)定制需求的人MySQL Router基礎(chǔ)依賴InnoDB Cluster元數(shù)據(jù)低不支持輕量場景夠用復(fù)雜拓?fù)鋭e指望MyCat有較弱高支持分庫分表場景才會考慮如果你和我一樣核心痛點就是“讀寫分離不徹底、主從切換太痛苦”MaxScale是投入產(chǎn)出比最高的一款。它不需要改造業(yè)務(wù)SQL不需要引入分片鍵部署形態(tài)也足夠簡單。1.3 什么場景不適合用MaxScale選型教育了我一件事沒有萬能組件先想清楚它解決不了什么再決定要不要用它。MaxScale解決的是路由和讀寫分發(fā)不解決數(shù)據(jù)容量問題。如果單庫數(shù)據(jù)量已經(jīng)到幾個T且還在暴漲需要的是拆庫拆表MaxScale這個層級幫不上忙它不是分布式數(shù)據(jù)庫中間件不會幫你做分片計算。另外它也不負(fù)責(zé)修復(fù)主從復(fù)制本身的故障如果binlog損壞、延遲持續(xù)追不上MaxScale能做的只是把那個從庫標(biāo)記為Down或限制它參與路由真正修復(fù)復(fù)制鏈路還是得靠DBA自己。還有一個容易被忽略的點MaxScale本身有網(wǎng)絡(luò)轉(zhuǎn)發(fā)成本如果業(yè)務(wù)對延遲極其敏感每個查詢都多一跳代理會產(chǎn)生毫秒級損耗這種場景下需要權(quán)衡是否值得。你會看到MaxScale擅長的是把復(fù)雜多變的主從拓?fù)浞庋b成一個穩(wěn)定入口讓應(yīng)用側(cè)變簡單。這正好是業(yè)務(wù)量上升期團(tuán)隊最需要的。2. 部署前必須做的三件事拓?fù)?、賬號與版本2.1 推薦的最小生產(chǎn)拓?fù)溟L什么樣很多人一上來就裝MaxScale結(jié)果發(fā)現(xiàn)文檔里講了一堆概念反而不知道從哪開始。我建議部署前先在紙上畫清楚拓?fù)?。這里給一個最小但完整的生產(chǎn)參考[應(yīng)用服務(wù)] - [VIP: 10.0.0.10] | [MaxScale A] [MaxScale B] - 代理層可做雙機(jī) \ / [MySQL Master] [MySQL Slave1] | [MySQL Slave2]如果團(tuán)隊規(guī)模不大可以先用一臺MaxScale跑起來等穩(wěn)定了再引入Keepalived或MaxScale自身的多機(jī)方案做VIP漂移。關(guān)鍵點是MaxScale不要和MySQL部署在同一個宿主機(jī)上否則宿主機(jī)宕機(jī)時代理和后端數(shù)據(jù)庫一起離開整個入口就徹底沒了。2.2 先確認(rèn)后端主從復(fù)制本身是健康的MaxScale的monitor模塊很強(qiáng)大但它只負(fù)責(zé)“觀察”復(fù)制狀態(tài)不負(fù)責(zé)“建立”復(fù)制關(guān)系。如果你后端的主從復(fù)制本身就有問題MaxScale配置得再完美也只是把問題曝光得更明顯。在部署MaxScale前我建議先完成這些基本功每臺MySQL的server_id全局唯一log_bin開啟gtid_modeONMySQL 8建議開啟MariaDB 10.11之后也推薦從庫的read_only打開復(fù)制賬號已經(jīng)建好并確認(rèn)SHOW REPLICA STATUS里沒有報錯。只有主從復(fù)制鏈路本身穩(wěn)定MaxScale基于復(fù)制狀態(tài)做failover才有意義否則它會以為某個節(jié)點是健康的結(jié)果數(shù)據(jù)在主從間根本對不上。2.3 MaxScale專用賬號的權(quán)限設(shè)計與創(chuàng)建SQLMaxScale和MySQL之間需要兩類賬號一類是監(jiān)控賬號monitor模塊用它去連接每臺后端服務(wù)器檢測主從狀態(tài)、計算延遲、判斷節(jié)點角色另一類是路由賬號service在處理客戶端連接時會用它去向后端發(fā)起真正的數(shù)據(jù)庫連接。實際配置里二者可以共用一個賬號但建議分開權(quán)限更好控制。下面這套SQL適用于MySQL 8.x和MariaDB直接抄即可CREATE USER maxscale_monitor% IDENTIFIED BY M0nitorPassw0rd; GRANT SELECT ON mysql.user TO maxscale_monitor%; GRANT SELECT ON mysql.db TO maxscale_monitor%; GRANT SELECT ON mysql.tables_priv TO maxscale_monitor%; GRANT SELECT ON mysql.roles_mapping TO maxscale_monitor%; GRANT SHOW DATABASES ON *.* TO maxscale_monitor%; GRANT REPLICATION CLIENT ON *.* TO maxscale_monitor%; GRANT REPLICATION SLAVE ON *.* TO maxscale_monitor%; CREATE USER maxscale_route% IDENTIFIED BY R0utePassw0rd; GRANT SELECT ON *.* TO maxscale_route%; GRANT INSERT ON *.* TO maxscale_route%; GRANT UPDATE ON *.* TO maxscale_route%; GRANT DELETE ON *.* TO maxscale_route%; GRANT SHOW DATABASES ON *.* TO maxscale_route%;不推薦給路由賬號配超級權(quán)限。REPLICATION CLIENT這個權(quán)限很關(guān)鍵MaxScale需要它來讀取復(fù)制狀態(tài)如果沒有這個權(quán)限從庫的復(fù)制健康度會讀不出來節(jié)點可能被誤判為Down。mysql.user和相關(guān)系統(tǒng)表的SELECT權(quán)限則用于檢查后端賬號是否存在、當(dāng)前賬號的權(quán)限元數(shù)據(jù)權(quán)限缺失時MaxScale日志里會不斷刷“permission denied”的告警。這里要額外提醒一點如果你后端是MySQL 8.0默認(rèn)認(rèn)證插件是caching_sha2_password舊版本的MaxScale對它的支持不穩(wěn)定。穩(wěn)妥做法是在MySQL 8上建maxscale專用賬號時顯式指定mysql_native_passwordCREATE USER maxscale_monitor% IDENTIFIED WITH mysql_native_password BY M0nitorPassw0rd;新版MaxScale已經(jīng)兼容caching_sha2_password但如果你用的是老版本還是建議用這個方式避免連接認(rèn)證報錯。2.4 版本選擇與安裝方式MaxScale的版本史比較有意思早期是獨立版本號6.x、7.x后來跟著MariaDB的節(jié)奏切到了23.x、24.x。無論哪個時期6.4都是一個相當(dāng)穩(wěn)定的版本線上有一批老集群還在用它新項目我建議直接用24.x配置語法變化不大官方文檔也更完整。安裝方式上主流操作系統(tǒng)都可以從MariaDB官方源直接安裝。RedHat/CentOS系curl -Ls https://rpm.mariadb.com/maxscale/24.2/rhel/9/x86_64/maxscale-24.2.1-1.rhel.9.x86_64.rpm -o maxscale.rpm yum install -y maxscale.rpmDebian/Ubuntu系curl -Ls https://deb.mariadb.com/maxscale/24.2/ubuntu/pool/main/m/maxscale/maxscale-24.2.1-1.ubuntu.22.04.jammy_amd64.deb -o maxscale.deb apt install -y ./maxscale.deb實際上版本號一直在更新上面URL里的具體包名會變化最保險的方式是訪問MaxScale官方下載站選擇對應(yīng)系統(tǒng)和架構(gòu)的rpm或deb包。安裝完成后二進(jìn)制路徑通常在/usr/bin/maxscale配置文件在/etc/maxscale.cnf日志在/var/log/maxscale/maxscale.log。如果使用Docker部署注意把/var/lib/maxscale目錄持久化不然容器重啟后監(jiān)控數(shù)據(jù)和管理賬號信息會丟失這個坑后面單獨展開。3. 從一份最小配置到真正跑通讀寫分離3.1 先理解MaxScale的四個核心對象剛開始看MaxScale文檔容易被listener、service、monitor、server這些詞繞暈。我用一個餐廳的類比幫助理解server后廚的灶臺對應(yīng)每臺MySQL實例。service配餐規(guī)則決定“哪些菜去哪個灶臺炒”比如讀走A灶臺、寫走B灶臺。listener餐廳門口的接客窗口對應(yīng)應(yīng)用連接的IP和端口。monitor巡查員每隔幾秒去看每個灶臺是否還在正常運轉(zhuǎn)、哪口鍋是主灶。一個MaxScale進(jìn)程可以配置多個service、多個listener、多個monitor但最小可用的配置只需要一套。3.2 最小可用配置文件用vim打開/etc/maxscale.cnf寫入下面這段配置[maxscale] threadsauto admin_host127.0.0.1 admin_port8989 admin_usermaxadmin admin_passwordAdmin123 [server1] typeserver address192.168.10.11 port3306 protocolMariaDBBackend [server2] typeserver address192.168.10.12 port3306 protocolMariaDBBackend [MySQL-Monitor] typemonitor modulemariadbmon serversserver1,server2 usermaxscale_monitor passwordM0nitorPassw0rd monitor_interval1000 failover1 auto_rejoin1 [Read-Write-Service] typeservice routerreadwritesplit serversserver1,server2 usermaxscale_route passwordR0utePassw0rd master_accept_readstrue [Read-Write-Listener] typelistener serviceRead-Write-Service protocolMariaDBClient address0.0.0.0 port4006說幾個關(guān)鍵字段modulemariadbmon是MaxScale 6.x以后的監(jiān)控模塊名舊文檔里mysqlmon已經(jīng)廢棄。monitor_interval1000表示每1秒巡檢一次。對普通業(yè)務(wù)夠用對高可用要求更高的場景可以調(diào)到500但會增加監(jiān)控賬號的連接壓力。failover1開啟自動主從切換。首次啟動時我建議先設(shè)成0手動驗證一切正常后再打開避免誤判導(dǎo)致自動切庫。master_accept_readstrue允許主庫參與讀路由。主庫性能寬裕時開著能分?jǐn)傋x壓力如果主庫已經(jīng)是寫瓶頸把它設(shè)成false所有讀盡量走從庫。3.3 啟動MaxScale并驗證讀寫分離安裝完成后注冊成系統(tǒng)服務(wù)systemctl start maxscale systemctl enable maxscale啟動后用maxctrl list servers看節(jié)點狀態(tài)maxctrl list servers正常情況下你會看到類似這樣的輸出server1的State是Master, Runningserver2的State是Slave, Running。如果顯示Down先回頭看密碼和權(quán)限是不是給錯了這是90%啟動失敗的原因。然后從應(yīng)用視角連一次MaxScale的4006端口mysql -h 192.168.10.10 -P 4006 -uapp_user -p進(jìn)去后執(zhí)行SELECT server_id;多開幾個會話執(zhí)行幾次你會發(fā)現(xiàn)server_id在多個節(jié)點間變化說明讀流量已經(jīng)被分發(fā)到不同后端。要驗證寫路由是否走主庫可以開一個事務(wù)執(zhí)行SELECT然后看連接始終綁定在同一個節(jié)點上。不要指望單條查詢就能看到完美的輪流分發(fā)MaxScale的后端連接池會影響復(fù)現(xiàn)多開幾個并發(fā)連接體驗更明顯。3.4 從“最小配置”到“生產(chǎn)配置”缺少的幾塊拼圖最小配置能跑通但離生產(chǎn)可用還差幾步。failover1雖然開了但原主庫恢復(fù)后是否自動重新加入集群靠的是auto_rejoin1。生產(chǎn)上還需要考慮客戶端連接上限、從庫延遲閾值、大查詢隔離等這些在后面章節(jié)展開??傊劝焰溌放芡ㄔ僦鸩秸{(diào)優(yōu)別一上來就堆滿全部參數(shù)。4. 路由、連接與故障轉(zhuǎn)移的底層邏輯4.1 SELECT不等于一定走從庫這是我見過最多的誤解以為配置了讀寫分離所有SELECT就一定會去從庫。實際不是。readwritesplit路由器的判斷邏輯是“語句類型 上下文狀態(tài)”。一個客戶端如果開啟事務(wù)BEGIN或autocommit0事務(wù)里的所有語句都會被固定到同一節(jié)點避免跨節(jié)點讀到不一致數(shù)據(jù)。也就是說事務(wù)里第一個語句是SELECT那這個SELECT可能就落在主庫上。如果你的應(yīng)用框架比如某些ORM默認(rèn)開啟事務(wù)把大量查詢包在事務(wù)里結(jié)果就是所有讀流量全部打在主庫從庫閑置主庫壓滿。遇到這種情況我先建議去查業(yè)務(wù)代碼里是不是把無關(guān)的讀操作也塞進(jìn)了事務(wù)。還有幾類語句也會被強(qiáng)制發(fā)往主庫SELECT ... FOR UPDATE涉及存儲函數(shù)、臨時表、GET_LOCK()等有狀態(tài)操作的語句。另外會話級別變量一旦被SET修改后續(xù)語句為了保持一致性也會留在主庫。代理能識別語法但無法判斷你的存儲函數(shù)是否“純讀”所以它選擇了保守策略。4.2 從庫選擇策略LEAST_CURRENT_OPERATIONS還是LEAST_ROUTER_CONNECTIONS當(dāng)多個從庫都可用時MaxScale如何挑選目標(biāo)配置項slave_selection_criteria控制這個邏輯。默認(rèn)值是LEAST_ROUTER_CONNECTIONS意思是從后端連接池中選當(dāng)前活躍連接數(shù)最少的節(jié)點策略偏向“連接均衡”。另一選項是LEAST_CURRENT_OPERATIONS偏向“正在執(zhí)行的語句數(shù)最少”能更快避開瞬時大查詢帶來的卡頓。我在實踐中發(fā)現(xiàn)LEAST_CURRENT_OPERATIONS更能反映節(jié)點真實繁忙程度因為它統(tǒng)計的是正在執(zhí)行的SQL操作數(shù)而連接數(shù)多不代表每個連接都在跑大SQL。配置里加上這一行[Read-Write-Service] typeservice routerreadwritesplit serversserver1,server2 slave_selection_criteriaLEAST_CURRENT_OPERATIONS如果某臺從庫復(fù)制延遲明顯高于其他節(jié)點可以設(shè)置max_slave_replication_lag單位秒超過閾值的從庫會被自動移出路由候選池避免讀到滯后太久的舊數(shù)據(jù)。4.3 應(yīng)用連接池、MaxScale會話、后端連接池三者之間的關(guān)系這是連接問題排查中最容易繞暈的地方。連接鏈路上實際上有三層應(yīng)用層連接池、MaxScale會話、MaxScale與MySQL之間的后端連接。應(yīng)用層連接池管理的是“客戶端到MaxScale”的連接MaxScale會為每個客戶端會話維持一條會話上下文但當(dāng)多個客戶端會話都指向同一個后端節(jié)點時MaxScale可以選擇讓它們共享后端連接這就是它自帶的連接復(fù)用能力。換句話說應(yīng)用側(cè)開500個連接后端MySQL不一定真的建500個連接MaxScale會按需復(fù)用有效降低MySQL端的連接壓力。但這不代表應(yīng)用側(cè)可以無限開連接。MaxScale的每個客戶端連接仍然要消耗文件描述符和內(nèi)存如果業(yè)務(wù)側(cè)把maximum-pool-size設(shè)成幾千單機(jī)MaxScale一樣會被打穿。建議應(yīng)用連接池設(shè)計遵循兩個原則一是壓測后確定合理上限而不是隨手填一個很大的值二是連接空閑超時要和MaxScale側(cè)的不一致錯開避免互相踩踏導(dǎo)致連接提前被回收。4.4 主庫宕機(jī)時MaxScale到底做了什么主庫故障的完整流程值得每個DBA刻在腦子里因為業(yè)務(wù)感知到的就是“連接閃斷了一下”但背后的動作其實很多monitor在下一個巡檢周期默認(rèn)1秒發(fā)現(xiàn)主庫連接異?;驈?fù)制狀態(tài)中斷將該節(jié)點標(biāo)記為Down。當(dāng)failover1時mariadbmon依據(jù)master_priority配置或復(fù)制拓?fù)湫畔慕】祻膸熘羞x舉一個新主。MaxScale將新主標(biāo)記為Master后續(xù)新事務(wù)全部路由到新主。已經(jīng)被故障主庫承載的舊連接會中斷應(yīng)用側(cè)需要重試。如果auto_rejoin1原主庫恢復(fù)后會被配置成新主的從庫自動沿著binlog或GTID追數(shù)據(jù)追平后重新標(biāo)記為Slave, Running。這個過程中最影響體驗的是第4步。應(yīng)用側(cè)如果沒有重試機(jī)制一次切換就會造成成批報錯。所以在生產(chǎn)環(huán)境里我一直強(qiáng)調(diào)MaxScale做好故障轉(zhuǎn)移只是前提應(yīng)用層連接池必須配置短超時快速重試這樣用戶才能無感知。5. 業(yè)務(wù)接入階段最容易翻車的連接問題5.1 應(yīng)用賬號必須在后端每臺服務(wù)器上同時存在MaxScale本身不存儲業(yè)務(wù)數(shù)據(jù)它把客戶端連接“翻譯”到后端MySQL時用的是你這個業(yè)務(wù)賬號在后端執(zhí)行SQL。也就是說應(yīng)用連接MaxScale時用的app_user必須已經(jīng)在server1、server2等所有后端MySQL上都創(chuàng)建好了且權(quán)限一致。我曾經(jīng)在接入階段遇到一個詭異現(xiàn)象連MaxScale后查詢正常但某些頁面偶爾報1045 Access denied。最后排查發(fā)現(xiàn)新擴(kuò)容的一臺從庫上忘了建app_userMaxScale把讀請求路由到這臺從庫時后端拒絕了認(rèn)證。解決方案很簡單把賬號創(chuàng)建SQL在所有后端節(jié)點都執(zhí)行一遍或者用配置管理工具統(tǒng)一下發(fā)數(shù)據(jù)庫賬號避免只在其中一臺機(jī)器上建。5.2 從庫read_only不一致帶來的隱患MaxScale通過monitor讀取每個節(jié)點的角色決定誰是Master誰是Slave。假如某臺從庫忘了設(shè)置read_only1盡管它名義上是Slave但實際上仍然可以寫。一旦應(yīng)用被路由到這個從庫執(zhí)行寫入數(shù)據(jù)就會在主從之間出現(xiàn)分叉且這種分叉不會自動修復(fù)最終只能手動重建該從庫。所以從庫一定要統(tǒng)一加上SET GLOBAL read_only ON; SET GLOBAL super_read_only ON;其中super_read_only在MySQL 8里能防止具有SUPER權(quán)限的賬號寫入保護(hù)性更強(qiáng)。這個經(jīng)驗說出來不值錢但生產(chǎn)環(huán)境的從庫漏配read_only的真實案例多到數(shù)不清尤其是大批量初始化從庫時腳本少執(zhí)行了一次。5.3 連接斷開的恢復(fù)路徑應(yīng)用層重試設(shè)計不管MaxScale的故障轉(zhuǎn)移做得多么順滑主庫宕機(jī)的那一瞬間舊連接一定是失效的。Java的MySQL Connector/J有一個autoReconnecttrue參數(shù)但它只對“連接空閑后重建”有效如果正在執(zhí)行事務(wù)時連接斷開這個參數(shù)不會救你反而可能讓你誤以為應(yīng)用能自動恢復(fù)。更可靠的做法是在應(yīng)用的數(shù)據(jù)訪問層加一層快速重試捕獲連接異常后短暫sleep然后重新從連接池獲取連接、重發(fā)之前失敗的語句。重試次數(shù)不宜多2到3次即可重試間隔建議100毫秒左右因為MaxScale完成failover通常在1到3秒內(nèi)如果重試批次太密集反而會疊加成對MaxScale的連接風(fēng)暴。6. 上線后我們追過的三類MaxScale疑難雜癥6.1 一個從庫延遲“吃掉”整個讀流量有次業(yè)務(wù)反饋高峰期查詢變慢我查MaxScale卻看到兩個從庫都處于Running狀態(tài)但實際只有一臺從庫在承擔(dān)讀流量。原因是那臺健康的從庫發(fā)生了嚴(yán)重復(fù)制延遲MaxScale按照默認(rèn)策略雖然沒把它剔除可新連接都在蜂擁往另一臺從庫上擠最終把那個從庫也壓垮了。排查后我把max_slave_replication_lag5加進(jìn)了service配置延遲超過5秒的從庫自動從路由池摘除。這就好比配餐時只讓上菜快的后廚參與出餐慢的灶臺先暫停接單。加了這個參數(shù)后讀流量在多從庫間的分配明顯均衡了。[Read-Write-Service] typeservice routerreadwritesplit serversserver1,server2,server3 max_slave_replication_lag56.2 認(rèn)證插件不兼容導(dǎo)致MaxScale連不上MySQL 8新項目搭了一套MySQL 8.0.32把MaxScale和它接好之后日志里持續(xù)出現(xiàn)“Unable to authenticate”的報錯。一開始以為是密碼錯反復(fù)驗證無誤后才發(fā)現(xiàn)問題出在認(rèn)證插件上。MySQL 8默認(rèn)的caching_sha2_password要求連接雙方都支持對應(yīng)的認(rèn)證流程老版本MaxScale對這種認(rèn)證的支持并不完整。解決方式有兩個方向升級MaxScale到支持caching_sha2_password的新版本或者在不出問題的前提下給MaxScale專用賬號指定mysql_native_password??紤]到老集群里的MaxScale版本不好動我當(dāng)時用的是第二種方式新建賬號時顯式指定認(rèn)證插件問題立刻消失。6.3 大查詢淹沒了某個從庫報表團(tuán)隊的幾個同事喜歡直接連從庫在線跑大查詢一遍GROUP BY跑上幾分鐘直接影響線上讀路由。MaxScale本身不會幫你區(qū)分“這是報表查詢還是業(yè)務(wù)查詢”它能做的就是把路由規(guī)則定清楚。我的做法是給報表類場景單獨開一條通道拿一臺或幾臺從庫單獨組成一個新的service監(jiān)聽不同的端口比如4007專供離線查詢使用4006端口留給線上業(yè)務(wù)。這樣大查詢再猛也只影響報表通道不會拖垮線上讀流量。順便說一句如果你在某個查詢前面加/* maxscale route to master */這樣的注釋MaxScale會識別并把它路由到主庫這是一條內(nèi)置的hint路由適合偶爾需要強(qiáng)制走主庫的場景。6.4 Docker部署MaxScale時要注意的目錄和數(shù)據(jù)持久化現(xiàn)在不少團(tuán)隊習(xí)慣用Docker起中間件MaxScale也提供了官方鏡像。直接docker run雖然能跑起來但有個問題容器銷毀后/var/lib/maxscale里的數(shù)據(jù)會丟包括之前配置產(chǎn)生的監(jiān)控緩存、管理口令、以及部分持久化狀態(tài)。結(jié)果就是重啟后認(rèn)證狀態(tài)異常甚至admin賬號失效。用Docker部署時一定把配置目錄、日志目錄、數(shù)據(jù)目錄都掛到宿主機(jī)物理路徑上docker run -d \ --name maxscale \ -p 4006:4006 \ -p 8989:8989 \ -v /etc/maxscale.cnf:/etc/maxscale.cnf \ -v /var/lib/maxscale:/var/lib/maxscale \ -v /var/log/maxscale:/var/log/maxscale \ mariadb/maxscale:24.2另外容器里通常不會自動啟動systemd所以要用docker run的方式托管而不是在容器里執(zhí)行systemctl start maxscale。這個操作層面的差異容易讓第一次用Docker的人卡住半天。7. 日常巡檢三板斧maxctrl、REST API與日志7.1 每天上班先看的三個maxctrl命令MaxScale上線后日常巡檢不需要天天登到MySQL里看復(fù)制狀態(tài)用maxctrl會更高效。我每天的習(xí)慣是先跑三個命令maxctrl list servers maxctrl show services maxctrl list sessionslist servers看每臺后端節(jié)點的State重點關(guān)注有沒有節(jié)點變成Down以及主從角色是否符合預(yù)期。show services看路由服務(wù)的整體連接數(shù)、路由統(tǒng)計如果連接數(shù)比平時高出一截說明可能有應(yīng)用側(cè)連接泄漏。list sessions列出當(dāng)前客戶端會話遇到問題時要看有沒有哪臺客戶端占著大量會話不釋放。這三個命令的輸出很短但信息密度極大基本覆蓋了“節(jié)點健康、路由狀態(tài)、會話狀態(tài)”三個關(guān)鍵維度。建議寫個小腳本封裝成一條命令每天早晨跑一遍。7.2 用REST API把MaxScale接進(jìn)監(jiān)控平臺MaxScale自帶REST API默認(rèn)監(jiān)聽在admin_port也就是8989端口。公司有統(tǒng)一監(jiān)控平臺的可以直接把MaxScale的指標(biāo)接進(jìn)去。簡單驗證一下API是否可用curl -u maxadmin:Admin123 http://127.0.0.1:8989/v1/servers/返回的JSON里包含每個server的state、connections、replication lag等字段。我一般會重點采集節(jié)點狀態(tài)和復(fù)制延遲兩個指標(biāo)一旦state不是期望的角色就告警。對接Prometheus類平臺的話還可以用現(xiàn)成的exporter不過直接用REST API拉也一樣省去額外組件。7.3 日志里報“replication is broken”時先別急著刪server有段時間MaxScale日志里頻繁出現(xiàn)“Replica is broken”的告警第一反應(yīng)是這臺從庫的復(fù)制鏈路壞了。但我登錄MySQL看SHOW REPLICA STATUS復(fù)制卻是正常的。后來才明白MaxScale的mariadbmon對復(fù)制斷開的判定條件是多個維度組合包括半同步狀態(tài)、GTID位置是否持續(xù)推進(jìn)、監(jiān)控賬號讀復(fù)制狀態(tài)的權(quán)限是否足夠某個維度異常就會誤報。遇到報錯不要急著用maxctrl destroy server把節(jié)點移除先按順序排查監(jiān)控賬號的權(quán)限是否完整、后端MySQL的read_only和復(fù)制狀態(tài)是否正常、GTID是否持續(xù)更新。如果這些都沒問題再把monitor_interval適當(dāng)調(diào)大觀察是否還繼續(xù)誤報。我調(diào)過一次后日志瞬間安靜了。7.4 在測試環(huán)境強(qiáng)制演練故障比看十遍文檔都管用最后說一個個人習(xí)慣我會每隔一段時間在測試環(huán)境強(qiáng)制kill掉主庫進(jìn)程觀察MaxScale是否在預(yù)期時間內(nèi)完成failover、從庫是否自動提升、原主庫恢復(fù)后是否能重新加入。這套演練做下來maxctrl的常用命令基本就爛熟于心了。真正到生產(chǎn)故障時肌肉記憶比臨時翻文檔可靠得多。MaxScale的價值只有在“真的出過事”之后才能體會而提前演練就是給自己吃定心丸的最好方式。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
毛片色五月| 婷婷情色五月天| 91seAV| 99亚洲精品| 丁香五月六月久久综合| 啪啪啪综合网| 激情婷婷丁香五月天| 久久九九99桃花视频| 精品人妻一区| 九色自拍| 色婷婷伊人激情在线观看| 美女激情婷婷| 丁香婷婷综合激情五月色,开心五月丁香花综合网,激情综合五月亚洲婷婷,五月天 | 欧美成人精品A片免费一区99| 久青青久| 99精品在线观看视频| 五月成人网站| 五月天成人在线播放丁香| 91色呦哟| 91狠狠色丁香婷婷综合久久| 天天射色五月天| 久久综合干| 五月丁香婷婷欧美色图视频五月丁香777电影 | 五月婷六月丁香| 久久婷丁香五月| 婷婷色五月91啪啪| 婷婷亚洲综合| 婷婷六月色开| 五月丁香色婷婷基地| www.婷婷久久五月天| 成人丁香五月天| 久久婷婷激情五月天一区二区| 9久久久久| 另类天堂| 九九色精品| 五月天开心色色网| 大香蕉220| 色五月激情网| 综合网色| 激情www| 九九热99热| 五月天开心成人网| 丁香激情六月天婷婷| 九九无毛| 99综合99| 色爱综合五月| 超碰在线综合| 国产精品操| 久久婷鲁| 人人爽欧美婷婷久久久五月丁香| 国产SUV精品一区二区6| 91久久婷婷| 思思热在线视频精品| 五月天色婷婷激情综合| 六月婷婷色色色| 一区二区无码视频| 变天就操逼婷婷五月| 婷婷深爱五月丁香| www.五月天婷婷| 久久视频在线| 亚亚州久久高潮| 99热99热| 婷婷五月天伊人| 婷婷色五月综合| 一本综合丁香日日狠狠色| 婷婷色五月开心五月| 最近中文字幕2019视频1| 色综合网综合| 天天插,天天射| 九九热这里只有精品一| 狠狠色官网| 99re99热| 99热在线中文字幕| 五月婷亚洲精品| 99久在线精品99re8热| 精热在线综合网| 久久精品9| 大香蕉99热| 丁香九月综合激情| 97在线视频观看| www91精品| 成人网站av免费网站推荐| 无码人妻少妇色欲AV一区二区| 亚洲色五月婷婷| 深爱激情六月天| 久久九九热视频| 噜噜狠狠色| 这里只有精品9| 99久久性爱| 午夜色色色极品视频| 天堂在线9| 日本九九九九| 9久热在线视频| 91日综合欧美| 久久大香蕉同僚| 玖玖综合色| 五月婷五月婷伊人伊人五月婷| H亚洲| 亚洲久久激情| 五月色亭丁香| 丁香五月电影| 激情六月婷| 深爱激情五月网| 日本女人久久| 婷婷精品| 国产精品五月天婷婷| 91视屏在线观看com.wwwvv| 激情综合区| 久久中文人妻系列| 五月激情婷婷丁香| 欧美交换配乱吟粗大25P| 91操人| 九九热视频在线观看| 色色综合网站| 神马久久五月天| 五月天婷婷香蕉狠狠超碰综合| 久久99看免费| 国产精品人成A片一区二区| 激情色五月天| 人妻丰满精品一区二区A片| 99在线免费视频| 男人大jjc女人免费视频| 国精产品一区一区三区免费视频| yazhoujiqingav| 97在线/日本| 伊人碰碰碰| 丁香色啪综合| 婷婷精品在线| 五月婷婷黄网站大全| 五月天婷久久| 亚洲天堂久久| 久久视频婷婷| 亚洲天堂青草| 色婷婷五月天堂资源| 五月婷婷欲色| 六月激情网| 久久 无毛。| 久久综合热17c| 五月激情六月丁香| 99九九这里有免费视频| 97碰碰在线观看视频| 超碰99久久| www.色婷婷。com| 丁香六月综合激情| 久久婷婷五月综合色区| 五月天狠狠色| 激情伊人五月天| 九九aV| 婷婷色在线播放| 成人五月天在线视频在线观看| 婷婷丁香一月| 大香蕉综合在线| 五月花激情网| 五月婷婷精品视频| 亚洲 在线 性爱| 婷婷久热| 色女人久久| 色狠狠综合| 狠狠狠狠狠| 三级99热| 国产性爱亚洲是图| 99免费青青蜜臀| 亚洲婷婷六月天| 激情图片五月天| 久大香蕉| 91碰| 淫视馆aV二区一区| www.91热久久| 77799热| 国产97色在线| 婷婷综合97| 五月天激情无码| 国产片XXXXA片国语对白| 少妇AB又爽又紧无码网站| 久久久潮喷-久久久九九-成人AV| 丁香色五月直播| 五月天婷综合| www.精品久9| 成人深爱丁香五月| 夜精品无码A片一区二区蜜桃| 五月丁香婷婷色播无码| 停停色综合伊人| www.天天干| 日本久久久97| 欧美人妻一区二区| 欧美日韩国产一区二区| 激情色视频| 人妻熟女一区二区AV| 超碰在线超碰| 91在线日| 一区二区中文字幕| 国产又黄又爽又色的免费| 91 原创 在线 九色| 日本五月婷婷久久久六月丁香| 亚洲色优| 91九色精品| 美国十月色婷婷在线观看| 九九视频在线观看视频6 | 色综合狠狠色| 天天色图| 99热6这里之有精品| 99只有精品| 久久婷婷夜| 六月丁香网| 色射7856五月天激情四射| 99色色爰| 色婷婷www| 包操45分钟网站| 日韩成人免费电影| 五月丁香狠狠| 91色在线| A片试看120分钟做受视频红杏 | 婷婷五月天激情综合| 中文字幕在线视频播放| 新激情五月天色播| 久久免费操| 婷婷导航| 天天色官网| 五月天大香蕉视频| 丁香六月开心| 亚洲色无码A片一区二区麻豆| 五月激情射| 激情综合区| 亚洲色9| 香蕉人妻AV久久久久天天| 成人在线精品| 五月天婷久久| 丁香狠狠色婷婷久久无码视频| 色综合久| 国产精品蜜臀99| 91在线看免费 九九九九| 婷婷色欧美激情| 97碰碰碰| 五月婷婷色色| 中文av网| 婷婷五月色影视先锋| 丁香五月天激情综合| 91热在线| 99热10在线高清播放| 色婷婷五月天成人网| 四LLL少妇BBBB槡BBBB| 五月丁香六月婷婷综合在线| 免费观看的av| 99热只有| 激情www.98com| 久久全色| 免费看欧美成人A片无码| 天天日人人| 玖玖伊人网| 久草天堂| 亚洲日日日| 99久久综合| 操97在线观看| 日本一级黄色电影| 狠狠狠狠狠狠色| 色婷婷六月激情| 91九色无码内射| 一本色道久久综合狠狠躁小说| 天天色综和网| 99热热热国产超碰| 五月日韩中文字幕| 26UUU欧美| 久久久五月四色| 99国产小视频2013| 亚洲不卡| 婷婷久久天堂网| 色婷婷88| 99热这里只有精品2| 五月伊人婷婷999| 99九九精品| 很很干夜夜干| 丁香欧美| 这里只有免费的精品| .肏屄视频一区二区| 色婷婷电影网| 久久婷婷激情视频| 婷婷五月天激情综合网| 色婷婷激情| 黄色激情网站在线观看| 久99久在线| 久久在线人妻| 天天日夜夜夜操操操操| 色欲影香| 激情婷婷九月| 色吊丝av中文字幕| 五月激情婷婷偷拍| 无码激情AAAAA片-区区| 丁香五月综合激情啪啪| 天天干-天天日| 五月天亚洲图片婷婷| 久久精品国产AV一区二区三区 | 亚洲婷婷五月天| 99re思思热这里| 久久伊人大香蕉| www.com色播五月天| 99爱视频在线观看这里只有精品| 99热在线观看亚洲区| 蜜臀av粉嫩av懂色av| 深爱激情综合| 欧美色色色色色色色色色色| 99视频精品8| 热的五码久久精品| 天天 青草 制服丝袜 在线 | 天天色亚洲| 深爱激情六月天| 久久婷婷欧美| 国内精品玖玖| 狠狠干综合网| 五月天六月婷婷电影| 色播综合| 噜噜噜噜婷婷五月天| 久在线综合69| 激情婷婷护士激情| 久久五月婷综合网| 婷婷黄色五月| 九九人人自拍| 一区无码| 五月天激情啪啪| 91se在线观看| 五月天丁香综合| 秋霞A V毛片| 亚洲99综合| av在线资源| 激情小说五月天| 大香蕉九九| 玖玖在线视频| 99er6| 五月天成人伊人| 桃色激情婷婷伊人网| 欧美久久网| 99热销国产这里有精品| 色欲色香综合网站| 精品久久婷婷| 综合五月草| 久热这里只精品| 久久婷婷五月丁香网| 丁香五月婷综合| 色婷婷综合电影| WWW久| 久久精品9| 欧韩性爱| 色婷亚洲| 综合激情在线视频| 五月婷婷综合网| 日日鲁鲁鲁夜夜爽爽狠狠视频97| 99re思思热久久| 中文字幕在线免费观看视频| 色屌丝中文字幕| 思思热在线| 97色射| www.99热在线| VA国产在线综合网站| 華人性愛AV在線| 手机AVAV天堂看网| 激情综合五月婷婷六月丁香| 玖玖热视频| 婷婷欧美激情综合| 中文中文在线| 久久婷婷色综合| 天天日天天狠狠操| 色色日本| 99热思思| 亚州操逼网| 99rewww| 久99热| 操逼视频一区| 婷婷五月天97干| 4399伦理午夜| 婷婷五月天激情小说网站| 婷婷六月爽| 婷婷久久草| 色婷五月天| 婷婷在线中文字幕| 五月婷婷基地| 激情五月婷婷综合| 天天日天天色| Www99热| 玖玖精品视频99| 五月婷激情影院| 欧美性生交XXXXX无码小说| 色伦专区97中文字幕| 男男野外做爰全过程69| 婷婷六月丁综合| av激情在线| 婷婷五六月丁香| 激情五月影院| 色五月色综合| 婷婷色色综合激情| 欧美色性色好| 超碰在线免费观看3 9| 久热伊人在91| 九六五月天婷婷| 亚洲色99| 色热久| 狠色色狠网| 久久婷婷色| 狠狠干综合网| 亚洲色五月婷婷| 国产99久久久国产精品免费看| 雪千夏麻豆| 激情文学 综合 色| 新97人人上人人| 久久婷婷六月综合综合| 99这里有精品久久97| 天天成人综合视频| 中国操逼99| 超碰av在线| 五月丁香婷婷深深爱| A久久| 久久婷婷五月天激情| 色色综合成人网| 99热精品观看| 玖玖在线| 99热网址| 婷婷激情在线| 任我肏| 色色色婷婷| www激情五月天| 婷婷5月久久综合网站| 大香蕉中文| 久久婷婷五月丁香| 日本色色色色色色色色一色二色| 久久9久| 色播播五月| 丁香五月五月婷婷欧美大香蕉| www.com任你艹| 无码 色| 色亭亭九月| 五月丁香欧美在线| 五月婷婷之综合激情在线| 五月丁香六月色婷婷综合五月天| 欧美激情综合五月色丁香| 看片视频在线免费日产在线看| 人妻免费网站| 亚洲综合激情五月| 91丨人妻丨国产丨丝袜| 2023天天日夜夜爽| 婷婷丁香六月| 岛国资源网| 国产古装妇女野外A片| 超碰超碰在线| 久久99热这里只频精品6学生| 很很色丁香久久停停| 狠狠狠人妻| 亚洲狠狠终合停停终合| 梁铮版《蜘蛛女侠》在线| 97五月天| 99爱爱| 人人摸人人干| 激情五月六月丁香| 久久婷婷激情久久| 激情伊人五月天| 韩国情人在线电视剧免费观看高清版全集| 国产亚洲精品AAAAAAA片| 色五月播五月| 99人人操人人操人人精| 婷婷深爱五月| 99精品久久久| 亚洲日韩一页精品发布| 激情网站综合五月天| 99在线精品观看99| 热的国产,热的综合,热的有码| 97碰碰视频在线观看免费| 午夜日韩久久久网站| 国产精品婷婷午夜在线观看| 国精产品一区一区三区免费视频| 色婷婷五月基地在线| 另类在线| 俺去也在线官网| 中文av在线观看| 五月婷婷影| 丁香五月婷婷深爱综合激情| 99精品在线播放| 婷婷五月天激情影片| 色色五月婷| 伊人色综在线| AV在线中文| 四LLL少妇BBBB槡BBBB| 袁子仪视频观看| 不卡成人免费| WWW.婷婷| 六月丁香婷婷综合在线| 99热在线观看精品| 激情人妻蜜夜系列区| 五月天色网站| 永久无码色| 中文超碰视在线| 色五月激情网| 天天操天天操天天操天天操天天操天天操天天操天天操天天操 | 福利视频在线播放| 新激情五月天天在线网| 九九伊人网| 97日本在线播放| 久久狠狠干| 亚洲五月婷天天操| 九九色综合| 99久久五月婷婷| 天天拍天天操| 婷婷射图| 天天色天天爱天天爱天天爱y| 欧美三级大片AA在线看| 无码人妻激情| 久久这里只有国产精品视频| 亭亭玉月丁香| 超碰99热| 91黄操| 婷婷激情另类| 99精品久久久| 婷婷激情啪啪| 五月婷婷电影院| 51国精产品自偷自偷综合| 天天干天天日日| 亚洲综合另类| 人人综合91网| Www.Av网9| 国产真实乱对白精彩| 99热精品无码| 女力报到正好爱上你| 丁香婷婷色色| 亚洲AV无码成人精品电影| 五月丁香六月婷| 99秘 在线| 9久热| 亚洲AV第二区国产精品| 亚洲乱码精品久久久久..| 激情五月婷婷综合色播小说| 91婷婷色五月| 天天干 夜夜爽| 婷婷99视频在线| 丁香六月婷婷色XXXXX| 久婷婷久草| 99热这里只有精品26| 精品热青草| 国产精品久久久久久久久久| 久婷五月| 色五月成人| 五月综合婷婷五月| 玖玖精品视频| 涩综合婷婷| 亚洲激情99| 激情五月综合网| 超碰大香蕉网| 丁香婷婷性爱| 九月丁香| 99热r| 日韩影院三级| 大香蕉九九| 97中文在线| 久久女人天堂| 无码色色色色色| 色婷婷狠狠| 日韩免费乱轮网站| 日日夜夜青青草| 五月天开心色情网| 六月五月婷婷| 亚洲狠狠干| 五月丁香香蕉| 去干网最新版本亚洲版| 久久ww| 久久丝丝热| 激情五月天婷婷图| 色噜噜伊人| 色播五月天天| 丁香五月停停av| www.十八禁不禁AV.com| 九九蜜臀精品| 丁香五月宝贝激情网| 五月丁香婷婷色| 丁香五月婷婷啪啪| 丁香婷婷色五月| 51精品国自产在线| 久久婷婷一级片| 亚洲天堂有码| 91丨九色丨熟女| 思思99热这里只有精品| 97资源碰碰| 丁香婷婷人妻| 综合五月亭亭9| 久99热| 看片视频在线免费日产在线看| 婷婷五月天熟妇| 无码人妻一区| 9999久久久久| 我淫我色婷婷五月天激情四射| 国产这里只有精品| 综合激情四射一theav| 99re资源在线视频导航| 亚洲精品第一国产综合亚AV | 亚洲av网址| 久久久久久综合88| 婷婷免费无视频| 久久a热| 97婷婷色| 色都都狠狠色都都色综合色| 五月婷婷9| 9久国产精品| 天天性视频| 五月婷婷九| 超级碰碰91| 亚洲妇女熟BBW| 中文字幕黄色电影网址| 狠狠色五月| 思思99精品视频在线观看| 九九家庭影院| 99热这里只有精品中文字幕| 色婷婷的五月天| 五月综合视频| 大香蕉狼人久久| 色久婷婷网| 99er6热在线观看精品6| 欧美成人性爱网| 99热这里全是精品| 欧美啪啪五月天| 久久五月天婷婷视频| 天天草天天爱| 久久婷婷国产| 九九热内射| 可以看的av网站| tingtingcaobi| 色五月综合激情| 伊人久久五月天综合| 丁香五月天激情免费在线观看AV777 | 天天色凹凸| 色优久久| 五月婷婷激情中文字幕| 免费亚洲婷婷| 性热视频99精品| 99热这里精| 九九激情网| 国产色香蕉精品五夜婷| 99精品自拍视频| 丁香五月电影| 91干婷婷| 亚洲精99| 开心激情网在线| 丁香五月天AV在线| 另类图片激情五月天| 丁香六月无码| 午夜天堂一区人妻| 国产伊人五月天| 丁香婷婷六月天| 色色97丁香婷婷五月天| 五月 激情视频| 国产资源91在线| 激情五月天色播| 九热精品| 人妻久热| 色你久久| 亚洲色热| 天天日天天久久青青| 久久视频婷婷| 99热免费观看| 成人色图情色成人网 www.5b5b5bcom 五月天 | 丁香五月综合无码趴趴| 怡红院成人AV| 激情婷婷五月| 久热伊人在91| 九九热最新地址| 91日婷婷在线| 色五月丁香网| 亚洲五月六月婷婷| 激情五月天免费视频| 黄色成人网站在线播放| 在线精品97| 国产片色| 亚洲无码影音| 五月婷婷九月婷婷九月婷婷| 欧美色婷婷| 99在线精品视频| 99男人天堂| 丁香婷婷色色| 丁香婷婷性爱| 激情五月天小说网| 五月视频日本免费观看| 日韩黄黄| 美女亚洲五月丁香| 98国产精品综合一区二区三区| 超碰99久久| 色欲av伊人久久大香线蕉影院| 91国产精品视频播放| 九九这里只这里只有精品| 丁香五月在线自慰| 婷婷丁香五月天婷婷| 欧美狠狠色| 97婷婷狠狠| www.婷婷五月天| 九九九九九无码| 色吧综合网| 91视屏在线观看com.wwwvv| 国产午夜一区二区三区| 日本WWW九九九| 91成人品| 全亚洲最大的婷婷五月天网站COM| www五月天com| 久久婷婷综合网| 99色婷婷| 丁香五月色欲| 亚洲在线操| 99成人| 欧美亚洲婷婷五月| 亚洲无码www| www.久久| 丁香五月综合在线播放| 国产SUV精品一区二区883| 亭亭五月丁香综合欧美| 五月婷婷综合激情网| 啪啪六月婷婷| 色吧综合网| 丁香五月五月婷婷五月天激情四射| 99婷婷狠狠成为人免费视频| 亚洲色激婷| 中文婷婷狠狠| 五月丁香色| 五月婷婷免费在线观看| 丁香五月激情图片婷婷| 日本婷婷网| 91综合视频在线| 亚洲另类在线观看| 五月丁香欧美在线| 伊人婷婷五月天av| 99精品视频在线观看| 色天堂在线| 成人色站,在线视频,看片-SS1AV| 丁香五月激情五月| 99热这里只| 97亚洲色 torrent magnet| 久婷| 亚洲人成人五月天| 五月天婷婷综合久久| 色婷婷影院| 丁香五月天亚洲视频| 亚洲天堂九九九| 色五月婷婷久久| 日婷婷久久开心| 婷婷五月中文在线| 九九久久高清| 99在线观看| 综合网激情| 五月青青草综合| 婷婷少妇激情| 久99婷婷色综合| 五月婷婷基地| 久久爱婷婷| 色99视| 五月天综合激情网| 毛片九九九九九九| 无码成人AAAAA毛片AI换脸| 亚洲激情网站| 九九视频这里只有精品在线播放| 蜜臀综合久草| www.夜夜操| 久久99久久99精品免观看粉嫩| 成片免费观看视频大全| 五月天综合| 久婷婷色| 九热视频| Av性爱网| 97人妻碰碰中文无码久热丝袜| 欧美日本免费一道免费视频 | 丁香五月婷婷黑人妻黄色电影院| 成人做爰A片免费看网站找不到了| 欧美日本一区二区三区| 五月天丁香久久| 色色丁香婷婷五月天| 九九综合九九| 少妇搡BBBB搡BBB搡毛茸茸 | 久久99激情| 热99这里只是精品| 亚洲国产成人AV在线| 婷婷六月色| 超碰二区| 991精品在线视频| 天天干天天色综合| 久久视频这里99| 天天天日天天天干| 俺去也在线官网| 五月激情开心婷婷| 成人综合网站| 大香蕉99热| 噜噜噜久久| 五月丁香六月婷婷姐| 欧美又粗又大一区二区在线观看| 五月婷婷亚洲综合在线 | 婷婷五月花西瓜| 久久这里99| 五月天色婷婷小说| 啪啪啪五月天| 五月婷婷综合色啪首页| 伊人婷婷五月天av| 婷婷爱五月| 亚洲色综久久五月| 久9热视频| 久久婷婷五月综合激情国产| 久久性综合| 丁香五月大香蕉在线99| 久久五月丁香| 97操操| 五月丁香网站| 在线18av | 99五月香婷婷丁香在线视频| 亭亭色色五月天| 婷婷五月成人| 99这里有精品视频| av网址在线播放| 久久久全国免费视频| 亚洲操操| 五月天网址在线刘玥| 婷婷啪啪| 另类图片五月天| 色婷婷影院| 精品欧美性爱超级爽| www.色综合| 国外亚洲成AV人片在线观看| 蜜桃人妻无码AV天堂三区| 五月色丁香激情| 婷婷五月天激情在线| 国产精品色色色色| 99在线观看视频| 9九色首页| 激情综合五月| 国外亚洲成AV人片在线观看| 天天插天天日| 精品人妻在线免费观看| 一本大道嫩草AV无码专区| 亚洲另类在线观看| 国产真实乱了老女人视频| 久色| 嫩草AV久久伊人妇女超级A| 久久9视频| 综合久久激情久久| 成人色图情色成人网 www.5b5b5bcom 五月天 | 91avse| 激情综合网激情五月天| 色综合色色色| 《亚洲操B久久免费在线观看,亚洲操B久久在线播放》在线播放 - 高清资源 - 97 | 天天操天天操| 丁香久久| 99精彩视频| 精品一区二区三区四区五区六区| 亚洲操操| 色九月婷婷| 日本不卡高字幕在线2019| 三人荫蒂添的好舒服A片| 日本人妻伦在线中文字幕| 综合久| 超碰成人公开| 91九色欧美| 国内婷婷丁香社区在线播放| 综合xx网| 青青草原99热| 五月天激情影院| 色99综合色88| 大香蕉啪啪| 日日夜夜天天爽| 99热老网站| 久草九一| 婷婷六月激情小说网| 99热热九九| 天天爽天天| 成人午夜天| 久久婷狠狠色| 丁香5月婷婷| 人妻啪啪啪| 亚洲国产网址| 99热这里只有精品在线免费| 五月天色婷婷小说| 久操无码| 99精品久久久久久久久| 看全色黄大色大片| www.com操| 欧美日韩一区二区三区四区| 无码人妻少妇色欲AV一区二区| 免费无码毛片一区二区A片| 岛国在线观看91| 91精产一区三区免费观看| 久久婷婷丁香| 99日这里只有精品| 久久色情| 色色色色区| wwwxxx五月婷婷小说| 99热这里只有精品搜| 色婷婷丁香五月| 色六月 婷婷| 激情久久肏屄视频| 色婷婷五月天激情在线观看| 影音先锋一区二区三区| 丁香五月婷婷啪啪| 亚洲在线操| 五月天狠狠网| 在线不卡AC| 婷婷丁香久久五月综合| 女高怪谈在线观看| 国产精品美女久久久久AV超清| 九月婷婷在线观看| 婷婷四色五月| 免费黄色视频网址| 妇激情基地| 婷婷的色色五月天| 亚洲在线成人| 婷婷六月久久综合导航| 99自拍视频| 色婷婷69| 在线成人视频免费| 欧美婷婷精品激| 五月天久久丁香| 《亚洲操B久久免费在线观看,亚洲操B久久在线播放》在线播放 - 高清资源 - 97 | ji'qing'luan'ren'lun| 激情五月婷婷视频一区二区三区| 99热只有| 丁香五月香蕉在线| 欧美久热| 四色永久成人网站| 天天操无码| 成人婷婷| 五月天天天天天天天天天天天天天天天婷婷婷 | 九九干视频| 婷婷色六月| 色色色天堂网| 九九99久久| 色婷大香蕉| 色婷婷综合视频| 嫩草AV久久伊人妇女超级A| 2022人人操人人看| 人人操av| 久久久jd| 激情五月天丁香| a网站免费观看| 久久激情五月| 丁香六月婷婷高清| 桃色五月婷婷| 日韩AV大全| 五月丁香色婷基地综合久久| 深爱激情五月婷婷| 伊人大香蕉在线视频| 五月丁香激情深爱婷婷| 亚洲A片成人无码久久精品青桔 | wwww.9免费视频| 婷婷激情视频欧美视频自拍视频欧美剧| av五月丁香| 久久婷婷丁香| 99久热这里只有精品视频删减版| 色婷婷久久综合中文久久一本| 五月天激情小说网| 96精品久久久久久久久| 思思热在线播放| 午夜丁香 婷婷| 97热精品| 337p大胆噜噜噜噜噜91Av| 五月丁香五月婷婷| 久久人人九九| 337p大胆噜噜噜噜噜91Av| 婷婷五月天堂| 久9视频| 丁香六月婷婷综合色| 成人网站免费在线播放| 人人干人人操外国| 久久婷婷综合基地| 久久五月天激情美女| 九九99免费视频| 丁香婷婷综合精品六月初| 五月亭亭性| 99久.| 丰满少妇猛烈A片免费看观看| 婷婷五月大| 丁香香蕉射射射| 天天做天天爱天天爽综合网| 99热99日天天干| 欧美久久网| 热99视频精品| 国产色色色色色| 婷婷性爱网| 丁香六月激情综合网| 激情第四色| 五月开心深爱激情网| 丁香五月 性爱| 91婷婷色五月| 色五月婷婷开心| 日本97久久久精品| 91超级碰在线视频| 色97综合婷婷天天色| 欧美韩国日本| 人妻内射视频| 婷婷五月天激情文学小说| 丁香婷婷啪啪| 色婷婷狠狠18| 丁香 婷婷 激情 综合 五月| 色综合激情| 天天摸色吧天天摸色吧| 岛国资源站| 婷婷五月天色色| 噜噜色婷婷| 婷婷激情丁香五月婷婷激情丁香五月婷婷 | 色婷婷成人色网| 久久99精品久久久久久噜噜| 9l视频自拍九色9l视频自拍九色9l社区| 日本久久精品| 新伍月婷婷| 久久总和99| 久草婷婷网| 婷婷在线激情| 丁香五月激情六月| 亚洲AVwwwwwww| 天天色粽合合合合合合合| 99噜噜噜在线播放| 久久人操-久草婷婷-成人AV| 国产午夜精品一区二区| 五月综合久久| 月丁香久久久| 亚洲色综合| 天天精品视频免费观看| 亚洲综合视频网| 懂色av粉嫩AV蜜臀AV| 五月丁香久久呀| 丁香六月啪| 五月深情久久| 图片区 小说区 区 亚洲五月| 国产精品婷婷午夜在线观看| 五月天婷婷久草丁香| 丁香六月综合激情| 色五婷婷开心缴| 久久婷婷五月综合激情国产| 九一九九黄色| 国产欧美熟妇另类久久久| 五月婷免费视频久久久| 国内自拍1区| 大香蕉五月天| 免费亚洲婷婷五月| 亚洲小视频| 五月色导航| 99re熱| 91人妻人人做人碰人人爽九色| 婷婷色五月激情| 天天色天天操天天射| 五月天色播网| 久操热| www.99热在线观看| 日本123区日韩欧美不卡在线看| 91欧美| 婷婷五月天综合久久| 天天做天天双| 免费看片在线观看| 91精品久| 伊人成综合五月婷婷| 色色无码| 精品久久99| 伊人色综合网| 在线99热| 女人高潮内射99精品| 丁香色成人| 色五月色图| 亚洲av日韩无码| aa久久| 九月婷婷久久久| 日本三级黄色大片| 激情五月婷婷| 99热97| 欧美精品XXXXBBBB| 亚洲国产精品VA在线看黑人| 色婷婷av在线观看| 99视频精品在线| 午夜大香蕉| 国产精品久久久久9999小说| se99视频| 激情综合婷婷| 日日鲁鲁鲁夜夜爽爽狠狠视频97| 色婷婷影视| 色爱亚洲| 91天天操天天干天天射| 激情五月婷婷视频一区二区三区| 亚洲激情五月丁香久久久久| 欧美狠狠一在草| www.91有码.com| 色久综合天天做视频| 99热6这里之有精品| 9久久精品| 伊人五月婷婷| 就去涩涩丁香五月天| 亚洲色婷婷激情| 人人舔天天| 日本色五月| 欧美精品999| 丁香六月婷| 999热视频精品99免费在线| 精品一二三区久久AAA片| 久久久中文| 五月激香蕉网| 国产AV不卡福利| 99五月丁香丁| 丁香五月亚洲综合| 狠狠搞狠狠操| www.婷婷五月| 一级黄在线| 色五月婷婷五月天激情综合| 996热re视频在线观看视频| av首页在线| xxxx久| 人人色性网| 婷婷五月天高清无码| 五月婷婷在线播放| 五月丁香色色网| 国产精产国品一二三在观看| 国产一二区爆乳_1国产日韩一区二区三-成人AV| 超碰2021| 婷婷激情性爱| 亚洲人妻一区二区 | 丁香激情网| 九热av| 五月丁香激情综合网| 99九色视频在线观看| 色婷婷香蕉| www激情网| 婷婷九月亚洲| 黄色三级毛片中字| 欧美性猛交99久久久99| 丁香五月首页| 激情五月天免费视频| 日韩在线aaa| 九九这里都是精品| 97成人在线视频| 丁香五月天导航| 色丁香五月天婷婷| 色播五月婷婷| 五月婷婷国产| 99视频精品视频| 丁香五月婷婷AV在线| 国产.亚洲.欧洲视频在线| 99热e| 九九色婷| 五月丁香六月色婷| 丁香五月天中文字幕| 超碰二区| 99九九这里有免费视频| 九九热在线观看6| 青青草成人网| 日美三级| 九九热在视频| 97干在线播放| 色色色色色色色五月| 碰久久精品w| 91精品熟女| 91无码视频| 5Www色5夜| 琪琪理论片| 色欲天天综合| 丁香五月婷婷总啪啪| 操九色| 开心五月婷婷在线| 色婷网| 日韩不卡DvD| 99爱在线免费视频| 1024亚洲无码| 激情婷婷五月女| 久久婷婷五月丁香网| 国产成人精品亚洲线观看| 99色在线视频观看| 天天撸夜夜爽| 久久xxxx| 色五月色五天色情网| 亚洲综合视频一下| 成人在线视频网| 高清不卡一区| 五月丁香综合中文| 色色色色色日韩午夜激情| 国产成人网| 久99热在线观看| 精品一区二区三区三区| 久久这里只有精彩| 青青草原亚洲天堂| 九月婷婷综合网| 五月丁花六月丁香综合| 丁香色五月 97干| 日本熟妇精品99| 色天堂在线| 黄色毛片精品| 九九激情视频| 亚洲天堂婷婷| 五月丁香久久呀| 全部老头和老太XXXXX| 玖玖婷婷色五月| 综合网五月| 97久久超级| 天天爱夜夜爽| 影音先锋五月天婷婷丁香在线观看| 91久热| 九月丁香婷婷| 久久久久9999| 九月婷婷综合| 99热综合| 老司机日日夜夜青草| 五月天堂色色| 性色五月天| 伊人五月天久久| 久久怕怕视频| 激情婷婷五月丁香啪啪啪| 91超级碰碰碰| 久久久婷婷| 天天爽夜夜爽夜夜爽精品| 久久人人妻| 色五月欧美| 亚洲综合视频网| 999热在线视频| 亚洲热热视频| 亚洲视99| 国产99久久久国产精品免费看| 九九这里是免费的视频5| 丁香六月婷婷综合啪啪| 成人视频网| 天天日人人爽| 丁香五月婷婷综合激情哟哟哟| 色五月婷婷激情综合网| 日本色99| 婷婷五月天丁香| 亚洲九九夜夜| 五月丁香婷婷婷婷综合网| 天天操天天干天天日| 色七七九九| 激情五月婷婷网| 综合久久丁香婷婷,五月婷婷六月丁香,开心激情综合网,六月丁香在线观看,婷婷丁 | 熟女人妻一区二区三区免费看| 婷婷五月天AV| 婷色五月| www.五月丁香av| 色婷婷五月天无码视频| 狠狠色综合五月| 99少妇精品| 久久久com| 天天做天天爱天天爽在| 可以免费观看的AV| 五月丁香AV、伊人业余、性色熟妇| 日韩AAAAA| 26uuu亚洲色| 涩 五月 婷婷 狠狠| 久久久久思思热| 夜夜躁婷婷AV| 99色色视频| 天天天天做夜夜夜夜做| 成人国产欧美大片一区| 色婷婷丁香五月天在线视频 | 日韩aaa| 97久久五月丁香婷婷| 99九九视频| 97啪啪| 野战J办公桌椅H| 亚洲va在线∨a天堂va欧美va| 色9999综合久久| 色综合久久天天综合网| 婷婷99狠狠躁天天躁中| 99狠狠| 色婷婷4| 91性人人| 久操热| 五月婷婷激情综合网 | 日本啪啪网| 丁香五月另类小说在线阅读| 婷婷五月天社区| 激情五月天小说|五月天开心激情网|亚洲精品国产自在现线|黄色五月天 | 91九色精品熟女内射| 99啪啪| 中文字幕性爱丰满| 九九热自拍| 婷色天堂| 狠狠五月激情丁香六月| 无码人妻电影| 久久久久久久久月丁| 久久九九热视频| 色婷丁香五月|