欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運營的一線實戰(zhàn)洞察。

Logstash性能排查實戰(zhàn):JVM調(diào)優(yōu)解決Kafka積壓

Logstash性能排查實戰(zhàn):JVM調(diào)優(yōu)解決Kafka積壓 說句實話以前看到“JVM調(diào)優(yōu)”這四個字我腦子里第一時間蹦出來的也是“八股文”內(nèi)存模型、GC算法、類加載機制、雙親委派……背得滾瓜爛熟但真正到了線上面對一個“瘋了一樣吞CPU卻不吐結(jié)果”的Java進程還是會有點手足無措。這次Logstash性能問題排查記錄就是一次把“面試題”重新拆成“排查工具”的完整過程——我打算把它原原本本寫出來如果你也在維護ELK這套日志管道或者正在被Kafka消費延遲、日志積壓這類問題折磨這篇應(yīng)該能給你省下不少彎路。這篇文章不會講太多花哨的理論重點是一臺Logstash在高峰期卡死之后我如何通過JVM自帶工具、GC日志分析、啟動參數(shù)調(diào)整一步步找到根因并最終恢復(fù)吞吐量的全過程。中間會穿插我踩過的坑、查過的資料、以及最終沉淀下來的一套參數(shù)配置。不管你是剛接觸Logstash的運維新手還是后端Java開發(fā)想借實例真正理解JVM調(diào)優(yōu)這篇文章都按“現(xiàn)象 → 分析 → 操作 → 復(fù)盤”的順序來寫可以直接照著做。1. 問題是怎么發(fā)生的Kafka Lag 突然翹了上來先說下當時的架構(gòu)線上日志通過Filebeat采集發(fā)到Kafka再由Logstash消費并清洗最后寫入Elasticsearch做檢索。這套鏈路跑了大半年一直很穩(wěn)直到某一天流量高峰監(jiān)控面板上的Kafka消費延遲Consumer Lag曲線突然像坐了火箭一樣往上竄。一開始我以為是Elasticsearch寫入變慢了因為Logstash的寫入端和數(shù)據(jù)量直接掛鉤但查了一圈ES的bulk隊列、線程池、慢日志都正常索引速率也沒掉那問題大概率就出在Logstash本身。1.1 現(xiàn)象描述進程活著但就是不吐數(shù)據(jù)登錄服務(wù)器敲幾條命令CPU占用直接飆到百分之八九百但看一眼Logstash的監(jiān)控指標事件處理速率卻不升反降Kafka里積壓的消息越來越多。最氣人的是進程沒有掛日志里也沒有明顯異??雌饋怼耙磺姓!睂嶋H上數(shù)據(jù)就是卡在里面出不去。這是最典型的“假死”狀態(tài)——進程活著線程也占著但真正的處理能力已經(jīng)崩潰了。我當時的第一個反應(yīng)是檢查Logstash的管道配置懷疑是不是filter里的grok正則寫得太復(fù)雜或者某個插件在高峰時段出現(xiàn)了阻塞。但把pipeline的worker數(shù)和batch size隨便改了幾下重啟之后問題并沒有實質(zhì)改善。這時候我才意識到問題的根源可能不在Logstash的業(yè)務(wù)處理邏輯上而是承載它的JVM環(huán)境已經(jīng)處于“亞健康”狀態(tài)了。1.2 初步判斷Logstash性能問題先別急著懷疑管道很多人有一個誤區(qū)Logstash處理性能慢了第一反應(yīng)就是加filter、調(diào)grok、換插件很少有人會去想JVM本身是不是已經(jīng)不行了。但Logstash的本質(zhì)是一個跑在JRuby上的Java應(yīng)用它的所有事件處理、隊列緩沖、內(nèi)存分配全部依賴底層JVM的健康程度。JVM堆內(nèi)存、垃圾回收、JIT編譯這些“聽起來像八股文”的東西在高壓場景下會直接決定Logstash是每秒處理一萬條還是每秒處理一千條。所以排查思路從這一步開始轉(zhuǎn)變不再盯著Logstash的管道配置看而是把它當成一個普通的Java進程先用JVM的視角去體檢。這里也順帶說明一下網(wǎng)上經(jīng)常有人問“JDK、JVM、JRE有什么區(qū)別”——簡單來說JRE是Java運行環(huán)境JVM是JRE核心里真正負責執(zhí)行字節(jié)碼的虛擬機JDK則是開發(fā)工具包。Logstash自帶JRuby和Java運行時所以它本質(zhì)上就是一個“套了Ruby皮的Java程序”所有Java系的JVM調(diào)優(yōu)知識在它身上完全適用。2. 把Logstash當Java應(yīng)用來查先看懂JVM在干什么既然決定按Java應(yīng)用的思路排查那第一步就是把JVM的內(nèi)存模型、GC機制這些“八股文基礎(chǔ)”重新?lián)炱饋硪驗楹竺嫠蟹治龆冀⒃谶@上面。很多情況下不懂原理的人拿到j(luò)stat輸出只會看數(shù)字而懂原理的人能從數(shù)字倒推出一整套現(xiàn)場還原。2.1 JVM內(nèi)存模型快速復(fù)習(xí)堆、元空間、線程棧和直接內(nèi)存JVM運行時數(shù)據(jù)區(qū)可以粗略分成四塊堆內(nèi)存Heap用來存放對象實例是GC回收的主戰(zhàn)場元空間Metaspace存放類元數(shù)據(jù)在Java 8之后替代了永久代默認情況下只受本機內(nèi)存限制但類加載過多也可能撐爆虛擬機棧Stack是線程私有的每個線程執(zhí)行方法時都會創(chuàng)建棧幀棧深度過大就會拋StackOverflowError還有一塊是直接內(nèi)存Direct MemoryNIO和Netty用得最多不在堆內(nèi)但在物理內(nèi)存里如果做網(wǎng)絡(luò)傳輸時分配太多同樣可能觸發(fā)OOM。Logstash這種數(shù)據(jù)處理型應(yīng)用最敏感的就是堆內(nèi)存。因為每條日志進來都會被包裝成Logstash::Event對象還有中間的各種String、Hash全都住在堆上。堆如果設(shè)置得不對垃圾回收就會頻繁發(fā)生輕則吞吐下降重則進程假死。2.2 排查工具組合拳top、jstat、jmap、jstack怎么配合登錄到Logstash所在機器我會按以下順序操作先用top -Hp查看進程的CPU和內(nèi)存占用確認是不是某個線程在瘋狂自旋。Logstash啟動后會有一個獨立的JRuby運行時很多線程名都帶jruby關(guān)鍵字如果發(fā)現(xiàn)某個線程CPU占用異常高說明它正在反復(fù)執(zhí)行代碼或頻繁觸發(fā)GC。用jps -l確認Logstash進程的PID然后jstat -gcutil 1000觀察每秒的GC情況。這一步能立刻判斷出當前GC頻率、單次GC耗時、老年代使用率等關(guān)鍵指標。用jmap -heap 看當前堆的分配情況和各分代使用率特別是Eden區(qū)和老年代的比例是否合理。如果懷疑線程卡住用jstack 抓線程快照看看JRuby的工作線程是不是阻塞在某個地方。這里我想重點說一下gcutil輸出里的幾個字段E代表Eden區(qū)使用率O代表老年代使用率FGC是Full GC發(fā)生次數(shù)FGCT是Full GC累計耗時。如果FGC在短時間內(nèi)快速增長FGCT占比很高基本就能斷定系統(tǒng)正在被垃圾回收拖死。GC本身是為了騰出空間但Full GC觸發(fā)時會“停止整個世界”Stop The World簡稱STW應(yīng)用線程全部暫停這期間Logstash完全無法處理數(shù)據(jù)。2.3 現(xiàn)場抓到的證據(jù)GC日志不會騙人當時我連續(xù)觀察了差不多五分鐘jstat的輸出大致是下面這個樣子S0 S1 E O M CCS YGC YGCT FGC FGCT GCT 0.00 0.00 92.34 95.67 98.12 96.45 1123 18.23 47 23.81 42.04 0.00 0.00 94.12 96.02 98.20 96.50 1124 18.25 48 24.95 43.20 0.00 0.00 95.78 96.89 98.25 96.52 1125 18.28 49 26.03 44.31看得出什么Eden區(qū)使用率一直維持在90%以上老年代也一直在95%左右徘徊Full GC幾乎每10秒就會來一次而且每次FGCT都在1秒以上。翻譯成人話就是堆內(nèi)存不夠用了JVM疲于奔命地做垃圾回收但回收完了馬上又填滿根本沒有足夠的空間讓數(shù)據(jù)處理線程順暢跑。這就像一個人一邊工作一邊不停地打掃房間房間卻永遠堆滿東西工作效率能高才怪。3. 根因分析為什么默認配置撐不住高峰日志量拿到這些數(shù)據(jù)之后我心里基本有數(shù)了但還是要搞清楚一個最關(guān)鍵的問題為什么之前一直沒事偏偏這段時間出問題這就得從頭檢查Logstash的默認JVM配置和數(shù)據(jù)量增長情況。3.1 堆內(nèi)存太小默認1GB根本只夠“自家日用”Logstash的默認JVM堆大小是1GB這個數(shù)值在官方文檔里寫得很清楚除非你通過LS_HEAP_SIZE或jvm.options里的-Xmx參數(shù)顯式指定否則它就老老實實用1GB。對很多小規(guī)模日志場景來說1GB確實夠用因為日志量小事件在高頻GC完成之前就被消費掉了。可一旦業(yè)務(wù)量漲上去比如高峰期每秒涌入幾千上萬條日志這1GB的堆就會變成瓶頸。為什么會這樣我們簡單估算一下假設(shè)一條日志原始文本平均2KB經(jīng)過系統(tǒng)解析后會變成Logstash::Event對象除了message字段還有host、path、timestamp等一堆元數(shù)據(jù)。JRuby環(huán)境下每個Ruby對象在Java層的開銷都比較大換算下來一條日志在堆里實際占用的空間差不多是原始文本的3到5倍也就是6到10KB。如果配置的批處理大小是默認的125條一批數(shù)據(jù)在堆里也就1MB左右看起來不多但架不住Logstash是持續(xù)不斷地消費和寫入在1GB堆里同時存在幾十批數(shù)據(jù)在排隊、在轉(zhuǎn)換、在等待寫入ES內(nèi)存壓力一下就上來了。3.2 G1收集器默認參數(shù)不一定適合你的場景大多數(shù)現(xiàn)代JVM默認的垃圾收集器是G1Logstash也不例外。G1的設(shè)計目標是“可預(yù)測的停頓時間”它把堆分成一個個Region然后根據(jù)各Region垃圾比例來優(yōu)先回收垃圾最多的區(qū)域理論上很優(yōu)雅。但G1對參數(shù)的敏感度也很高默認的MaxGCPauseMillis是200ms意思是JVM會盡量把每次GC停頓時長控制在200毫秒左右但這只是一個“目標”如果堆太小、對象分配太快G1為了追上分配速度依然會觸發(fā)Full GC。更麻煩的是當老年代占滿之后G1會退化到Serial Old式的Full GC這種回收是單線程執(zhí)行大范圍全堆掃描的停頓時間可能是好幾秒。這個過程對Logstash來說是毀滅性的一次幾秒鐘的STW管道里堆積的數(shù)據(jù)會成倍增長等到GC結(jié)束后瞬間把內(nèi)存又填滿然后再次觸發(fā)FGC形成惡性循環(huán)。我當時從jstat里看到FGC之后老年代使用率幾乎沒降多少就猜到已經(jīng)進入這種退化狀態(tài)了。3.3 JRuby執(zhí)行模型與批量參數(shù)Logstash性能的“命門”Logstash的pipeline配置里有幾個非常重要的參數(shù)pipeline.batch.size默認125代表每次從隊列里取多少個事件交給filter和output處理pipeline.batch.delay默認50ms代表即使沒有湊夠batch.size最多等多久也要把現(xiàn)有事件送出去pipeline.workers默認是CPU核數(shù)代表并行處理管道的線程數(shù)。這三個參數(shù)加在一起決定了Logstash處理數(shù)據(jù)的“節(jié)奏”。批處理的好處是減少JRuby和JVM之間的交互次數(shù)讓一批事件一次性完成filter和output提升吞吐。但batch.size調(diào)大的同時內(nèi)存占用也會線性上漲如果堆空間跟不上就會誘發(fā)更頻繁的GC。這就像把一個餐廳的翻臺率公式里加了一個“每桌人數(shù)”的變量每桌人越多廚房備菜的效率越高但倉庫如果不夠大食材堆不下了就只能扔掉重買——扔食材就是垃圾回收買食材就是重新加載成本全在這上面。所以批量調(diào)整和JVM堆配置必須同步考慮不能只看一頭。3.4 順帶說下-XX:CompileThreshold這類JIT參數(shù)在排查過程中我也重新研究了一個常見的面試參數(shù)-XX:CompileThreshold。它的作用是控制熱點代碼被JIT編譯為本地代碼的觸發(fā)閾值默認值在C1編譯器下是1500次方法調(diào)用在C2編譯器下是10000次左右。JRuby本身是Ruby代碼JVM對JRuby的調(diào)用棧進行C2編譯時也需要時間如果CompileThreshold設(shè)置得過高熱點方法會長時間停留在解釋執(zhí)行階段性能自然上不去。反過來如果把這個閾值調(diào)低可以讓高頻執(zhí)行的方法盡早編譯成機器碼減少解釋執(zhí)行的CPU開銷。不過說實話在實際排查過程中這個參數(shù)不是主要矛盾屬于“錦上添花”的優(yōu)化項。如果GC問題不解決把CompileThreshold調(diào)到天上也沒有意義。但了解它的存在是很重要的因為很多面試題里都會問“JVM是如何判斷熱點代碼的”這個問題放到Logstash這種解釋型語言套殼應(yīng)用上有完全不同的解讀——JRuby代碼在JVM里到底算不算“熱點”取決于這段Ruby邏輯被調(diào)用的頻率以及是否觸發(fā)了編譯閾值。4. 調(diào)優(yōu)落地一套我正在用的Logstash JVM配置確定了問題是JVM堆內(nèi)存和GC、批量參數(shù)配置不匹配之后我重新整理了整個Logstash環(huán)境。這里要特別注明以下配置是從實際場景出發(fā)做的調(diào)整不一定適合所有人但思路可復(fù)現(xiàn)先根據(jù)業(yè)務(wù)量估算內(nèi)存需求再反推JVM參數(shù)最后通過監(jiān)控驗證。4.1 堆內(nèi)存怎么定不能拍腦袋要看數(shù)據(jù)量和物理機器這臺機器是32GB內(nèi)存Elasticsearch部署在另一臺機器上所以Logstash可以安心地使用這臺機器的內(nèi)存。我第一反應(yīng)是直接把堆調(diào)到16GB但冷靜下來想了想不妥。為什么因為JVM堆之外還有Metaspace、JRuby本身的原生內(nèi)存、線程棧、網(wǎng)絡(luò)緩沖區(qū)等非堆內(nèi)存如果堆占了16GB整個進程實際占用可能輕松超過20GB。萬一物理機器還有其他任務(wù)在跑就容易觸發(fā)系統(tǒng)級別的內(nèi)存壓力甚至被內(nèi)核OOM Killer直接殺掉。Logstash官方建議堆大小不要超過系統(tǒng)內(nèi)存的50%這個建議是合理的。我最后選擇把-Xmx和-Xms都設(shè)為8GB理由也很簡單高峰期Logstash單批事件batch_size2000在堆里占用的空間大約幾十MB8GB堆可以容納足夠多的批次在隊列里排隊同時給JRuby解釋器、Metaspace、線程棧留出充足余地。Xms和Xmx設(shè)置為相同值是為了避免JVM在運行期動態(tài)擴容堆時產(chǎn)生額外開銷。對追求穩(wěn)定吞吐的在線服務(wù)來說啟動時就把堆分配好比運行中頻繁擴縮容要靠譜得多。4.2 批量參數(shù)和worker數(shù)量怎么配合關(guān)鍵是找到平衡點調(diào)整JVM參數(shù)的同時我把pipeline配置中的batch.size從125調(diào)到了2000batch.delay保持默認的50mspipeline.workers從默認值當時機器是16核所以默認16調(diào)到了8。為什么worker要減半因為數(shù)據(jù)管道不是無腦并行就能提升性能的當batch.size變大之后單個worker在一輪處理中的數(shù)據(jù)量已經(jīng)很大了如果還開16個worker并行對堆內(nèi)存的壓力和對下游ES的沖擊都會成倍增加。尤其在filter階段跑的是grok、dissect這類CPU密集型插件時線程過多反而會導(dǎo)致上下文切換開銷和頻繁GC。我建議一個比較穩(wěn)妥的起步點是pipeline.workers設(shè)置為CPU核數(shù)的一半到三分之二batch.size從500開始壓測逐步往上調(diào)到1000、1500、2000同時盯著GC監(jiān)控。如果發(fā)現(xiàn)FGC頻率上升就說明batch.size調(diào)得太激進需要回退一點。批量調(diào)優(yōu)不是越大越好這句話需要寫在墻上。4.3 完整配置參考jvm.options和pipelines.yml這是我這套環(huán)境最終使用的配置供參考# jvm.options -Xms8g -Xmx8g -XX:UseG1GC -XX:MaxGCPauseMillis200 -XX:UseStringDeduplication -XX:ParallelRefProcEnabled -XX:DisableExplicitGC -Xlog:gc*info,gcheapdebug,gcergodebug:file/usr/share/logstash/logs/gc.log:utctime,uptimemillis,level,tags:filecount5,filesize50m這里解釋幾個關(guān)鍵參數(shù)-XX:UseG1GC顯式指定G1作為垃圾回收器避免不同JDK版本默認GC行為不一致的坑。-XX:MaxGCPauseMillis200把目標停頓時間設(shè)為200ms這是Logstash默認值但顯式寫出來便于后續(xù)審計。-XX:UseStringDeduplication日志處理場景會產(chǎn)生大量重復(fù)字符串開啟去重可以降低堆占用。-XX:ParallelRefProcEnabled并行處理引用對象減少GC停頓時間。-XX:DisableExplicitGC防止第三方庫調(diào)用System.gc()觸發(fā)不必要的Full GC。Xlog參數(shù)把GC日志輸出到文件方便事后追溯這是整個調(diào)優(yōu)過程中我最后悔沒有早點做的事——日志是最好的老師。然后在pipelines.yml里核心配置如下pipeline: batch: size: 2000 delay: 50 workers: 8 max_inflight: 8192max_inflight代表管道內(nèi)允許同時存在的最大事件數(shù)默認值為batch.size * workers的兩倍我顯式設(shè)置成8192是為了給突發(fā)流量留緩沖同時避免內(nèi)存無限增長。4.4 調(diào)優(yōu)效果前后數(shù)據(jù)對比調(diào)整完并重啟Logstash之后我盯著監(jiān)控面板觀察了好久數(shù)據(jù)變化非常明顯指標調(diào)優(yōu)前調(diào)優(yōu)后Full GC頻率每10秒一次左右基本為0偶發(fā)一次Full GC平均耗時3秒以上無事件處理速率約2000 events/s波動大穩(wěn)定在10000 events/sKafka消費延遲持續(xù)增長達到分鐘級穩(wěn)定歸零CPU使用率800%以上空轉(zhuǎn)明顯300%左右各線程干實事這里我想特別提醒CPU使用率從800%降到300%看起來像是“占用變低了效率變低了”但其實恰恰相反。之前的高CPU有很大一部分是垃圾回收線程和內(nèi)存分配的消耗真正處理數(shù)據(jù)的線程一直在被STW打斷屬于“忙但不出活”。調(diào)優(yōu)后CPU降下來了但事件處理速率反而提升了五倍這才是健康的CPU占用。5. 常見報錯與避坑指南調(diào)優(yōu)過程中我還順手解決了一些Logstash運行中的經(jīng)典報錯這里整理成速查省得大家再走彎路。5.1 “stopped processing because of an error: (SystemExit) exit org.jruby”這個報錯在Logstash社區(qū)里出現(xiàn)頻率很高很多人一看到就慌了以為是管道崩潰。其實它翻譯過來的意思就是“JRuby進程主動退出了”SystemExit是一種JRuby主動拋出的退出信號。最常見的原因有三個一是進程被系統(tǒng)的OOM Killer殺掉JVM被迫退出二是Logstash啟動腳本在執(zhí)行過程中檢測到配置錯誤主動調(diào)用了System.exit三是堆內(nèi)存設(shè)置不合理導(dǎo)致OutOfMemoryErrorJRuby捕獲后以SystemExit的形式退出。排查思路分三步先看dmesg | tail確認有沒有Out of memory: Kill process的記錄再看Logstash日志里有沒有Java heap space相關(guān)的異常最后檢查jvm.options里有沒有寫錯參數(shù)。我遇到過有人把-Xmx寫成-Xms然后進程一啟動就報錯退出很隱蔽。5.2 Docker容器部署時怎么定位JVM異常重啟和GC日志現(xiàn)在很多人用Docker部署Logstash如果容器異常重啟第一反應(yīng)是docker logs看標準輸出但JVM的GC日志默認不會打到stdout而是輸出到文件或丟棄。針對這類問題我建議啟動時通過LS_JAVA_OPTS環(huán)境變量顯式指定GC日志路徑然后把對應(yīng)目錄掛載為Volume這樣即使容器重建日志也能保存下來。docker run -d \ -e LS_JAVA_OPTS-Xlog:gc*:file/usr/share/logstash/logs/gc.log:time,uptime,level,tags:filecount2,filesize20m \ -v /data/logstash/logs:/usr/share/logstash/logs \ docker.elastic.co/logstash/logstash:8.11.0另外容器里的jmap、jstack這類JDK工具可能沒有打包進鏡像。遇到這種情況可以先用docker exec -it bash看看有沒有如果沒有就只能在啟動時掛載宿主機JDK目錄進去或者用docker cp把JVM自帶的工具拷進容器。更簡單的辦法是讓Logstash開啟JMX遠程監(jiān)控從本機用jconsole或VisualVM遠程連接查看。但JMX端口暴露在公網(wǎng)有安全風險生產(chǎn)環(huán)境建議走內(nèi)網(wǎng)。5.3 集成自定義插件時容易忽略的JVM因素如果你像很多團隊一樣給Logstash集成了自定義插件那還要注意JVM層面對插件代碼的影響。JRuby調(diào)用Java API時會頻繁發(fā)生Ruby對象和Java對象的互轉(zhuǎn)這個轉(zhuǎn)換過程是有內(nèi)存開銷的。如果插件內(nèi)部創(chuàng)建了大量臨時數(shù)組或列表沒有及時釋放引用就會造成堆內(nèi)存泄漏。調(diào)優(yōu)時可以用jmap -histo:live 查看當前堆里哪些對象占用了最大空間如果發(fā)現(xiàn)自己的插件類名列前茅那基本可以斷定插件存在內(nèi)存管理問題。這在Logstash集成自定義插件時是特別容易踩的暗坑——插件功能沒毛病但內(nèi)存損耗拖垮了整個管道。5.4 調(diào)優(yōu)誤區(qū)速查表面試常見參數(shù) vs 線上實際操作最后整理一個我個人的對照表很多概念在面試題里是“考記憶”在真實場景里則要“看語境”千萬別混淆面試常見問題八股文標準回答線上真實操作JVM默認堆大小是多少物理內(nèi)存1/4要根據(jù)進程實際數(shù)據(jù)量重設(shè)別信默認值G1和CMS哪個好低停頓選G1高吞吐選Parallel先看你的停頓敏感性和內(nèi)存大小G1不是銀彈-XX:CompileThreshold有什么用控制JIT編譯觸發(fā)次數(shù)對JRuby型應(yīng)用有點幫助但優(yōu)先級靠后Full GC為什么慢要掃描整個堆實際上更可能是堆太小導(dǎo)致G1退化成了Serial OldJDK、JVM、JRE啥區(qū)別一個是開發(fā)包一個是虛擬機一個是運行環(huán)境排查時你只需要關(guān)心JVM的運行時參數(shù)和GC狀態(tài)順帶提一句網(wǎng)上經(jīng)??吹健癕axKB知識庫如何調(diào)優(yōu)”這類問題雖然MaxKB不是Logstash但它同樣是Java系服務(wù)底層邏輯一樣先看GC再看堆匹配再看線程池和批量配置。核心方法論是通用的。6. 寫在最后的個人體會這次排查前后花了大半天時間其中最浪費時間的一環(huán)恰恰是最開始“不想去碰JVM配置”的心理——總覺得Logstash日志不報錯就等于沒問題結(jié)果監(jiān)控數(shù)據(jù)狠狠打了臉。JVM調(diào)優(yōu)在面試里是八股文在線上就是保命技能差別只在于你有沒有真的拿著jstat輸出逐行分析過。調(diào)優(yōu)完成之后我痛定思痛做了一件事給所有Java系服務(wù)統(tǒng)一開啟了GC日志并且用腳本定時掃描FGCT增長率只要Full GC累計耗時在短時間內(nèi)翻倍就立刻告警。這樣一來再遇到類似問題我不用再從零開始抓現(xiàn)場直接從監(jiān)控面板和GC日志里就能把病根揪出來。我也建議大家排查性能問題時盡量“每次只改一個變量”改完給足觀察時間不要同時動堆大小、GC算法、batch size和worker數(shù)——不然你根本不知道是哪個調(diào)整起了作用又回到了猜謎游戲。最后分享一個小技巧調(diào)優(yōu)JVM參數(shù)后別急著馬上看吞吐量先看GC曲線穩(wěn)不穩(wěn)定再看Kafka Lag有沒有下降趨勢。如果GC穩(wěn)定了但吞吐還沒上來那再考慮是filter邏輯還是下游ES的問題如果GC還是像過山車一樣那堆內(nèi)存設(shè)置就還沒到位繼續(xù)調(diào)。這套判斷順序是我這次踩過坑之后總結(jié)出來的最可靠的節(jié)奏。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
99re热视频这里只精品| 人妻免费网站| 六月丁香社区| 天天成人五月天| 99久久五月丁香野外| 91久久1118| 久久人妻情侣| 激情婷婷人妻| 99热99在线| 夜色爱爱亚洲| 亚洲一区二区色图-亚洲精品国产精品乱码-成人AV | 色噜噜狠狠色综无码久久合欧美 | 婷婷五月色播天| 六月天婷婷| 五月激情久久综合| 丁香六月视频| 五月天色婷婷小说| 五月婷婷五月天天| 六月香五月婷| 婷婷综合五月天激情| 成人资源在线| 91 原创 在线 九色| 九九操屄| 五月停视频天堂| 丁香六月激情综合| 婷婷综合在线| 免费看欧美成人A片无码| 五月色亚洲| 婷婷日日天天| 99re这里有精品手机在线| 玖玖色综合| 婷婷五月综合啪| se色婷婷视频| 色吧网综合| 精品夜夜澡人妻无码AV| 亚洲视频在线观看| 免费视频在线观看的网站| 激情性爱五月天| 色噜噜狠狠色综无码久久合欧美| 狠狠干天天日| 久久婷婷五月综合伊人| 啪啪啪大香蕉| 91精品综合久久久久久五月丁香| 粉嫩AV久久一区二区三区| 91在线日| 在线播放成人网站| 亚洲深喉aV| 国产精自产拍久久久久久蜜| 激情九月婷婷九月| 在线超碰精品| 激情床戏| 婷婷五月天激情在线观看| 精品久热| 99热这里只有精品69| 婷婷五月天,影院| 久久aaa| 国产成人网址| 成人婷婷桔色| 99色精品| 特级西西4444www无码| 丁香婷婷五月天激情四射| 99热精品在线| 九九热9| 色吧网综合| 五月婷婷9| 99热久久日本| 五月婷视频久久| 伊人丁香六月婷婷| 色婷婷视频在线| 激情五月四色| 狠狠干无码| 99视频只有精品| 人妻丰满精品一区二区A片| 无码免费人妻A片AAA毛片西瓜| av中文在线| 亚洲电影在线观看| 手机在线日韩视频中文字幕| 色婷婷丁香五月天在线视频 | 婷婷色综合中心站| 婷婷激情四射| 99久久九九| 五月激情综合美女久久| 色999五月色| 国产AV一区二区三区日韩| 丁香五月婷婷av影院| 二区成人视频| 亚洲视频a| 日本熟妇人妻在线| 变态另类9| 色5月婷婷| 青青草伊人婷婷| 五月天大香蕉视频| 99爱最新免费视频在线观看| 久久婷婷色| 亚洲精品V天堂中文字幕| 中文字幕av网站| 六月婷婷综合久久| 亚美欧色影院| 丰满老熟妇BBBBB搡BBB| 久99久视频| 五月天色五月天| 六月丁香婷婷综合在线| www.97视频| 2022人人操人人看| 狠狠干 狠狠操| 激情床戏| 免费AV在线| 丁香六月av| 五月丁香综合网| 九九aV| 丁香色色五月| 五月婷色丁香| 日本99热| 综合丁香婷婷五月天| 看国产探花操逼三级片| 日韩成人不卡| 丁香五月另类小说在线阅读| 五月丁香五月婷婷| 激情av| 超碰1999| 日本wwww在线| 综合色播| 99ri在线观看视频| 91九色熟女| 婷婷综合九色伊人| 开心五月丁香啪| 久久性爱视频| 久久视这里只有精品| www.国产色| 香蕉久久国产AV一区二区| 97香蕉久久超级碰碰高清版| 色狠狠999综合| 2050人人操免费工开爱 | 日本在线va| 欧美综合激情| 五月丁香婷婷婷婷综合网| 婷婷五月天小说网| 色婷婷五月天亚洲| 欧美性猛交 XXXX 乱大交| 久久曰曰| 91超碰人人操| 开心婷婷五月天电影院| http:色情日本com| 色色亚卅| bukadeavzaixian| 米奇影视资源777狠狠色婷婷五月天激情网 | 色婷婷五月综合在线| 激情五月综合亚洲另类| 99热在线里有精品| 丁香五月婷婷啪啪视频| 99视频在线精品免费观看2| 乱乱av| 丁香狠狠| 视频一区二区在线| 欧美黄色AA片哗啦啦啦| 超碰电影在线播放| 五月天综合在线| 97香蕉碰碰人妻国产欧美| 国产婷婷综合| 五月丁香怕啪啪| 天天日天天爽夜夜爽| 91九色国产| 色婷婷AAA| 亚洲AV网站| 五月婷婷丁香五月| 五月天色婷婷伊人网| 亚洲成人av在线观看| 久久视频在线| 激情久久五月天| 五月婷婷激情综合网| 色婷婷手机在线| www.色婷婷| 搡BBBB搡BBB搡18| 99视频色在线观看| 久久综合最新网址| 97综合在线| 亚洲精品色色| 久久九九亚洲| 激情深爱五月天| www.色窝| 五月天激情久久| 色五月播五月| 开心婷婷五月| 日韩婷婷五月天| 日本久碰| 婷婷激情四射| 久久天堂网| 激情视频婷婷五月花| 中文字幕 中文字幕明步| www.色婷婷。com| 亚洲狠9| 色色色色色色色色网站| 99爱视频精品| 九色1区视频在线| 色色色五月婷| 五月激情另类| 一级黄色操B| 国产精品久久..4399| 久碰视频| 五月天色欧美| 荡乳尤物3HP1V5| 日本熟女一区二区| 玖玖无码中文| 婷婷不卡基地| 91丨九色丨大屁股| 开心五月网| 中文字幕AV在线播放| 五月丁香六月激情综合网| 2018国产大陆天天弄| 亚洲欧美一区二区三区四区爱爱动图| 久久99综合| 欧美成人AAA片一区国产精品| 五月丁香六月婷婷激情视频在线观看免费| 丁香五月 综合| A片天天| 丁香五月欧美激情| 亚洲天天| 天天综合永久| 欧美激情 日韩无码 婷婷 五月天| 熟女强人妻一区二区三区四区无| 伊人久久艹| 五月草视频| 色婷婷影院| 日本人妻伦在线中文字幕| 五月天婷婷激情| 亚洲成色综合网站免费观看| 超碰在线精品| 亚洲9久久精品| 日日夜夜狠狠| 亚洲精品婷婷| 亚洲综合成人网| 婷婷五月综合视频| 丰满人妻一区三区三区| 久久久精品99亚洲综合| 久热91精品| 色拍九九九| www.五月天婷婷| 五月天综合色| 亚洲视频色婷婷| 噼里啪啦在线观看免费完整版视频| 夜夜干 夜夜操| 第四色婷婷最爱| 丁香五月天堂网| 亚洲色色五月天| 五月丁香在线观看国产| 97搞在线| 97luluse| 青吴乐视频| 色色婷| 婷婷丁香在线| 天天插综合| 婷婷五月色播| 亚州操操| 99在线69| 天天日综合| 久久只有18视频| 免费看欧美成人A片无码 | 日本久久人人| 99热这里只有精品3| 五月丁香婷婷AV| av免费人人| 五月丁香天堂网婷婷| 丁香婷婷色五月| 婷婷91| 色9月| 激情网色五月| 99九九综合久久九九| 大香婷婷| 亚洲激情婷婷| 色五月婷婷久久爱| 五月婷婷精品视频| 婷婷六月情| 丁香婷婷视频一区二区| 国产精品视频免费看| 天堂网啪啪| 五月天激情四射网站| 天天摸天天透天天舔| 99re8这里只有精品99re8热视频| 伊人五月综合网| 丁香婷婷五月| 亚洲不卡| 一区二区无码视频| 婷婷丁香九月| 高清激情av在线观看| 婷婷激情五月天激情在线| www,五月天com| 台湾综合丁香五月蜜桃| 亚洲丁香五月| 色播五月天激情| 色色无码| 婷婷久久18| 久久婷婷网| 秋霞电影一级黄| 五月丁香激情综合啪| 99久久黄色顶级视频| www.五月婷婷久久.com| 婷婷97碰碰| 高清无码视频网址| 人妻六月天| 人人人操| 五月色婷婷激情| 欧美草久久五月天91| 激情五月影院| 欧美激情五月天| 丁香五月大香蕉在线99| 97干欧美| 天天视频亚洲| 日本丁香五月| www.婷婷,com| 天天日天天做天天操| 五月丁香在线观看| www.激情| 色情婷婷久久五月天| 久久五月婷婷综合网| 午夜成人av在线| 色综合九九| 亚洲AV激情五月综合网| 成人 视频免费观看网站| 久久久97| 久久婷婷五月综合成人d啪| 五月天开心激情网色欲无码| 五月综合无码| 色天使色综合| 婷婷激情综合色五月久久,色婷婷丁香花,丁香婷婷五月情天,久久婷婷五月综合色 | 人人摸人人| www.99热国产| 六月丁香啪| 特级操b片| 99热这里只有精品69| 激情爱爱网站超大免费| 97碰精品| 天天摸,天天爽| 神马欧美精| 双性美人被调教到喷水A片| 热九九九九| 五月婷婷就去色| 成人网址在线观看| 4438成人电影| 久久少妇视频| 97五月婷| 色婷丨日丨天丨综合久久| 久久六月天| 超碰妻人人| xxxx五月| 久久激情五月婷婷| 国产97色在线 | 日韩| 99久热| 久久玖玖综合| 婷婷五月天国产| 国产肥白大熟妇BBBB视频| 色玖玖爱| 9精品在线| 国内久久婷婷| 欧洲亚洲精品| 操人精品| 午夜成人网站在线观看| 久婷久婷| 久久多色| 91一起操| 色色色色色综合| 日韩AV在线免费| 狠狠干五码| 中国女人做爰A片| www99精品| 伊人五月综合网| 婷婷五月激情小说| 79精品视频在线观看,| 墨西哥毛片内射精| 五月丁香在线观看| 六月激情婷婷综合| 97碰久久| 久久激情视频| 日本色色网| 六月综和久久| 国产AV一区二区三区最新精品| 久久人妻乱子伦| 99无码黄色视频| 五月婷婷综合激情| 开心五月婷婷激情| 日韩欧美一级大黄网站| 热热99爱爱| 婷婷五月情| 五月天天综合| 久久激情五月婷婷| 天天操夜夜夜拍拍拍| 国产高清av黄色看片| 精品一区二区三区木瓜| AⅤ在线播放网| 99视频在线观看网址| 九九热婷婷| 久久婷婷丁香| 梁铮版《蜘蛛女侠》在线| 色色五月天婷婷| 婷婷六月丁香1| 亚洲亚洲人成综合网络| www.婷婷.com| 婷婷综合五月| 日本人妻伦在线中文字幕| 女人天堂 AV| 午夜成人网站在线观看| 五月天婷婷成人网| 五月天激情国产综合婷婷| 4399在线观看免费毛片| 婷婷情色开心五月天99| 亚洲天堂色色| 99热精品在线播放观看| 欧亚中文A V| 五月丁香成人| 俺去也在线官网| 久久jiuwww| 天天做天天爱| 婷香五月激情视频| 9999热精品在线免费播放| 99热香港| 啪啪激情网| 99re思思精品在线观看| 99精品久久久久久久婷婷| 国产午夜精品AV一区二区麻豆| 黄色笑话深爱激情网丁香五月婷婷啪啪啪啪啪 | 日本乱子人伦在线视频| 人妻激情在线| 五月丁香婷婷激情澎湃四射| 综合五月草| 秋霞九九无码| 五月色综合| 777色色色| 天堂婷婷五月色| 亚洲熟女乱色综合亚洲网站| 五月天丁香婷婷视频网址| 五月天激情网站| 激情文学天天| 中文字幕人妻在线| 国内久久亭亭| 91在线人| 亚洲妇女熟BBW| A在线观看| 九九爱看亚洲| 天天操夜夜夜夜爽| 久久99这里只有精品| 综合精品啪啪| 青柠影视免费高清电视剧| 五月天婷婷爱| 天天操天天操天天操天天操天天操 | 秋霞三及片| 九九热这里有精品视频| 丁香五月情| 久久天堂女人| 大香蕉婷婷婷| 亚洲亚洲人成综合网络 | 性爱视频久久| 激情综合婷婷| 直接看的AV| www.婷婷| 桃色五月天| 综合久久99| 五月天婷婷久久综合| 色狠狠五月天| 热的五码久久精品| 日木狠狠干| 五月天综合激情网| 伊人久久婷婷| www.激情.com.| 99黄色在线视频精品熟女| 丁香婷婷婷婷十二月在线观看视频| 亚洲视频在线观看| 六月丁香五月婷婷| 少妇性按摩无码中文A片| 激情六月婷婷| 色婷婷丁香| 在线成人网址| 任你日视频| 丁香五月婷婷亚洲综合精品| 久久综合干| 久久人人九九| 色播综合| 99啪啪视频| 五月婷av| 九九9久九9国产视频| 无码激情AAAAA片-区区| 色www久视频| 国产精品18久久久| 熟女强人妻一区二区三区四区无| 婷五月天| 热久久91| 激情综合网五月天天| 熟女激情网| 丁香五月 综合| 婷婷五月天在线综合导航| 99亚洲大片精品永久在线观看 | 丁香久久| 五月社区婷婷激情| 午夜色丁香| 久久99最新| 久久久久人妻中文| 久草狼人| 五月天激情综合网| 超碰99热精品在线| 亚洲欧美日韩另类| 狠狠色婷婷| 亚洲综合激| 狠色狠色狠色狠色狠色网| 狠狠久综合| 色99网| 久综合网| av中文网| 亚洲无码你懂的| 色五月天堂| 99这里只有精品国产| 五月天伊人日日噜影片AV| www天天爽| 九九精品热播| 国产午夜伦鲁鲁| 久久婷婷色综合老司机| 色婷婷XXXXX| 婷婷六月天亚州| 五月丁香婷婷深深爱| 俺去也婷婷| 日韩五月婷婷久久| 91一起操| 激情五月天电影| 成人短视频在线| 婷婷五月激情黄色| 亚洲综合婷婷五月| 99热的无码| 九九热10| 国内精品免费一区二区2009| 色一区高清| 欧美色爱五月天| 久/久精品99看9| 97色精品视频 | 人妻射精AV| 激情网综合| 开心色五月天久久久久久久| av国产精品| 极品另类| 久久这里有精品视频| 91精品久久久久久综合五月天| av九九| 91丨九色丨熟女| 激情综合亚洲色婷婷五月| 亚洲激情视频在线观看| 色综啪啪啪啪啪啪| 色久五月| 欧美成人精品三区综合A片| 狠狠色丁香久久婷婷综合五月| 五月婷婷六月丁香综合视频在线| 97婷婷狠狠| 激情婷婷激情在线不卡| 欧美综合五月丁香五月天| 五月综合久久| 丁香婷婷91在线观看视频| 欧美婷婷五月天综合| 婷婷五月丁香五月| 97久久久| 婷婷综合网| 停停综合色色| 天天爱夜夜爽| 天天射天天操天天干| 可以直接看的av网站| 婷婷久久久| 1024亚洲| 免费观看大片视频 丁香婷婷 六月欧美| 操操操97| www.思思99热| 亚洲爆乳无码精品AAA片蜜桃| 色综合香蕉| 婷婷性福五月天| 涩玖玖免费视频| 久久综合天天综合| 99热草草| 99久久综合精品五月天| 亚洲六月综合激情久久下卡| 色五月婷婷激情五月| 婷婷爱五月| 激情 五月 婷婷 丁香| 亚洲九九夜夜| 情婷婷五月天在线| 午夜无码熟熟妇丰满人妻| 丁香六月激情综合网| 色婷婷狠狠18禁| 日韩无码一区二区三区四区| 天天干,天天日| 日本3级片偷拍网站| 激情综合网五月| 久久婷五月综合| 91碰碰视频| 欧美丁香五月97色| 99热在线观看| 日韩婷婷五月天| 91av传媒高清在线视频网| 日本熟妇人妻在线| 色黄啪啪| 美欧日韩国产成人在战| 久久婷婷五月综合伊人| 538任你爽| 日本五月婷| 婷婷五月AA五月在线| 无码免费人妻A片AAA毛片西瓜| 五月丁香五月激情综合色综合| 九九九九精品精| 九九热这里只有国产精品| www狠狠爱com| 久久婷婷精品| 色天天狠狠干| 丁香五月婷婷影视先锋| 婷婷色五月色| 亚洲五月天,激情视频| www.超碰| 久久久久久人妻久久久久久久久久人妻久久久 | 五月丁香六月婷婷网| 亚洲综合五月天综合| 久久性都花花世界成人免费视频| 夜色综合网| 色噜噜狠狠色综| 思思热在线观看| aaa日韩| 久久天堂加勒比| 色色性爱视频| 九九综合久久| 秋霞三级色戒| 久人人操| 欧美激情综合色综合啪啪五月| 色五月婷婷五月丁香五月| 91色综合网| 亚洲字幕AV一区二区三区四区| 99这里只有精品|v| 天堂婷婷五月在线| 色婷婷综合成人| 国产亚洲精品久久久久久郑州 | 欧美日本韩国亚洲| 久久99久久99精品免观看粉嫩| 97五月天婷婷午夜| 狠狠爱五月婷婷| 激情婷婷五月天| av在线免费网站| 婷婷深爱色五月| www.婷婷,com| 黃色三级三级三级三级 qixing300.shrkbk.com www.jinbozs.com tianmiaosw.com | 久久久天堂国产精品女人| 夜夜干夜夜操| 无码毛片992367| 色婷婷综合久久久久| 婷婷综合丁香| 精品久久99码| www.婷婷| 色屌丝中文字幕| 丁香六月视频| 色婷婷丁香五月| 婷婷丁香视频| 超碰在线个人观看| 亚洲字幕AV一区二区三区四区| 久久婷五月综合| 丁香激情婷婷网| 亚洲色情一区二区三区四区| 91viP在线看| 亚洲热久| av五月天婷婷丁香| 最近韩国日本免费高清观看| 五月色综合| 欧美97色| 婷婷丁香亚洲色综合91| 五月激情综| 。久久久久久久久久久久久久人妻| 激情深爱五月婷婷| 婷婷性爱网| 久热伊人9| 九九偷拍网| 五月色激情综合网| 91啦丨九色丨刺激中文| 五月天大香蕉av| 一本色综合色| 免费无码毛片一区二区A片| 操碰91| 久久99精品久久久久久噜噜| 婷婷色九月| 五月天国产| 激情五月婷婷六月丁香| 色婷婷精品| 99热无码| jizzdr| 午夜做爱影院| 五月激情偷拍| 丁香久久| 超碰97干| WWW.99热| 色色热| 五月丁香六月婷| 99精品亚洲| 夜夜骑夜夜撸| 91丨九色丨东北熟女| 超碰成人免费| 色香蕉婷婷| 67194线路二在线观看| 九日日夜夜69| 婷婷五月激情五月丁香五月| www.精品99| 色色色综合网| 深爱激情五月天色婷婷| 日撸夜撸日操| 久久女人天堂| 亚洲综合九九| 成人做爰黄A片免费看直播室男男| 久热99视频在线观看| 在线亚洲综合| 9久国产精品| 综合激情伊人影视在线| 精品皮股午夜AV| 丁香六月欧美| 九月婷婷综合| 亚洲黄网AV| 久久99看免费| 狠狠草天天草| 婷婷五月18永久免费视频| 996er热| 久久综合激情| 97操碰日本女人| 玖玖婷婷综合| 色五月激情五月丁香五月婷婷啪啪综合 | 日本一级一片免费视频| 激情五月开心五月在线视频| 伊人丁香花综合影院| 涩综合婷婷| 91操碰| 伊人大香久久| 激情文学 综合 色| 激情五月天小说|五月天开心激情网|亚洲精品国产自在现线|黄色五月天 | 久久玖玖99| 武则天精品久久| 狠狠狠狠狠狠狠狠狠狠狠色宗合图片| 婷婷综合精品视频97| 26uuu精品一区二区| 久久5 9视频免费观看| 婷婷网影院| 无码中文一区二区三区| 亚洲AV人人操| 国产在线网址1| 粉嫩av蜜桃av蜜臀av| 综合在线丁香五月| 玖玖资源在线视频| 亚州精品成人片| 婷婷丁香社区网| 思思热再线视频| 色色日本| 99五月婷| 99热只有精品在线观看| 天天插天天插| 日韩黄色电影| 免费播放99性爱视频| 99视频内射三四| av在线免费网站| 激情五月丁香激情综合网 | 黄网在线免费播放| 桔色成人在线| 成人精品视频99在线观看免费| 日韩一级网站| 色导航色婷婷五月天在线观看| 五月天色五月| 久久久99视频| 人人摸人人干人人做| 无遮挡国产高潮视频免费观看 | 丁香六月婷婷综合麻豆| 色~性~乱~伦~噜| 国产色色色色色| 久久精品小视频| 久久精彩视频| 亚洲丁香花色| 97亚洲婷婷| 亚洲电影中文字幕| 丁香 婷婷 亚洲 熟女| 国产欧美性成人精品午夜 | 丁香五月天激情小说| 色色色com| 久久久精品AV| 97在线碰| 大香蕉啪啪| www.婷婷| 色狠狠色综合久久久绯色AⅤ影视| 狠狠色综合精品视频在线| 激情图片亚洲| 六月婷婷七月丁香| caop视频| 亚洲成人乱码av网站| 大战熟女丰满人妻AV| 五月婷婷免费视频| 大地资源色婷婷视频在线| 美女天天久久| 色综合五月| 99热久只有| 国内外色色色色色成人视频| 亚洲小说五月婷婷| 91打屁股免费看| 91操碰| 黄色片avv| 日在线V视频在线播放| 日韩性爱AV| 婷婷97碰碰| 丁香五月六月综合激情| 色丁香五月| 9l视频自拍九色9l视频在线观看| 色综合99| 91成人电影| 婷婷丁香五月天激情| 人妻久久久久| 狠狠干综合| 激情伍月 欧美| 丁香激情综合| 99看片| 色五月婷婷激情基地| 婷婷色网| 婷婷五月激情片| 97日本在线播放| 久色欧美| 激情爱爱网站| 国产精品涩涩涩视频网站| 天天婷婷天天| 七七久久婷婷| 99热在线精品播放| 五月天婷婷在线啪啪视频| 五月天婷婷婷| 九九热精品在线| 婷婷成人网五月天| 日韩中文字幕| 第四色首页| 综合天天综合| 久久婷婷青青草| 五月婷婷免费在线视频| 怡春院久操| 丁香五月天之婷婷影院| 亚洲精| 在线视频激情网站| 99热9| 五月激激激情综合网| 色久女| 五月天丁香久久综合| 国产精品色色| 激情深愛五月視頻| 色五月中文字幕| 久久五月天婷婷| 思思久久99热只有频精品66| 五月天丁香欧美激情| 99热啪啪| 五月丁香啪啪| 丁香五月婷婷综合视频| 激情九月天天天天婷婷| 久久精品一区二区三区四区| 五月丁香五月婷婷| 五月丁香六月婷婷亚洲激情综合| 色色色9 9 9| 婷婷丁香五月综合| 97色97干| wwwwww.色| 五月丁香| 国产操B视频| 婷婷大香焦| 色情五月婷婷| 日91高清无玛| 婷婷五月天第四色| 色色综合无码| 久久久久久久97| 99九九99九九九视频精品| 久久这里只精品| 亚洲色图五月丁香| 五月天色婷婷网| 久久草人妻| 亚洲免费观看高清完整版AV线| 婷婷丁香五月视频| 色99视频| 亚洲欧美婷婷五月色综合| 国产精品久久久海的味道| 久久九九99字幕| 五月综合久久| 婷婷五月丁香久久| 五月天婷婷亚洲| 秋霞少妇AV网站| www.99视频| 婷婷五月电影院| 精品乱码久久久久| 久久人妻www| 亚洲精品久久久久久久久久吃药| 婷丁五月| 天天看片日日夜夜| 亚洲激情网| 99热这里有精品首页10| 91啪啪啪啪| 伊人大香蕉毛片| 91 欧美| 日本精品人妻无码77777| 天天日天天舔| 亚洲最大视频| 激情小说婷婷| www久| 99碰超| 成人看片网站| 99热老司机| 九九热自拍| 久久亚洲婷婷| 五月天婷婷基地| 五月天婷婷社区| 99色| 激情综合99| 人人爱人人草| 亭亭玉月丁香| 天天爽天天| 神马欧美精| 丁香狠狠色婷婷| 九九综合色综合| www.99色| 天天做天天爽| 婷婷五月花| 精品亚洲国产成AV人片传媒| 97夫妻超碰| 婷婷综合性爱网| 婷婷五月在线| www.精品久9| 婷婷成人AV| 91久久| 色墦五月丁香| 丁香色播五月天| 思思热再线视频| 久久欧洲综合网| 婷婷五月天激情小说| 99在线视频精品| 另类小说五月天| 欧美性色A片免费免费观看的| 天天想夜夜爽天天爽| 一逼色综合| 亚洲色婷婷激情| 免费观看的AV| 人人草开心五月天| 天天插综合| 欧美S码亚洲码精品M码| 婷婷激情五月天激情小说| 欧美丁香五月| WWW久久久| 五月综合亚洲婷婷| 婷婷精品性视频| 99热这里只有精品8| 99热.com| 激情涩播| 色五月婷婷自拍| 成人羞羞啪啪 全 视频| 五月婷婷丁香综合| 99超级碰碰| 成人综合网站| 日本少妇AA一级特黄大片| 丁香婷婷久久| 九九这里精品| 五月丁香六月婷婷激情网| 亚洲九九夜夜| 97热超碰| 色热久资源| 5月婷婷激情在线| 五月天综合婷婷| 琪琪色网在线| 香蕉综合网| 五月婷综合网| 精品人妻伦一二三区久久| 91打屁股免费看| 啪啪 综合网| 五月丁香人人婷婷在线观看| 91肏| 六月成人网| 91久久1118| 99色免费视频| 欧美大肥婆大肥BBBBB| 冬月かえでAV无码播放| 最新日本A片| 久久色亭亭五月天| 国产精品色情AAAAA片软件| 就去色色五月丁香婷婷久久久| www久久久| 日本VA视频| 色五月情| 九九碰九九爱97超| 狠狠操狠狠做| 亚州美女| 日本三级日本三级三级人妇四虎| 丁香五月第九色| av在线中文| 国产一级黄色影片,| 五月天激情偷拍| 波多野结衣AV无码Porn| 婷婷最新地址| 狠狠五月丁香色婷| 五月天婷婷av| 五月天社区婷婷丁香社区| 97婷婷丁香五月| 大香蕉综合网| 玖玖爱伊人| 99久在线精品99re8| 亚洲综合五月天| 亚洲区,视频区,视频区免费| 国产精品色色| 99热国产婷婷| 久久人妻视步| 婷婷五月天网| 色综久久AV| 大香蕉久| 黄网网站在线播放| 天天色99| 亚洲字幕AV一区二区三区四区| site:xiongshengzz.com| 色婷婷狠| 国产成人AV在线| 天天干天天做| 欧美三级视频下载| 久久九九色| 噜噜五月天综合| 一起草性爱不卡视频| 久久全意婷婷| 欧美综合丁香网| 97精品人人A片免费看| 成人操呦av| 五月丁香啪啪网| 五月丁香六月久久| 色99在线视频| 天天色·欧美| 狠狠干狠狠干| 丁香五月婷婷成人综合| 噼里啪啦在线观看免费完整版视频| 日本久久婷| 五月婷婷五月| 激情久久四色| 少妇搡BBBB搡BBB搡毛茸茸| 丁香五月 综合| 99视频| 九艹在线| 精品久久9| 婷婷丁香人妻天久久| 日日撸夜夜操| 丁香伊人综合| 久久精品熟女亚洲AV麻豆| 日本熟女一区二区| 99色免费| 91肏| 丁香五月综合色婷婷| 丁香六月激情| 玖操97| 丁香婷婷浪潮AV久久综合| 婷婷五月综合视频免费播放| 97色色婷婷五月天| 天天干狠狠| 夜夜爽日日躁| 黄色成人AV在线| 色 五月婷婷基地| 久久无意婷婷| 超碰在线观看9| 久久er这里只有精品| 丰满少妇乱A片无码| 99成人免费热视频| 9九色首页| www久久久| 亚洲综合婷婷| 九九99男女视频在线观看| 99re在线观看| 久久久久综合激动五月天| 国产乱轮一区二区三区| 激情五月天婷婷在线网址发给我| 五月婷婷激情性爱| 国产又色又爽又黄又免费| 五月丁香婷婷激情澎湃四射| 9操在线| 少妇被下春药玩弄A片| 可似看的AV| 激情性爱五月天| 免费无码毛片一区二区A片| 五月婷婷天天| 欧美婷婷六月丁香综合色| 色9999综合久久| 激情六月丁香| 先锋av性爱成人电影| 婷婷趴趴| 可以看的av| 六月婷婷激情| 色五月婷婷五月丁香五月激情五月视频 | 五月天伊人av| 久七香蕉| 日本99热| 色综合久久88色综合天天看| WWW.五月天9999| 九九热99熟女| 内射干少妇亚洲69XXX| 色播播五月| 天天综合天天做天天综合| 丁香五月婷婷99| 黄桃AV无码免费一区二区三区| 久久a热| 天色综合网站| 久久98热re| 色综合网页| 四色五月婷婷| 伊人久久五月天| bbwcuckold精品熟妇| 激情伊人网| 色五月美女| 色婷婷激情| 99在线视频精品| 永久AⅤ1| 国产淫熟妇| 久色网址| 色噜久| 五月天久久色| 婷婷丁香六月天| 色爽九九| 天天日天天爱天天噪| 天天爽人人爽| 精品久色| 五月丁香六月婷综合成人综合| 人操91在线| 色欲五月丁香| 日本99热| AV电影在线播放| 亚韩在线视频| www.婷婷,com| 婷婷五月综合视频免费播放| 天天狠狠色综合| 丁香六月亚洲| 99噜噜| 1024操逼视频| 午夜九九九九九九| 天堂呦 呦百度搜索-百度搜索| 丁香啪啪| 国内外色色色色色成人视频| 色色五月丁香| 婷婷亚洲天堂| 欧美大香蕉视频| 色99自拍| 99热亚洲| A1片久久久| 天天爽天天摸天天爱| 丁香婷婷五月| 5月婷婷激情网| 天天日,天天插| 五月婷婷五月天亚洲无码| 丁香婷婷色五月合集| 丁香五月激情月| 五月天婷婷六月激情网| 99精品久久久久久久婷婷| 91婷婷五月丁香碰| 青青色com久久| 精品99*| 婷婷五月丁香亚洲| 国产超碰在线| 五月婷婷丁香六月| 色五月综合在线| 美女激情综合| 99热这里全是精品| 婷婷综合视频| 婷婷基地爱| 色播五月| 国产亚洲精品久久久久久郑州| 99欧美| 五月婷婷香蕉视频| 婷婷在线日韩综合| 狠狠色综合网站久久久久| 人人操91色| 婷婷久久综| 久久99久久99久久99人受| 日本在线视频手机播放五月婷| 国产成人VA| 婷婷五月综合激情免费视频| 婷婷五月天电影区小说区| 成人AV中文字幕| 网色99| 狠狠精品干练久久久无码中文字幕| 国产精品久久久久久久久久免费| 老师高潮流白浆喷水的A片| 欧美人人草草| 久久五月网| www.主妇. com| 热99热9| 中文AV网| 成人在线视频网| 欧美经典片免费观看大全| 五月婷婷色吧!| 久操人妻| 久婷婷五月激情| 狠狠色丁香婷婷基地| 色五月婷婷啪啪五月| 婷婷综合视频| 日日操日日撸| 免费观看全黄做爰的视频| 日逼影音先锋男人资源站| www.婷婷五月天| 亚洲 精品 综合 精品| 思思热精品在线| 91成人性爱视频| 97色综合| 丁香色综合| 天天操夜夜玩!| 舔色婷婷| 国产精品国产成人国产三级| 色综合婷婷99| 五月丁香亚洲校园欧美| 五月丁香在线婷婷蜜桃| 99精品久久久久| 欧美交换配乱吟粗大25P| 亚洲亚洲人成综合网络| 色情五月| 丁香婷婷五月天亚洲| 天天色天天日天天舔| 久久久婷| 天综合日日夜综合7799| 99热99成人| 九九热在线视频| 最近免费中文字幕大全高清大全1| 久久久久久久8| 欧美天天干五月丁香| 91色涩| 人人摸人人操人人爱| 色五月激情视频在线综合| 视频这里只有精品16| 婷婷色在线| 影音 五月 婷婷 久久| 婷婷色情网| 五月丁花六月丁香综合| 久久久五月天| 伊人网大香| SESE无码AV| 青青久在线视频免费观看| 狠狠色丁香久久| 五月激情婷婷女| 99热这里只有精品8| 九月色婷婷综合| 久热这里只有精品66| 狠狠干夜夜干| 天堂久久婷婷| 天天干天天操| 九九九九精品精| 这里只有精品视频222| 久久综合影院| 99热最新国内| 五月丁香色五月| 色五月天丁香婷婷| 丁香六月婷婷社区| 婷婷丁香五月综合激情小说| 国产99热| 五月6香色婷婷视频| 五月婷视频| 人妻操日日| 一区二区三区四区无码| 日本欧美成人片AAAA| www,8050,午夜三级| 9久久婷婷国产综合精品性色| 色色色9 9 9| site:ornaments52.com| 嫩草AV久久伊人妇女超级A| 婷婷综合激情| 在线看片av| 一级内射毛片| 亚洲丁香五月在线观看| 色综合久久久综合久久网| 九九精品这里只有| 丁香五月影院| 婷婷综合在线| 五月婷色| 乱码操操| 色五月人妻| .操區COm| 天天爽夜夜操| 国产成人+综合亚洲+天堂| 色哟哟www| 狠狠色综合网| 六月婷婷五月丁香| 亚洲精品色色| 丁香激情五月天|