欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營的一線實(shí)戰(zhàn)洞察。

天池糖尿病遺傳風(fēng)險(xiǎn)預(yù)測實(shí)戰(zhàn):從特征工程到模型融合的完整方案

天池糖尿病遺傳風(fēng)險(xiǎn)預(yù)測實(shí)戰(zhàn):從特征工程到模型融合的完整方案 簡介在生物特征與機(jī)器學(xué)習(xí)結(jié)合的競賽場景中糖尿病遺傳風(fēng)險(xiǎn)預(yù)測是一道經(jīng)典且充滿挑戰(zhàn)的題目。其核心并非單純依賴血糖、BMI等強(qiáng)生理指標(biāo)而需從家族史、SNP位點(diǎn)等弱特征中挖掘組合模式。本文從技術(shù)原理出發(fā)解析為何梯度提升樹如LightGBM優(yōu)于深度學(xué)習(xí)處理結(jié)構(gòu)化表格數(shù)據(jù)并系統(tǒng)闡述缺失值分檔處理、家族史聚合、風(fēng)險(xiǎn)位點(diǎn)凈得分等特征構(gòu)造方法。同時(shí)針對AUC評估指標(biāo)下的類別不平衡與過擬合問題給出基于GroupKFold的驗(yàn)證策略與參數(shù)調(diào)優(yōu)路徑。通過多模型融合與交叉驗(yàn)證預(yù)測可顯著提升排序能力。該方案適用于醫(yī)療健康領(lǐng)域的風(fēng)險(xiǎn)預(yù)測任務(wù)尤其適合基因數(shù)據(jù)與臨床指標(biāo)混合的場景為參賽者或研究者提供了一套可復(fù)用的工程實(shí)踐框架。 天池上跑過糖尿病遺傳風(fēng)險(xiǎn)預(yù)測的朋友應(yīng)該知道這道題看著不算難但真做起來坑挺多。我當(dāng)時(shí)把大半個(gè)假期砸在這上面最后運(yùn)氣不錯(cuò)拿了前三源碼和說明文檔一直存在網(wǎng)盤里。最近有學(xué)弟問怎么入門這類“生物特征機(jī)器學(xué)習(xí)”的比賽我就把整套方案從頭到尾捋一遍包括數(shù)據(jù)預(yù)處理、特征構(gòu)造、模型調(diào)參、模型融合這些關(guān)鍵環(huán)節(jié)以及我實(shí)際踩過的坑。如果你想找的是那種直接復(fù)制就能跑的完整代碼這篇文可能不是最快的路徑但如果你想知道每個(gè)步驟為什么要這么做、遇到問題怎么排查這篇應(yīng)該能幫到你。我盡量不寫那種“這里導(dǎo)入庫、那里處理缺失值”的流水賬而是把每個(gè)設(shè)計(jì)決策背后的邏輯講清楚。比如為什么用LightGBM不用XGBoost、為什么家族史要單獨(dú)拆列、為什么驗(yàn)證集必須分著抽。都是實(shí)際參賽過程中反復(fù)試出來的經(jīng)驗(yàn)寫下來當(dāng)個(gè)記錄也希望能給你省點(diǎn)時(shí)間。1. 賽題理解糖尿病遺傳風(fēng)險(xiǎn)預(yù)測到底在做什么1.1 賽題數(shù)據(jù)與任務(wù)定義這個(gè)賽題的核心任務(wù)很簡單給定一批用戶的健康檔案和遺傳位點(diǎn)信息讓參賽者構(gòu)建模型預(yù)測該用戶未來患2型糖尿病的風(fēng)險(xiǎn)概率。本質(zhì)上是一個(gè)二分類問題輸出0到1之間的風(fēng)險(xiǎn)分?jǐn)?shù)分?jǐn)?shù)越高代表患病風(fēng)險(xiǎn)越大。很多第一次打這類比賽的人會(huì)犯一個(gè)方向性錯(cuò)誤——把遺傳風(fēng)險(xiǎn)預(yù)測當(dāng)成普通的“體檢指標(biāo)分類”來做。其實(shí)兩者差別很大。普通體檢預(yù)測更依賴BMI、血糖、血壓這些強(qiáng)相關(guān)指標(biāo)模型很容易學(xué)到“血糖高高風(fēng)險(xiǎn)”這種顯性規(guī)律而遺傳風(fēng)險(xiǎn)預(yù)測的數(shù)據(jù)里大量字段是SNP位點(diǎn)單核苷酸多態(tài)性、家族史、生活習(xí)慣等相對“弱”的特征。這些特征單個(gè)看幾乎沒什么預(yù)測能力只有組合成特定模式才有意義。我當(dāng)時(shí)拿到數(shù)據(jù)后先做了一遍字段梳理大致分為四類一是基礎(chǔ)信息包括年齡、性別二是生理指標(biāo)包括BMI、血壓、空腹血糖三是家族史包括父母、兄弟姐妹是否有糖尿病史四是遺傳位點(diǎn)也就是一系列SNP字段。這里有個(gè)細(xì)節(jié)需要注意不是所有SNP位點(diǎn)都是風(fēng)險(xiǎn)位點(diǎn)有些是保護(hù)性位點(diǎn)不能一刀切地“有突變就算風(fēng)險(xiǎn)”。所以我后期做特征時(shí)對每個(gè)位點(diǎn)都單獨(dú)看了分布和與目標(biāo)變量的趨勢關(guān)系而不是直接丟進(jìn)模型。任務(wù)定義清楚了后面所有工作才有抓手。再強(qiáng)調(diào)一次天池官方給的字段命名和具體結(jié)構(gòu)以比賽頁面為準(zhǔn)我這里描述的字段是抽象過后的常見結(jié)構(gòu)目的是把方法講通你換成實(shí)際數(shù)據(jù)一樣能套用。1.2 評估指標(biāo)與排名規(guī)則里的隱藏信息天池這類比賽通常在評估指標(biāo)上很講究Diabetes遺傳風(fēng)險(xiǎn)預(yù)測這道題官方標(biāo)準(zhǔn)以AUC為核心指標(biāo)兼顧準(zhǔn)確率和召回率。為什么用AUC因?yàn)榛疾★L(fēng)險(xiǎn)預(yù)測天然是一個(gè)“正負(fù)樣本不平衡且誤判代價(jià)不對稱”的問題——把高危人群漏掉比把低危人群誤報(bào)成高危要嚴(yán)重得多。AUC不依賴具體閾值能客觀反映模型對正負(fù)樣本的排序能力所以用AUC作為主排名依據(jù)是合理的。這個(gè)信息非常關(guān)鍵。它意味著你在調(diào)參和選模型時(shí)不應(yīng)該追求“準(zhǔn)確率最高”而應(yīng)該追求“排序能力最強(qiáng)”。很多人在初賽階段執(zhí)著于把準(zhǔn)確率從0.86提到0.87結(jié)果AUC反而掉了就是因?yàn)槟繕?biāo)函數(shù)和評估指標(biāo)錯(cuò)位了。我的經(jīng)驗(yàn)是直接以AUC作為模型早停和交叉驗(yàn)證的監(jiān)控指標(biāo)所有超參搜索也圍繞AUC來選這樣最后線上和線下分?jǐn)?shù)基本能對上。還有一點(diǎn)這類比賽的評測集通常會(huì)把家族史和部分SNP位點(diǎn)做掩碼處理模擬的是“缺少部分遺傳信息”的真實(shí)場景。這個(gè)設(shè)定影響很大意味著模型不能過度依賴某一個(gè)強(qiáng)特征否則評測時(shí)特征一缺失預(yù)測結(jié)果直接崩掉。為此我在訓(xùn)練時(shí)專門做了特征穩(wěn)健性測試隨機(jī)遮蔽部分列來看模型效果衰減幅度衰減太嚴(yán)重的模型直接淘汰。后面雖然犧牲了一點(diǎn)線下分?jǐn)?shù)但線上穩(wěn)定性明顯更好。2. 技術(shù)選型為什么是Python和集成學(xué)習(xí)2.1 Python生態(tài)在做表格類任務(wù)時(shí)的優(yōu)勢選Python做這個(gè)賽題基本不需要猶豫原因不是“Python更?!倍撬褦?shù)據(jù)清洗、特征工程、模型訓(xùn)練、結(jié)果可視化整個(gè)鏈條的東西都給你備齊了。pandas做表格處理numpy做矩陣運(yùn)算scikit-learn提供全套基線模型和交叉驗(yàn)證工具LightGBM和XGBoost對這類結(jié)構(gòu)化表格數(shù)據(jù)幾乎是降維打擊。你不需要寫一行C或者Java就能在一個(gè)腳本里完成從原始CSV到提交結(jié)果的全流程。我對幾個(gè)方案做過對比。純SQL做特征工程太痛苦復(fù)雜條件組合和跨行統(tǒng)計(jì)會(huì)寫到崩潰R語言做統(tǒng)計(jì)分析和可視化確實(shí)順手但工程化部署和模型庫的豐富度不如Python深度學(xué)習(xí)框架PyTorch、TensorFlow雖然在圖像和文本上是王者但放到幾百行、幾十列的小表格數(shù)據(jù)上性能和收益反而不如傳統(tǒng)樹模型。所以最終方案就是Python全家桶pandas做數(shù)據(jù)清洗scikit-learn做數(shù)據(jù)劃分和基線模型LightGBM做主力模型XGBoost做輔助模型最后做個(gè)簡單融合。Python還有一個(gè)隱形優(yōu)勢是社區(qū)答案多。比賽期間我遇到過一個(gè)奇怪的報(bào)錯(cuò)LightGBM在驗(yàn)證集上AUC突然變成0.5排查了很久最后在GitHub的issue里找到原因——是類別特征編碼問題。這種問題只有用主流語言和主流庫才會(huì)快速找到答案冷門技術(shù)棧遇到問題只能自己啃源碼。2.2 深度學(xué)習(xí)在這個(gè)場景里為什么不劃算很多人一聽“人工智能輔助”就覺得得上深度學(xué)習(xí)其實(shí)這是一個(gè)典型誤區(qū)。深度學(xué)習(xí)適合處理高維非結(jié)構(gòu)化數(shù)據(jù)比如圖像像素、語音波形、自然語言序列它的優(yōu)勢是能從原始數(shù)據(jù)里自動(dòng)學(xué)習(xí)特征表示。但這個(gè)賽題的數(shù)據(jù)是結(jié)構(gòu)化的表格行數(shù)只有幾千到幾萬列數(shù)幾十列大部分字段都有明確語義這種情況下深度學(xué)習(xí)很難打得過調(diào)好參的梯度提升樹。我做了一組對比實(shí)驗(yàn)用同樣的特征訓(xùn)練一個(gè)兩層的MLP和一份調(diào)參后的LightGBM線上AUC差了大約5個(gè)百分點(diǎn)而且MLP的訓(xùn)練時(shí)間還是LightGBM的好幾倍。原因不復(fù)雜——表格數(shù)據(jù)里特征和目標(biāo)之間的非線性關(guān)系是稀疏的、離散的樹模型通過分裂點(diǎn)天然能捕捉這種關(guān)系而神經(jīng)網(wǎng)絡(luò)需要大量數(shù)據(jù)才能自動(dòng)發(fā)現(xiàn)這些模式。數(shù)據(jù)量不夠的時(shí)候神經(jīng)網(wǎng)絡(luò)更容易欠擬合或者過擬合。不過我也不是完全放棄深度學(xué)習(xí)在模型融合階段我用一個(gè)淺層MLP做stacking的元模型幫LightGBM和XGBoost的輸出做加權(quán)組合。這個(gè)用法比較討巧樹模型負(fù)責(zé)學(xué)習(xí)復(fù)雜非線性關(guān)系神經(jīng)網(wǎng)絡(luò)負(fù)責(zé)學(xué)習(xí)模型之間的“配合方式”各干各的擅長事效果比直接堆模型要好。3. 數(shù)據(jù)預(yù)處理與特征構(gòu)造全流程3.1 缺失值處理遺傳位點(diǎn)數(shù)據(jù)最容易被忽略的問題遺傳位點(diǎn)字段的缺失率通常很高我當(dāng)時(shí)拿到的數(shù)據(jù)里有些SNP列缺失率接近30%。缺失率高不代表這些字段沒用反而可能是基因分型實(shí)驗(yàn)質(zhì)量差異導(dǎo)致的。直接刪掉這些列等于把可能包含預(yù)測信息的特征扔掉直接用均值填充又會(huì)把風(fēng)險(xiǎn)位點(diǎn)的信號“稀釋”掉。我的處理策略是分三檔。第一檔是缺失率超過50%的位點(diǎn)直接刪除這些列即使填充噪聲也遠(yuǎn)大于信號第二檔是缺失率在10%到50%之間的位點(diǎn)根據(jù)不同基因型出現(xiàn)的頻率做眾數(shù)填充同時(shí)保留一個(gè)“是否缺失”的指示列第三檔是缺失率低于10%的位點(diǎn)用中位數(shù)填充。這個(gè)“缺失指示列”很重要因?yàn)槲稽c(diǎn)缺失在某些情況下和人種、樣本批次有關(guān)可能隱含著非隨機(jī)性模型能沿著這個(gè)線索學(xué)到一些有用模式。生理指標(biāo)字段的缺失處理相對常規(guī)BMI、血壓這類用中位數(shù)填充更穩(wěn)健因?yàn)橹形粩?shù)對離群值不敏感。但我特別提醒一句千萬不要在劃分訓(xùn)練集和驗(yàn)證集之前就做全局填充。正確做法是先切分?jǐn)?shù)據(jù)再分別對訓(xùn)練集和驗(yàn)證集做同樣參數(shù)的填充否則驗(yàn)證集的信息會(huì)泄露到訓(xùn)練集里導(dǎo)致線下分?jǐn)?shù)虛高這里特別容易翻車。3.2 特征工程從原始字段到有效特征特征工程是我在這次比賽里花時(shí)間最多、收益也最高的部分。我總結(jié)了幾個(gè)行之有效的構(gòu)造方向每個(gè)方向都做了A/B測試證明確實(shí)有效才敢保留。第一個(gè)方向是家族史的組合特征。原始數(shù)據(jù)里父親糖尿病史、母親糖尿病史、兄弟姐妹糖尿病史是三個(gè)獨(dú)立字段。單獨(dú)看每個(gè)字段的區(qū)分度都不算強(qiáng)但組合起來“父母雙方都有兄弟姐妹之一有”這個(gè)模式的人患病風(fēng)險(xiǎn)遠(yuǎn)高于“只有一個(gè)直系親屬患病”的人。我把三個(gè)字段做了聚合家族史數(shù)量0到3父母雙方是否都有病史一級親屬患病率患病人數(shù)除以已知親屬數(shù)。這幾個(gè)組合特征對模型AUC的提升非常明顯大概貢獻(xiàn)了2個(gè)百分點(diǎn)的提升。第二個(gè)方向是SNP位點(diǎn)的分組特征。單個(gè)位點(diǎn)預(yù)測能力弱但多個(gè)風(fēng)險(xiǎn)位點(diǎn)疊加后風(fēng)險(xiǎn)會(huì)顯著上升。我先對每個(gè)位點(diǎn)做了單變量AUC分析把單變量AUC大于0.52的位點(diǎn)定義為“強(qiáng)風(fēng)險(xiǎn)位點(diǎn)”小于0.48的定義為“潛在保護(hù)位點(diǎn)”然后統(tǒng)計(jì)強(qiáng)風(fēng)險(xiǎn)位點(diǎn)總數(shù)和保護(hù)位點(diǎn)總數(shù)再計(jì)算二者的差值。這個(gè)“風(fēng)險(xiǎn)位點(diǎn)凈得分”成了我最強(qiáng)的一個(gè)特征在特征重要性排行里經(jīng)常排進(jìn)前五。第三個(gè)方向是生理指標(biāo)和遺傳特征的交互項(xiàng)。比如“攜帶風(fēng)險(xiǎn)位點(diǎn)且BMI偏高”和“不攜帶風(fēng)險(xiǎn)位點(diǎn)但BMI偏高”的人群患病風(fēng)險(xiǎn)曲線差異很大。通過樹模型的特征分裂路徑可以間接學(xué)到這種交互但顯式構(gòu)造交互特征能讓模型學(xué)得更快更準(zhǔn)。我用了兩種做法一種是人為構(gòu)造BMI和風(fēng)險(xiǎn)位點(diǎn)數(shù)的乘積項(xiàng)另一種是讓LightGBM直接處理原始特征靠樹的深層分裂來自動(dòng)尋找交互。實(shí)驗(yàn)結(jié)果是顯式構(gòu)造的交互特征讓模型收斂更快效果略好。3.3 特征篩選與數(shù)據(jù)劃分特征不是越多越好這一點(diǎn)在數(shù)據(jù)量不太大的比賽里尤其明顯。我初始構(gòu)造了80多個(gè)特征但最終只選了約40個(gè)進(jìn)入模型。篩選方法不是單純看特征重要性排序因?yàn)闃淠P偷奶卣髦匾匀菀资芟嚓P(guān)性影響兩個(gè)高度相關(guān)的特征可能會(huì)互相“分?jǐn)偂敝匾詫?dǎo)致兩個(gè)看起來都不重要。我用的方案是先從特征重要性排序里去掉明顯無用的底部特征再用“排列重要性”Permutation Importance做二次篩選——通過隨機(jī)打亂某個(gè)特征的值觀察模型效果下降幅度來判斷特征價(jià)值。效果下降越多說明該特征越重要幾乎沒有變化就可以刪除。數(shù)據(jù)劃分這塊要說一下遺傳風(fēng)險(xiǎn)預(yù)測和普通分類比賽不一樣可能存在較強(qiáng)的家庭聚集性。同一個(gè)家庭的成員遺傳位點(diǎn)和生活習(xí)慣都相似如果隨機(jī)劃分可能訓(xùn)練集和驗(yàn)證集里出現(xiàn)同族樣本導(dǎo)致驗(yàn)證分?jǐn)?shù)虛高。穩(wěn)妥做法是按家族ID進(jìn)行分組劃分GroupKFold確保同一家族的數(shù)據(jù)不會(huì)同時(shí)出現(xiàn)在訓(xùn)練集和驗(yàn)證集里。雖然官方數(shù)據(jù)未必顯式提供家族ID但可以通過一些間接特征做近似分組。這是很多人忽略但很重要的一環(huán)。4. 模型訓(xùn)練、調(diào)參與融合4.1 基線模型與訓(xùn)練流程我在正式上復(fù)雜模型之前先用邏輯回歸和隨機(jī)森林各跑了一遍基線。邏輯回歸的優(yōu)勢是結(jié)果可解釋能快速驗(yàn)證特征編碼是否正確隨機(jī)森林的優(yōu)勢是容錯(cuò)率高過擬合風(fēng)險(xiǎn)低。跑基線不是為了拿高分而是為了確認(rèn)整個(gè)訓(xùn)練-預(yù)測流程沒有低級錯(cuò)誤同時(shí)給后面的復(fù)雜模型提供一個(gè)對比基準(zhǔn)。我的流程大概是讀取數(shù)據(jù)做預(yù)處理和特征工程用GroupKFold切5折在每一折上分別訓(xùn)練模型并記錄AUC最后取均值和標(biāo)準(zhǔn)差。這一步非常關(guān)鍵因?yàn)閱未蝿澐值尿?yàn)證集分?jǐn)?shù)波動(dòng)可能很大必須用交叉驗(yàn)證來估計(jì)模型真實(shí)水平。我第一次只用了單一的隨機(jī)劃分驗(yàn)證集AUC是0.87感覺很不錯(cuò)結(jié)果5折交叉驗(yàn)證一做均分只有0.83標(biāo)準(zhǔn)差0.03——真實(shí)水平比想象中低不少。從那以后我只相信交叉驗(yàn)證的結(jié)果。4.2 核心模型參數(shù)詳解主力模型我選了LightGBM主要是因?yàn)樗?xùn)練速度快、內(nèi)存占用小、對類別特征支持友好而且能通過葉節(jié)點(diǎn)分裂自動(dòng)學(xué)到特征交互。下面是我調(diào)參后的一套參數(shù)可以直接作為起始配置import lightgbm as lgb params { objective: binary, learning_rate: 0.05, num_leaves: 31, max_depth: 5, min_child_samples: 20, feature_fraction: 0.8, bagging_fraction: 0.8, bagging_freq: 1, lambda_l1: 0.1, lambda_l2: 1.0, metric: auc, seed: 42 } d_train lgb.Dataset(X_train, y_train) d_valid lgb.Dataset(X_valid, y_valid) model lgb.train( params, d_train, num_boost_round2000, valid_sets[d_valid], callbacks[lgb.early_stopping(100), lgb.log_evaluation(100)] )逐個(gè)說下參數(shù)的選擇邏輯。num_leaves控制在31附近太大容易過擬合太小擬合能力不足max_depth5是為了限制單棵樹的深度LightGBM的leaf-wise生長策略如果完全不限深度即使num_leaves不大也可能長出很深的樹feature_fraction0.8表示每棵樹隨機(jī)選取80%特征做分裂候選相當(dāng)于給模型增加了隨機(jī)性能緩解過擬合bagging_fraction0.8是行采樣同樣的作用lambda_l1和lambda_l2正則是防止某些分裂對噪聲過度敏感。調(diào)參順序也很重要。先固定一個(gè)較小的學(xué)習(xí)率和合理的樹結(jié)構(gòu)參數(shù)搜索num_leaves和max_depth然后固定這兩個(gè)值調(diào)feature_fraction和bagging_fraction最后調(diào)正則項(xiàng)。別一上來就用網(wǎng)格搜索把所有參數(shù)一起搜搜索空間太大效率極低。我用的是Optuna做貝葉斯優(yōu)化跑了大概200組試驗(yàn)最終在5折交叉驗(yàn)證上把AUC從0.84左右提升到了0.87。4.3 單模型融合策略單模型到一定程度后會(huì)有瓶頸這個(gè)瓶頸通常來自不同模型對同一批樣本的“盲區(qū)”。LightGBM和XGBoost雖然同屬梯度提升樹但分裂策略和正則方式不同錯(cuò)誤樣本并不是完全重疊的。我的做法是訓(xùn)練三個(gè)模型一個(gè)LightGBM、一個(gè)XGBoost、一個(gè)CatBoost然后在驗(yàn)證集上計(jì)算兩兩之間的預(yù)測相關(guān)性。如果相關(guān)性很高說明兩個(gè)模型學(xué)到的模式幾乎一樣融合意義不大相關(guān)性在0.85以下時(shí)融合收益會(huì)比較明顯。融合方法我用過兩種。一種是簡單加權(quán)平均權(quán)重按照各個(gè)模型驗(yàn)證集AUC的比例來定比如LightGBM的AUC是0.87XGBoost是0.86權(quán)重就按0.51比0.49分配。加權(quán)平均簡單可靠不容易過擬合適合快速驗(yàn)證融合思路。另一種是Stacking把三個(gè)模型的預(yù)測概率作為新的輸入特征再用一個(gè)邏輯回歸訓(xùn)練元模型。Stacking理論上效果更好但如果元模型訓(xùn)練不當(dāng)很容易過擬合。我用了一個(gè)省事且有效的變體——在每一折交叉驗(yàn)證中用訓(xùn)練折直接預(yù)測出驗(yàn)證折模型的輸出把交叉驗(yàn)證的預(yù)測結(jié)果拼起來作為stacking訓(xùn)練集這樣元模型看到的是“模型在陌生數(shù)據(jù)上的表現(xiàn)”而不是訓(xùn)練集上的虛高結(jié)果。最終線上AUC比最好的單模型提升了大約1.5個(gè)百分點(diǎn)融合這件事性價(jià)比很高值得做。5. 源碼結(jié)構(gòu)與復(fù)現(xiàn)指南5.1 項(xiàng)目目錄設(shè)計(jì)與模塊說明比賽結(jié)束后我整理源碼時(shí)刻意把項(xiàng)目組織成下面這個(gè)結(jié)構(gòu)方便自己復(fù)習(xí)也方便別人跑通diabetes_risk/ ├── data/ │ ├── train.csv │ ├── test.csv │ └── sample_submission.csv ├── src/ │ ├── config.py │ ├── preprocess.py │ ├── features.py │ ├── train.py │ ├── predict.py │ └── utils.py ├── models/ │ ├── lgb_model.txt │ ├── xgb_model.json │ └── cat_model.cbm └── README.mdconfig.py里集中管理參數(shù)和路徑避免在每個(gè)文件里硬編碼文件路徑。preprocess.py負(fù)責(zé)缺失值填充、字段類型轉(zhuǎn)換、數(shù)據(jù)劃分。features.py是核心里面實(shí)現(xiàn)了所有特征構(gòu)造函數(shù)每個(gè)函數(shù)都帶輸出說明保證可讀性。train.py負(fù)責(zé)讀入特征、訓(xùn)練模型、保存模型和特征重要性。predict.py讀入測試集生成預(yù)測文件。utils.py放一些輔助函數(shù)比如AUC計(jì)算、特征重要性繪圖。我強(qiáng)烈建議你在做類似項(xiàng)目時(shí)把特征工程單獨(dú)拆成一個(gè)文件。原因很現(xiàn)實(shí)比賽過程中你會(huì)反復(fù)調(diào)整特征如果特征代碼和模型代碼混在一起改一個(gè)特征可能引發(fā)連環(huán)報(bào)錯(cuò)排查起來非常痛苦。單獨(dú)拆開后features.py的輸出就是一份干凈的DataFrame模型文件只關(guān)心這個(gè)DataFrame長什么樣改動(dòng)成本會(huì)小很多。5.2 從訓(xùn)練到預(yù)測的完整流程復(fù)現(xiàn)整體流程大概分六步。第一步是修改config.py里的數(shù)據(jù)路徑和參數(shù)第二步運(yùn)行preprocess.py生成訓(xùn)練集和測試集的中間表第三步運(yùn)行features.py構(gòu)造特征第四步運(yùn)行train.py啟動(dòng)5折交叉驗(yàn)證訓(xùn)練這一步會(huì)打印每一折的AUC和整體均值第五步運(yùn)行predict.py生成測試集的預(yù)測概率第六步將預(yù)測結(jié)果按比賽要求的格式保存成CSV提交。train.py里建議加上斷點(diǎn)續(xù)跑和日志輸出功能。比如模型已經(jīng)訓(xùn)練過再運(yùn)行時(shí)可以直接讀取保存的模型文件不用重新訓(xùn)練。我用logging模塊記錄每一折的AUC、訓(xùn)練耗時(shí)、參數(shù)配置方便回溯哪一次改動(dòng)帶來了提升或下降。這些看起來是“工程化”的東西對提升比賽效率幫助卻很大因?yàn)樘斐乇荣愅ǔS刑峤淮螖?shù)限制每次提交前都值得確認(rèn)一遍“這次提交到底改了什么”。6. 常見問題與排查經(jīng)驗(yàn)6.1 過擬合與驗(yàn)證策略樹模型在這個(gè)賽題里最容易出現(xiàn)的問題就是過擬合癥狀是訓(xùn)練集AUC接近1驗(yàn)證集AUC死活上不去。我遇到過最離譜的一次訓(xùn)練集AUC超過0.99驗(yàn)證集AUC只有0.78差距大得出奇后來定位到原因一個(gè)SNP字段的編碼方式有誤把缺失值誤填成了目標(biāo)風(fēng)險(xiǎn)值模型相當(dāng)于直接“偷看”了答案。排查過擬合我有一個(gè)固定套路先畫訓(xùn)練集和驗(yàn)證集的AUC隨迭代次數(shù)的變化曲線。正常情況是兩條曲線同步上升驗(yàn)證集在某個(gè)點(diǎn)后開始回落如果訓(xùn)練集一路猛漲而驗(yàn)證集幾乎不動(dòng)基本可以斷定模型復(fù)雜度太高需要降低num_leaves或增大min_child_samples。如果驗(yàn)證集AUC在上升過程中出現(xiàn)鋸齒狀劇烈波動(dòng)通常是學(xué)習(xí)率太大或者訓(xùn)練數(shù)據(jù)噪聲多可以把學(xué)習(xí)率從0.1降到0.05甚至0.03。交叉驗(yàn)證分?jǐn)?shù)和線上分?jǐn)?shù)差距過大的另一個(gè)隱蔽原因是樣本分布不一致。賽題訓(xùn)練集和線上評測集可能來自不同的時(shí)間段或不同的采集批次如果只做隨機(jī)劃分模型并沒有機(jī)會(huì)暴露在分布漂移之下。我建議分析特征值的時(shí)序變化趨勢如果發(fā)現(xiàn)某些特征分布隨時(shí)間段有明顯偏移最好采用時(shí)間劃分或分組劃分來模擬評測環(huán)境。6.2 類別不平衡導(dǎo)致AUC虛高糖尿病患病人群在整體人群中比例不高訓(xùn)練數(shù)據(jù)的正負(fù)樣本比可能在1:4到1:9之間。類別不平衡本身并不可怕樹模型對不平衡有不錯(cuò)的容忍度可怕的是評估方式?jīng)]對應(yīng)調(diào)整。如果你用準(zhǔn)確率做早停模型可能會(huì)把所有樣本都預(yù)測成負(fù)類準(zhǔn)確率依然很高但AUC會(huì)很難看。我在訓(xùn)練里直接設(shè)置metricauc同時(shí)監(jiān)控交叉驗(yàn)證每個(gè)折的正負(fù)樣本預(yù)測分布。如果模型輸出的概率普遍偏低比如正樣本均值不到0.2說明模型沒有把正樣本和負(fù)樣本有效區(qū)分開這時(shí)候可以考慮用scale_pos_weight給正樣本加權(quán)因?yàn)槲矣玫氖荓ightGBMscale_pos_weight可以按正負(fù)樣本比例反比設(shè)置。我實(shí)測把scale_pos_weight設(shè)為負(fù)樣本數(shù)除以正樣本數(shù)后AUC有小幅提升但設(shè)得過大反而讓訓(xùn)練集AUC沖到很高、驗(yàn)證集下降。所以這個(gè)參數(shù)要配合交叉驗(yàn)證一起調(diào)不能盲目跟風(fēng)。特征分布和類別不平衡結(jié)合時(shí)還有個(gè)坑如果正樣本里家族史缺失率特別高模型可能把“家族史缺失”本身當(dāng)成風(fēng)險(xiǎn)信號導(dǎo)致線上表現(xiàn)不佳。對這種“缺失率與目標(biāo)相關(guān)”的情況我的處理是單獨(dú)分析每個(gè)字段在不同目標(biāo)類別下的缺失率如果差異過大再做缺失填充時(shí)更要謹(jǐn)慎必要時(shí)加入缺失指示列讓模型自己判斷。6.3 時(shí)間有限時(shí)的取舍建議賽季末很多人會(huì)陷入無休止的調(diào)參和刷榜但時(shí)間有限時(shí)注意力分配比悶頭調(diào)參更重要。我的經(jīng)驗(yàn)是先把精力花在特征工程上因?yàn)樘卣鞲倪M(jìn)帶來的收益上限最高然后做一套靠譜的交叉驗(yàn)證保證線下評估可信最后再搞模型融合。順序反了就會(huì)在最浪費(fèi)時(shí)間的事情上花費(fèi)最多時(shí)間。如果只能用半天時(shí)間沖刺我通常只做三件事第一用LightGBM默認(rèn)參數(shù)跑一個(gè)5折交叉驗(yàn)證確認(rèn)數(shù)據(jù)流程沒問題第二排查前3個(gè)重要特征的構(gòu)造邏輯看是否有明顯bug第三把三個(gè)不同seed的模型預(yù)測結(jié)果做平均這個(gè)操作幾乎零成本能穩(wěn)定提升零點(diǎn)幾個(gè)百分點(diǎn)的AUC。別小看這點(diǎn)提升天池這種比賽前三名和前十名的分?jǐn)?shù)差距有時(shí)候就在千分之幾。寫在最后的小經(jīng)驗(yàn)比賽結(jié)束很久之后回看這份源碼最讓我慶幸的不是用了什么高大上的模型而是堅(jiān)持做了兩件事一是每做一步特征或調(diào)參都會(huì)把驗(yàn)證集AUC變化記錄下來形成了一份完整的實(shí)驗(yàn)日志復(fù)盤時(shí)可以快速定位哪些改動(dòng)真正有效二是每隔一段時(shí)間就停下來說服自己“夠了該提交了”避免陷入無窮無盡的調(diào)參循環(huán)。如果你準(zhǔn)備參加類似的AI競賽找一份入門代碼跑通全流程比停留在“看教程”階段有效一百倍。把這份源碼當(dāng)作起點(diǎn)替換成你拿到的數(shù)據(jù)跑通然后根據(jù)本文提到的思路做特征和調(diào)參很快你就能做出一個(gè)像樣的排名。本文還有配套的精品資源點(diǎn)擊獲取
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
五月丁香六月停停停| 91大屁股在线| 婷婷五月免费在线| 婷婷丁香先锋资源网站| 欧美色五月| 丁香欧美| 视频免费精品免费精品免费精品免费精品免费精品免费精品免费99 | 丁香五月在线人妻| 蜜臀99久久精品久久久久| 99无码超碰| site:pzdcoin.com| 日本天堂免费99| 思思热在线视频精品| 天天草天天日| 欧美激情 日韩无码 婷婷 五月天 久久婷婷丁香五月一二三 | 久久精典| 婷婷五月丁香人妻无码高清| 女人露出p毛视频www网站| 婷婷五月丁香六月| 激情爱爱网站| 色五月丁香网| 久久99这里只有精品视频 | 五月婷婷综合成人| 中字幕视频在线永久在线观看免费| 思思久久精品| 久久久精品色色色| 狠狠操在线视频| 色综合久久中文| ..真实国产乱子伦对白在线_欧 | 这里只有精彩亚洲视频推荐| 五月综合婷婷网| 欧美日韩五月婷婷| 視频福利乱色| 99偷拍视频在线日本| 久久免费精彩视频| 亚洲色婷婷| 无人精品在线视频| 婷婷 月 丁香| 亚洲这里只有精品| 丁香婷婷月| 色情五月天se| 99热精国产这里只有精品| 日本精品99| 嫩草视频。| 蜜桃成语时李时珍 免费| 亚洲激情综合| 色欧美日| 五月四色激情| 超碰69天堂| 99视频内射三四| 台湾无码A片一区二区| 五月之婷婷| 五月丁香婷婷激情| 在线A色| 婷婷丁香色五月亚洲| 婷婷中文网站| 色99日韩| 色噜噜狠狠色综| 中文字幕AV在线| 91婷婷色 | 97色在线观看视频| 色五月色五天色情网| 亚洲第一综合| 91久久婷婷| 久久婷五月综合| 精a品a| 亚洲激情免费视频| 婷婷五月激情六月| 在线观看的av| 俺去也婷婷| 亚洲这里只有精品| 国产伦亲子伦亲子视频观看| 超碰自拍天堂| 欧美六月| 人人干天天操五月丁香| 五月丁香六月婷婷视频| 色久丁香五| 欧美激情VA永久在线播放| 丁香六月婷婷| 婷婷五月天亚洲| 色五月激情综合网| 久久小说| 99婷婷五月天激情| 秋霞免费三级片| 婷婷五月丁香基地在线视频官网| 丁香亚洲婷婷五月| 舔色婷婷| 五月激情综合网| 2018国产大陆天天弄| 八戒青柠影视剧在线观看| 中文字幕按摩做爰| 伊人五月婷婷国产视频| 丁香婷婷六月激情文学| 综合五月激情| 伊人碰碰碰| 97香蕉久久超级碰碰高清版| 人人操AV| www91精品| 香蕉曰比| 五月婷婷深深爱| 99热超碰在线| 激情五月色婷婷| 大香蕉啪啪| 亚洲婷婷五月天| 国产91资源在线| 色偷偷人人| 久久九九爽| 人妻内射麻豆视频| 午夜成人综合| 熟女强人妻一区二区三区四区无| www色婷婷| 这里只有精品热| 狠狠狠狠狠草| 色丁香五月婷婷| 天堂在线观看视频| 丁香午月AV中文字幕| 狠狠狠人妻| 色噜噜狠狠一区二区三区| 亚洲综合无码| 国产人人操| 亚洲AV日韩无码| 精品一区二区三区四区五区六区介绍 | www.婷婷六月天| 五月婷婷操操| 91艹人| 色综合久久88色综合天天看| 99日本视频在线观看专区| 91九色丨国产丨爆乳| 九九热99精品| 天天干,夜夜爽| 9l视频自拍九色9l视频在线观看| 六月婷色六月| 亚洲色啪| 天天做天天爱天天日| 天天操人人干| 天堂网操| 五月丁香婷婷激情澎湃四射| 综合av在线| av人人操| 五月天婷婷人妻| 五月天激情综合| 婷婷五月激情四射手| 影音先锋91| 天天射综合网天天插| 翔田千里 50岁 无码| 91碰碰视频在线观看| 婷婷中文字幕| 日日干天天爽| 亭亭五月丁香综合欧美| 色综合色色色| 日本a片网址| 婷婷丁香小说| 丁香五月婷婷激情尤物| 色综合色色色色色| www日本熟妇99在线视频| 亚洲性爱干干| 熟惀91九色在线| 超碰国产在线| 色播丁香| 国产精品国产VA片国产| 成人AV片播放| 色五月婷婷在线| 九月丁香婷婷网| 啄木鸟黑丝一区二区| 婷婷综合网| 综合视频久久| 丁香九月激情| 乱女乱妇熟女熟妇综合网站| 激情五月婷婷丁香| 丁香婷婷五月综合影院| 精品99网站| 69热91天堂| 婷婷五月激情四月综合| 亚洲国产精品二二三三区| 五月天综合缴情网网站0| 99婷婷| 停停六月 综合| 这里只有精彩视| 五月伊人91| 婷婷五月精品在线| 在线看的免费网站| 人人视频人人干人人做| 五月综合激情| 五月丁香久久| 狠狠色综合久久| 天天射天天操天天干| 亚洲色婷婷网站| 日欧一片内射VA在线影院| 深爱开心激情网| 色色色色色色色色综合网| 久久久中文| 色播播五月天| 久久这里只有国产视频| 婷婷的色色五月天| 婷婷精品视频| 在线可以看的av网址| 亚洲va久久久噜噜噜久久天堂| 日日懆天天懆| 综合色情网| 大香蕉综合在线| 五月激情偷拍婷婷| 六月婷婷色色色| 97人人草| 色综合激情| 色欲婷婷五月天丁香| 欧美日韩999| 五月婷久久| 色久综合天天做视频| 丁香婷婷综合影院| 天天骑天天操| 2025天天操| 96精品久久久久久久久| 无码成人播放器| 激情综合一| 亚洲小视频免费播放| 欧美搡BBBBB摔BBBBB| 五月激情久久综合| 激情五月综合网| 五月丁香久久综合91| 成人一级片| 丁香成人综合| 亚洲五月婷婷| 99久久亚洲国产| 人人操AV| 久久婷婷综合基地| 六月色 亚洲| 九九热婷婷| 狠狠色狠狠干| 六月丁香啪啪| 99超级碰碰| 极品人妻VIDEOSSS人妻| 亚洲精品午夜国产va久久成人| 亚洲婷婷激情888精品久| 嫩草视频观看| 一区二区乱视频码| 一本色道久久88加勒比| 夜夜骑夜夜操| 婷婷五月激情五月激情| 婷婷综合一二三| 99区视频| 五月天伊人av| 九九视频网| 日本97久久久精品| 日韩精品无码AV| 国产精品久久久久久久久久| 五月激情小说| 伊人五月天在线| 婷婷五月色惰| 激情六月婷婷| 天天干天天爽天天爽| 久久只有精| 另类 在线| av操B网站| 五月婷婷六月激情| 91久久久久久| 亚洲综合激情五月久久| 色五月激情综合网| 六月丁丁香| 97色天堂| 婷婷激情综合网| 五月婷婷影院| 亚洲综合视频网| 精品久久久人妻| 人人做人人看人人摸| 欧美美女国产日韩一区二区久| 92久久| 亚洲精品中文字幕成人片| 久久精彩视频18| 国产暴力强伦轩1区二区小说| 五月婷婷之综合激情| 日本五月天网站| 真实亲子乱子伦高清在线观看| 丁香五月宝贝激情网| 99在线观看视频免费| 91狠狠色| 开心久久五月天| 99综合视频| 丁香综合网| 丁香五月婷婷啪啪啪| 婷婷五月综合社区| 六月婷婷无码| 亚洲国产色色| 99色精品| 天天干天天干天天干| 色久影院| 91啪啪| 免费观看全黄做爰的视频| 成人中文网| 99热热热99精品婷婷| 五月天激情电影| 日本色色网| 99热这里只有精品首页| 国产精品久久久久久亚洲毛片| 欧美成人精品三区综合A片| 精品视频99看在线视频| 激情婷婷五月色| 亚洲人人操BD| 五月天综合婷婷| 1024日韩| 人妻六月天| 色吧网综合| 亚洲色婷婷久久99精品91| 操比激情五月综合| 青青热久久综合| 色999;丁香五月| 可以看的AV网站| 婷婷五月,偷窥偷拍网| 五月婷婷丁香综合| 99热在线极品极品| 激情综合五月婷| 色五月婷婷丁香国产在线| 婷婷久久五月天亚洲欧美国产日韩在线观看 | 深爱婷婷丁香五月激情| 成人AV免费观看| 婷婷爱五月天| 丁香伊人五月色婷婷五十路| 丁香色五月直播| 99久久思思| www.日日夜夜.com| 五月丁香婷婷综合| 丁香五月最新地址| 深爱激情69热| 亚洲超碰在线| 热99精品视频五月| 无月播播激情在线观看视频| 丝袜大香蕉| 狠狠精品干练久久久无码中文字幕| 九月婷婷在线观看| 五月天天天开心激情网| 97视频久久| 色婷青青| 热久久成人| 国产精品色色| 五月天综合区| 色激情五月| 中文字幕操比影片| 激情综合网,五月| 亚洲99在线| 欧美成人AAA片一区国产精品| 婷婷丁香视频| 色婷婷色五月天| 欧美这里只有精品| 丁香五月香蕉| 激情综合五月婷婷六月丁香| 国自产拍偷拍精品啪啪一区二区| 在线看片av| 五月婷在线视频免费播放| 成人 在线 日韩| 第九色区av天堂| 色99色| 天天操天天草天天草天天| 国产一级片| 99热免费18| 日本va网站| 9l视频自拍九色9l视频自拍九色9l社区| 亚洲视频综合网| 这里只有精品视频视频在线观看| 可以免费观看的AV| 激情五月婷婷啪啪| 天天操天天操天天操天天操天天操天天操天天操天天操天天操 | 亚洲成Av人片乱码色第1集| eeuus五月婷| 婷婷性爱网| 伊人久久综合| 五月天婷婷无码视频| 99在线精品免费视频| 99综合网| 97操视频| 美女精品一级不卡视频| 伊人婷婷综合| www.五月婷婷.com| 97色婷婷成人综合在线观看| 超碰爱爱爱| 骚。com| 日韩av一区二区在线/日产精品久久久 | 日日操,日日爽| 91一起艹| 久久丁香五月| 快乐激情五月色婷婷| 六月婷婷久久| 久久五月丁香婷婷| 99国产精品白浆在线观看免费| 成人做爰A片免费看网站找不到了| 91久久久久久久久18| 98色花堂98t.R| 久久WW| 国产精品丝| 99精品无码| 色99在线看| 色五月婷婷基地| 91热久| www.五月天婷婷| 8区视频在线| 色香欲综合| 青青草婷婷综合五月| 久热网站| 天天噜日日噜综合无码| 日本人妻伦在线中文字幕| 人人舔人人色人人高潮| 婷婷色情 | 婷婷五月天com| 日本91在线播放| 操操操AV| 色久女| 79精品视频在线观看,| 色就是色婷婷五月亚洲激情| 亚洲精品久久久久AV无码| www.日韩艹| 婷婷五月成人社区| 五月婷婷六月天| 再綫Av免费視品| 久久se 综合网| 天天爽天天摸人妻综合网| www.婷婷激情网.com| 99无码视频| 日韩成人av在线| 国产亚洲精品久久久久久牛牛| 四虎婷婷五月天| 中文字幕,综合,91| 99热草草| AA丁香综合激情| 播五月,色五月,开心五月播放器 | 婷婷丁香激情五月| 丁香五月激情网| 99人这里只有精品| 无码啪啪| 在线看av| 操草草草| 成人亚洲精品久久久久| 欧美这里只有精品| 91丁香五月| 色五月婷婷丁香婷婷| -91九色大屁股| 婷婷九九色| 天天插天天射| 五月天色影院| 97视频91| 日本女人久久| 狠狠干,狠狠操| 能看的AV网站| 五月婷婷成人网首页| www.99婷婷| 激情婷婷99| 国产精品久久久久久久久久| 久久ab| 久久婷网| 97精品自拍视频| 欧美婷婷五月| 五月天激情社区| 欧洲亚洲最新精品| 欧美美女国产日韩一区二区久| 色情久久久| 久久免费试看120秒| 综合色五月亭亭| 播播网色播播| 激情婷婷六月天| 激情五月天色色网| 99视频自拍| 亚洲无线视频| 五月丁香综合啪啪| 97色婷| 日韩成人中文字幕| 伊人激情| 丁香五月精品视频| 五月天激情黄色小说在线观看| 99啪啪网| 色五月琪琪| 97人人干人人操| 亚洲啪啪视频| 日韩成人综合网| 色综合婷婷| 丁香激情久久| 婷婷综合激情五月中文字幕| 色综合爱综合| 五月丁香基地| 五月天婷婷成人| 色综合久久五月天| 色综合九九| 99热18| 久久五月丁香| 涩五月婷婷| www.五月天| 久久久国产精品黄毛片 | 97人人干| 26UUU在线观看| 伊人午夜综合色啪| 六月激情综合| PORNY九色9l自拍视频成人| 色三级色三级| 少妇大叫太大太粗太爽了A片| 国产精品久久久久9999小说 | 综合久久五月| 六月久久婷婷| 亚洲性爱99| 日日操日日射| 超碰高清在线| 黄网在线播放| 色级婷婷| AV在线观看网站| 五月天色色激情综合| 美臀自射自家人妻| 久狠狠狠| 九九热精品| 99久久精品免费精品国产_国产精品久久久久久_国产在线|日韩_久久国产精品电影 | 综合一区二区三区| 天天色粽合合合合合合合| 亚洲综合网在线| 亚州操人在线视频| 激情综合婷婷| 99亚洲精品综合在线| 老师把我爽高潮了免费A片| 狠狠爱婷婷| 婷婷亚洲五| 色婷婷五月天天天干天天操天天爽| 色婷婷亚洲精品天天综| 九九av| 91精品国产色猫| 99综合免费视频| 人人做人人看人人摸| 99激情视频| 五月婷婷在线免费观看| 99re久热| 五月婷婷视频啪啪美女| 超碰国产AV| 国产午夜精品AV一区二区麻豆| 欧在线一区| 人人爱操| 日日夜夜狠狠| av免费在线看不卡无毒| 99久久九九| 四月婷婷丁香| 精品国产乱码久久久久夜深人妻| 五月天操逼网| 色色亚洲五月天| 最近中文字幕2019视频1| 色婷婷91| 五月开心深爱激情网| 亚洲五月天激情| 丁香五月婷婷激情完整版| 99丁香五月婷| 丁香色婷婷| 大香蕉在线观看9| 五月丁香拍拍激情综合| 天天干天天干天天干天天干天| 久久玖玖99| 久鲁鲁色网| 超碰免费99| 好大好粗嗯啊-一级黄色大片免费观看-成人AV | 色色综合网络| 91色性感五月婷婷丁香| 日本婷婷丁香五月| 激情第四色| 婷婷久久丁香五月| 五月丁香婷婷婷激情爱爱| 激情 久久 婷婷| 久久综合这里只有精品1| 五月天色色婷婷| 激情婷婷综合网| 狠狠狠五月婷婷六月丁香| 97在线视频观看| 1024人妻| 天天搡日日搡aaaaⅩ| 天天摸天天做天天爱天天爽| 曰本aaaaaa丈片| 开心五月色婷| 色婷婷成人色网| 色婷婷五月天成人网| 亚洲色久| 日日噜噜久久婷婷五月天 | 伊人狠狠干| 三十熟女| 三十路磁力链接| 少妇大叫太大太粗太爽了A片| 天天五月丁香五月| 伊人婷婷五月天| www.激情.com.| 五月天色丁香| 色色色色色级无码| 欧洲MV日韩MV国产| 天天操夜夜肏| 婷久久综合| 欧美激情VA永久在线播放| 亚洲精品网址| 99在线视频播放| 九月影院義母在线播放| 99无码| 色色网站在线免费观看视频| 欧美色一级色| 亚洲激情.com| 99热天堂| 99综合| 91精品熟女| 青草视频在线播放| 终合激情网| 99超级碰碰| 亚洲五月婷婷| 天天操夜夜夜拍拍拍| 色综合99无码| 婷婷五月天丁香社区| 色综合久久天天综合网| 激情丁香五月婷婷| 国产午夜一区二区三区| 丁香密臀AV激情网| 四色永久成人网站| 国语精品探花| 另类激情综合| 国产五月视频| 97色啪| 婷婷五月天av网| www,黄色在线,con| 97在线刺激| 成人羞羞啪啪 全 视频| 久久婷婷综合色丁香| 成人AV免费观看| 一区二区三区四区五区| 丁香97综合| 深爱激情丁香| 色婷婷五月天视频在线| 久久综合99| 天堂在线观看视频| 九月丁香婷婷| 色色色9| 亚州精品色情无码A片| 久久婷婷五月综合色区| 综合激情五月丁香| 免费观看欧美成人AA片爱我多深| 九九九这里只有精品| www超碰com| 草草视频91| 99爱在线视频观看| 久1色色| 97婷婷在线| 亚洲无AV在线中文字幕| 色色色婷婷五月天| 99热这里只有精品3| 激情五月深爱五月观看| 九九www| 99热久久这里只有精品| 婷婷久久久| 欧美国产一区二区三区| 日本va欧美va精品发布视频| 伊人超碰| 婷婷久久伊人| 热久免费视频9| 天天操夜夜操| 亚洲热综合| 五月婷婷激情网| 五月情涩综合婷婷| 99久久思思| 亚洲激情综合色站| 久久精典| 五月婷婷久久大香蕉| 91人人看| 日韩熟女啪啪视频| 538在线精品| 99精品网| 丁香色婷婷五月天| 亚洲在线综合| 中文字幕,综合,91| 激情五月天小说| 天天干天天 亚洲| 九九热免费观看视频| 五月婷视频久久| 综合久久97| 五月天综合久久丁香91| 99亚洲精美视频在线观看| 丁香五月激情五月| 婷婷日韩| Www.Av网9| 日操熟女| 亚洲精品另类| 午夜福利8055| 久七香蕉| 991国产精选视频在线播放下载| 久久精品天| 99五丁香月| 狠狠色综合久久久久| 夜夜嗨一区二区三区直播内容 | 久这里只有精品| 很很操96| 激情五月婷婷啪啪| 色偷偷狠狠| 亚洲欧州色情在线观看| 五月天色婷婷激情| 色婷婷色99国产综合精品| 五月天亭亭俺也| 开心婷婷丁香五月| 操逼六区| 高清无码入口| 少妇水多A片太爽了| 中国女人内射6XXXXX| 婷婷五月在线影院| 综合久久8| 五月狠狠| 丁香五月网站| 求可以看的AV网址| 欧美成人网99网| 伊人狠狠丁香婷婷综合尤物| 丁香五月色情| 国产乱子轮XXX农村| 天天日色情| 婷婷性爱综合| 久热91| 亚洲婷婷丁香五月天激情小说| 99视频精品8| 色五月影视| 91碰超| 97福利视频| 激情九月丁香婷婷| 色色色色色五月丁香| 99啪啪视频| 国熟女视频| 欧美成人性爱网| 男女99免费视频| 成人做爰A片免费看视频| 无码AV大香线蕉伊人| 婷婷午夜精品久久久| 99在线免费视| 婷婷色色婷婷| 色噜噜狠狠色综无码久久合欧美| 日噜噜色| 色综合夜夜| 五月婷婷 激情五月| 99ri在线视频| 婷婷五月丁香99| 另类专区在线观看| 综合六月激情婷婷| 亚洲成人免费电影| 91丨九色丨老熟女激情| 久久精品色| 99在线精品免费视频| 婷婷五月天开心网| 成人AV网站在线| 99视频久久免费视频| 美女天天爽| 99国产精品久久久久久久久久久| 99热网址| 五月丁香婷爱在线| 色婷婷成人做爰A片免费看网站| 99操网站| 婷婷欧美色| 色欲久久久久久综合网综合网| 人妻熟女一区二区AV| 六月色播| 五月丁香婷婷伊人| 日日夜夜干| 991精品在线视频| 激情五月天www| 另类小说五月天| 人伦30P| 五月丁花六月丁香综合| 色五月情| 九九热九九热精品| 婷婷丁香熟妇综合网| 午夜九九九九九九| 婷婷综合五月色播| 青草视频在线观看视频| 久久无码激情视频| 四虎成人精品永久免费AV九九| 日本久久极品| 天天做 天天爱| 激情婷婷五六月天| 婷香五月激情视频| 影音先锋一区二区三区| 九九热精品在线| 丁香婷婷五月天成人| 呦呦v线| 国产亚洲在线观看| 五月丁香猫咪久久婷婷综合视频激情四射网入口 | 97日本在线| 五月天激情亚洲| 性爱网五月婷婷| 99热骚货| 色色网站毛片| 婷婷亚洲五月色综合| 成人国产欧美大片一区| 天天天天天色| 欧美成人AAA片一区国产精品| 99热国品免费| 综合五月婷婷| 狠狠五月丁香色婷| 亚洲V国产V欧美V久久久久久| 婷婷免费精品视频| 日日干日日| 亚洲综合网激情小说| 丁香五月影院| 欧美综合婷婷网| 国产午夜精品一区二区三区四区| 天天操天天爽天天爱| 大伊香蕉精品视频在线| 丁香五月婷婷六月婷| 日本熟妇乱妇熟色A片蜜桃| 丁香桃色综合网| 国产精品第一国产精品| 五月丁香婷婷激情在线| 在线成人va| 丁香成人色情五月天| 特黄三级又爽又粗又大| 99色色视频| 天堂中文国产| 色五月婷婷中文字幕| 亚洲亚洲激情| 97干在线视频精品店| 色色性爱视频| 97操在线视频| 99热在线观看| 久久久久久久久人妻| 99久精品| 激情五月激情综合网| 五月天婷婷色播在线网| 丁香六月婷婷久久亚洲天堂| 五月丁香好婷婷A片网| 99在线精品视频| 中文资源在线a | 91精品久久久久、久五月天| 96丁香六月婷婷蜜桃综合久久| 伊人久久婷婷| 开心五月深爱激情| 激情五月色婷婷| 九九热AV| 都市激情小说婷婷| 六月丁香综合| 四川BBB搡BBB搡多人乱亂| 色婷婷色五月天| 久久五月丁香婷婷| 狠狠色综合五月人人| 五月天久久婷婷| 激情综合自拍五月婷婷色五月| 欧美成人猛片AAAAAAA| 五月天激情丁香| 婷婷五月小说色综合| av在线婷婷| 99久久99九九99九九九| 五月丁香六月合| 99玖玖人人| 无码99| 天天色视频| 久久er九九| 一区二区aV电影免费看| 久久综合激情| 91视频综合网| 欧美婷| 99人碰碰碰| 97婷婷五月丁香| 性爱视频99| 强伦轩人妻一区二区电影| 五月丁色AV| 日本黄色精品| 久久婷婷青青草| 人妻中文在线| 天天爽,夜夜爽| 在线VA视频| 人人综合久| 久久男人网婷婷| 超碰久热| 九九九色综合| 99热精品无码| 色婷婷在线视频综合| 中文字幕 码精品视频网站| 草榴成人影片| 大战熟女丰满人妻AV| 六月丁香啪啪| 99∨VTV| 五月婷婷激情综合视频| 日本的α片xxxwww| 综合久久综合| 香蕉伊人综合| 久草婷| 人妻第九页| 丁香五月婷婷色| 91人人爽狠狠狠| 丁香五月天社区| 五月婷婷二月丁香| 六月丁香婷婷色69| 久久99最新| 激情五月婷黄版| 97干在线视频| 色玖玖综合网| 99熟女啪啪视频| 婷婷丁香先锋资源网站| 精品热青草| 变态 另类 在线| 无码少妇高潮喷水A片免费| 亚洲五月花| 五月丁香色色网| 超碰色综合| 五月婷婷色| 婷婷六月亚洲综合| 激情综合五| 五月在线| 五月天激情国产综合婷婷| 六月婷婷国产| 就爱射中文字幕资源网| 激情婷婷综合五月少妇| 亚洲综合色五月| 特级片神马电影| 丁香六月亚洲综合| 99热中文字幕久久| 婷婷久久草| 激情丁香五月天| 成人 AV播放| 超碰A V在线| 久久九九re热| 99啪啪网| 久久激情综合| 操笔无码| 久久这里只有精品无码| 久99热| 欧美丁香五月| 丁香五月成人婷婷| 午夜激情综合| 婷婷激情六月| 国产99久久久国产精品免费看| 国产日韩欧美| 久久这里只有精品视频15| 国产高潮白浆一区二区| 冬月かえでAV无码播放| 久久久久激情| 无码地址| 丁香五月天BBw| 丁香涩涩爱| 久久与婷婷| www.天天干| 99热99艹在线观看| 久久五月天免费网站| 五月天综合激情网| anquye伊人| 色色色色色色综合| 天天干,夜夜爽| 很很干天天干| 婷婷久综合| 欧美精品A片一区在线观看| 丁香色五月 97干| 色狠狠伊人久久五月丁香| 激情婷婷综合五月少妇| 伊人久久大香蕉网| 亚洲激情综合| xxxx五月天色色| 大香蕉九九| 天天干天天玩天天夜天天射天天操天天日蜜臀少妇 | 日韩久综合| 开心五月婷婷五月| 丁香五月激情性色郤| 色九月婷婷丁香| 婷婷丁香六月| 99色免费| www.天天干.com| 日日操夜夜骑| 91日本在线观看| 久久日曰| 丁香六月天AV| 欧美丁香婷婷五月天| 五月激情站| 第四色色色色色丁香五月天| 久激情网| 五月丁香六月婷婷在线观看| 天天肏夜夜肏| 色色色色色色色色色色色色色五月天| 人人爽天天莫| 激情五月婷婷五月丁香五月开心五月| www.五月丁香| 久久久精品99| 六月丁香深深爱| 中文字幕av在线| 草榴视频黄色网| 天天色天天爽| 99色五月| 无毒黄色网址| 开心激情色婷婷五月天| 婷婷中文字幕网| 色综合激情图区| 6月丁香婷婷| 丁香 亚洲 久久| 婷婷伊人久久无码色五月| 激情五月天婷婷直播| 婷婷五月天久久| 高清激情av在线观看| 精品久久这里热66| 激情婷婷丁香| 日本a片网址| www.99精品在线| 婷婷六月成人| 丁香5月啪啪| 欧美色频| 婷婷亚洲影院| 九热免费视频| 丁香五月天日韩无码| 五月激情另类| 99热综合网| 超碰大香蕉网| 五月丁香啪啪网| 永久天堂日本| 六月丁香激情综合| 99热热热99精品丁香| 日日日,com| 欧美操人| 99ri国产在线| 婷婷激情在线| 五月婷婷婷| 五月婷婷69| 日本欧美999久久久三级片| 婷婷五月色丁香在线看| 国产毛片精品一区二区色欲黄A片| 五月总合激情网| www.狠狠| 九月色婷婷| 婷婷五月丁香五月| 亚洲操逼网| 久久女婷| 久热91| 色吊丝99| 日韩欧美成人网| 日日夜夜爽爽| 亚洲区在线| 5月婷婷激情网| 久久丁香综合精品综合| 五月天久久丁香| 91日婷婷在线| 色色色色热| 五月丁香婷婷成人版| 久久激情天堂| 超碰成人电影| 日日日日日| 久草五月天电影网| 国产高清av黄色看片| 丁香激情婷婷网| 六月丁香开心婷婷欧美| 99亚洲精品| 亚洲美女高潮久久久久久69| 狠狠草狠狠草| 狠狠干总合| 91热视频| 色5月丁香婷婷| 亚洲婷婷丁香| 天天日天天插| 开心五月丁香婷婷| 极品少妇婷婷五月| 久久久久亚洲AV成人无码电影| 97久久人人| 天天干天天做| 丁香五月精品| 婷婷六月综合基地| 色五月大香蕉| 操嫩逼电影| 91色欲综合| 成人短视频在线| 天天色天天爱天天舔| 九日日夜夜69| 亚洲碰碰碰| 综合五月天亚洲婷婷| 国产婷婷色综合AV蜜臀AV | 思思精品热在线| 亚洲旡码| 黑人巨粗进入警花疼哭A片| 噜噜久| 九月婷婷久久久| 午夜69成人做爰视频| 精品五月天| 91久久久久久久| 亚洲深喉aV| 99视频网址| 97激情五月天| 人妻激情视频| 久久97| 日本色爽| 六月欧美综合色情| 婷婷久久在线| 五月天激情婷婷| 丁香五月天AV| 欧美色狠婷久| 熟美女麻豆| 国产成人网站在线观看| xxx.色婷婷| 六月丁香婷婷综合色播| 香蕉中文在线| 色综合色色| 丁香五月婷婷五月天| site:picc-up.com| 亚洲啪啪网| 内射在线CHINESE| 99久久久久久| 色五月丁香六月婷婷| 色色色色五月天| 97男人天堂| 99热18| 五月久久婷婷丁香| 五月激情婷婷开心| 丁香五月天色综合| 日韩日比视频| 大香蕉视频99| 99热久久这里只有精品| 色丁香婷婷| www激情com| 色五月视频无码播放| 婷婷天堂站| 久久999久久999久久999久久| .青娱乐天天操B| 思思热在线观看| 丁香五月综合激情啪啪| 婷婷色狠狠| 九九热99精品在线| 丁香婷婷久久| 99九九99九九九视频精彩| 久草五月丁香婷婷综合| 无码免费人妻A片AAA毛片西瓜| 亚洲av网站| 五月丁香六月婷婷激情网| 青青草原精品久久| 中文字幕日韩无码制服诱或| 色噜噜狠狠色综| 久热91精品| 欧美激情伊人| 日韩欧美婷婷丁| AV大片在线播放| 天天日天天插| 爱射综合| 天天做天天爱| 熟女激情五月天| 五月天大香蕉| 色色激情网| 激情综合网五月| 天天舔天天摸| 亚洲五月天激情| 亚美欧色影院| 日韩在线五月天婷婷| site:ornaments52.com| 亚洲瑟瑟精品在线| 开心婷婷五月花| 99re久热只有精品6在线直播| 大香蕉啪啪| 婷婷五月天深爱| 伦乱美欧| 亚洲 精品 综合 精品| 色五月婷婷激情综合网| 婷婷六月丁香激情| 97色色-99久久| 日本女天天爽| 这里只有视频精品| 丁香婷婷丁香五月欧美人| 热热久久精品视频| 99激| 丁香五月六月婷婷自拍| 婷婷在线操| 99热这里只有精品23| 激情网开心网| 婷婷情色激情| 综合网亚洲| 日韩欧美成人片| 亚洲av免费在线| 欧洲色| 日本不卡一区二区三区| 伊人香大香蕉视频| 日逼影音先锋AV男人资源站| 天堂网色婷婷| 97色色婷婷五月天| 久久婷婷精品| 婷婷五月天视| 思思热热久久| 色色网站在线| 97香蕉久久超级碰碰高清版 | 超碰在线9| 激情www| 内射人妻视频国内| 91呦呦呦| 婷婷五月激情的图片| 日韩九九视频| 日韩婷婷五月天| 蜜桃五月天| 婷婷五月综合网| 大香蕉婷婷| 蜜臀综合久草| 欧美色图天堂网色| 99丁香五月婷| 婷婷五月图片小说网| 久操福利| A片试看120分钟做受视频红杏| 婷婷天堂综合网| 色碰碰| 99久久国产宗和精品1上映| 996热re视频精品视频这里| 五月天色婷婷综合| 五月天六月色| 99热伊人综合| 婷婷综合五月| 国内精品玖玖| 亚洲熟女色| 刘玥av在线| 婷婷激情四射网| 久久亚洲婷婷综合色五月| 色激情五月| 操骚货在线| #NAME?| 色婷婷手机在线| 五月综合色播播丁香婷婷| 亚洲色碰| 97五月婷| 99在线69| 五月婷婷亞洲中文| 1024日韩| 午夜九九九九九九| 激情五月天婷婷直播| 丁香婷婷婷五月| 东京热免费视频| 亚洲色图日韩网址| 狠狠另类视频| 久青操| 我淫我色婷婷五月天激情四射| 婷婷午夜丁香| 天天干天天叉| 另类小说五月天| 婷婷综合一二三| 日日射天天射| 夜夜爱网站| 成人午夜在线视频| 日本五月丁香| 色色色色色色色色网站| 99综合成人视频在线观看| 天堂婷婷五月色| 五月丁香六月婷综合成人综合| 日韩精品呦呦va| 久久黄色免费视频| www99精品| 免费看片在线观看| 五月婷婷免费| 五月婷婷深深爱| 91综合色| 激情www| 婷婷丁香九色| 婷婷丁香五月视频| 狠狠爱综合网| 五月丁香久久呀| 天天综合中文| 俺来也狠狠| 伊人六月无码视频| 九九99精品| 99久久婷婷国产综合| 欧美成人精品A片免费一区99| 国产干逼片| 涩涩五| 免费观看欧美成人AA片爱我多深| 午夜大香蕉| 在线中文字幕av| www91在线| 五月婷婷婷| 狠狠狠狠青草| 色六月天| 中文字幕丰满孑伦无码专区 | 级情九色| 爱久综合| 亚洲啪啪啪啪| 99碰网站| 亲子乱AV一区二区三区下载| 91色吧网| 久久婷婷丁香| 肏屄色播伊人97婷婷| 色香久久| 91九色精品| 婷婷性爱网| 9久精品视频| 午夜五月天| 99惹在线精品免费观看| 综合色播| 五月色丁香综合| 欧美大片| 丁香五月婷婷在线视频| 99精品丰满|