欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營(yíng)的一線實(shí)戰(zhàn)洞察。

用Qwen3微調(diào)Embedding模型,全面提升RAG檢索準(zhǔn)確率

用Qwen3微調(diào)Embedding模型,全面提升RAG檢索準(zhǔn)確率 RAG 系統(tǒng)上線后最常被吐槽的是檢索不準(zhǔn)。明明知識(shí)庫里有答案用戶換一種口語化問法向量檢索卻召回一堆無關(guān)段落大模型只能基于錯(cuò)誤上下文硬答于是“答非所問”“回答不專業(yè)”就都來了。問題往往出在 Embedding 模型的能力邊界而不是生成模型本身不聰明。面向 2026 年RAG 優(yōu)化已經(jīng)不只是調(diào)切塊長(zhǎng)度或換個(gè)大模型。越來越多團(tuán)隊(duì)開始走同一條路線借助 Qwen3 構(gòu)造高質(zhì)量訓(xùn)練數(shù)據(jù)對(duì) Embedding 模型做領(lǐng)域微調(diào)讓向量檢索更貼近真實(shí)業(yè)務(wù)語言最終讓大模型回答更專業(yè)。這篇博客會(huì)把這條鏈路拆開講清楚RAG 為什么檢索不準(zhǔn)、Embedding 微調(diào)的基本原理、Qwen3 在數(shù)據(jù)生成和難負(fù)樣本構(gòu)造里的角色、訓(xùn)練代碼怎么寫、接入 Milvus 和 LlamaIndex 時(shí)要注意什么、上線后效果怎么評(píng)估以及生產(chǎn)落地上最容易踩的坑。1. 先理解 RAG 檢索不準(zhǔn)的根因再?zèng)Q定要不要微調(diào) Embedding1.1 檢索不準(zhǔn)往往不是“模型笨”而是“召回偏了”RAG 的完整鏈路通常分三塊知識(shí)庫切塊、文本向量化、向量檢索與排序。大多數(shù)團(tuán)隊(duì)投入精力最少、出錯(cuò)卻最多的是中間那塊 Embedding。Embedding 模型做的事情是把一段文本壓縮成一個(gè)向量讓語義相近的文本在向量空間里距離更近。例如“怎么申請(qǐng)工傷認(rèn)定”和“工傷認(rèn)定申請(qǐng)流程”應(yīng)該是近鄰而“工傷鑒定標(biāo)準(zhǔn)”雖然包含“工傷”兩個(gè)字卻不應(yīng)在用戶問流程時(shí)排在前面。問題在于通用 Embedding 模型是在互聯(lián)網(wǎng)開放語料上訓(xùn)練的它擅長(zhǎng)處理“通用語言”但面對(duì)一個(gè)行業(yè)的簡(jiǎn)稱、系統(tǒng)名稱、產(chǎn)品術(shù)語、客服話術(shù)、中英混排、業(yè)務(wù)單據(jù)編號(hào)時(shí)向量空間的分布可能完全不對(duì)。觀察下面這種典型 badcase用戶 Query檢索結(jié)果是期望結(jié)果我們公司發(fā)票沖紅后稅號(hào)會(huì)變嗎發(fā)票管理辦法關(guān)于紅字發(fā)票的規(guī)定本項(xiàng)目發(fā)票沖紅的具體操作指南XX 系統(tǒng)登錄報(bào) 5001 錯(cuò)誤怎么辦系統(tǒng)使用手冊(cè)目錄XX 系統(tǒng) 5001 錯(cuò)誤碼說明如果把這兩組 Query 和文檔片段丟給通用 Embedding 模型會(huì)發(fā)現(xiàn)相似度分?jǐn)?shù)往往沒有明顯區(qū)分度。問題不是切塊沒切好而是模型根本不知道“5001 錯(cuò)誤碼”在這個(gè)系統(tǒng)里等價(jià)于“登錄鑒權(quán)失敗”。1.2 通用 Embedding 模型的“領(lǐng)域盲區(qū)”長(zhǎng)什么樣行業(yè)內(nèi)比較常見的開源 Embedding 模型包括 BGE 系列、BGE-M3、GTE 系列、M3E 等。它們?cè)谥杏⑽耐ㄓ脵z索任務(wù)上表現(xiàn)很好但一進(jìn)垂直領(lǐng)域就會(huì)暴露幾個(gè)問題。第一專業(yè)術(shù)語語義稀疏。比如“貨描不符”“質(zhì)保單”“T0 回款”這些詞在訓(xùn)練語料里出現(xiàn)頻次不高模型很容易把它們當(dāng)成普通詞語處理向量表征不夠穩(wěn)定。第二口語化和反問句式泛化弱。RAG 系統(tǒng)的真實(shí)用戶不會(huì)按照文檔目錄說話他們經(jīng)常輸入“這個(gè)單子咋走流程”“為什么不能提現(xiàn)”和正式文檔的語言風(fēng)格差異很大。第三同義詞和縮寫關(guān)聯(lián)弱。“結(jié)算單”和“Settlement Note”“結(jié)算憑證”在業(yè)務(wù)里可能指向同一類文件但通用模型不一定能建立這種等價(jià)關(guān)系。用戶搜索“qwen3 embedding 微調(diào)”時(shí)看到的很多教程本質(zhì)上都是在解決這類“領(lǐng)域盲區(qū)”。如果只是換一個(gè)更大的通用模型通常只能緩解問題不能根治。要讓檢索真正貼近業(yè)務(wù)就要讓 Embedding 模型見過業(yè)務(wù)數(shù)據(jù)并針對(duì)業(yè)務(wù) Query 和文檔做過對(duì)比學(xué)習(xí)。1.3 什么時(shí)候該微調(diào)什么時(shí)候先不要?jiǎng)?Embedding微調(diào) Embedding 不是 RAG 優(yōu)化的第一步甚至不是第二步。在投入 GPU 訓(xùn)練之前可以按下面順序排查。排查項(xiàng)檢查方式如果存在問題切塊粒度查看召回文檔是否在中間截?cái)嗾{(diào)整 chunk_size / overlap或按標(biāo)題、段落結(jié)構(gòu)切塊元數(shù)據(jù)過濾是否能用業(yè)務(wù)字段排除明顯無關(guān)文檔增加創(chuàng)建時(shí)間、部門、文檔類型等過濾條件Query 改寫用戶原問是否太口語化、太短用大模型把 Query 改寫成標(biāo)準(zhǔn)檢索詞再走向量檢索Rerank 模型召回 top50 后是否仍然把錯(cuò)誤文檔排在前面加入專門的 Rerank 模型做精排Embedding 領(lǐng)域適配上述手段都做過后 badcase 仍重復(fù)出現(xiàn)再考慮微調(diào) Embedding 模型換句話說微調(diào) Embedding 適合在“檢索鏈路已經(jīng)比較完整、但深層語義匹配能力不足”的階段啟動(dòng)。它的前置條件有三個(gè)一是有一個(gè)可重復(fù)復(fù)現(xiàn)的 badcase 集合二是有辦法評(píng)估召回效果不靠肉眼感覺三是有能力構(gòu)造一批覆蓋業(yè)務(wù)場(chǎng)景的訓(xùn)練數(shù)據(jù)。如果知識(shí)庫總共只有幾百個(gè)文檔檢索效果差主要因?yàn)榍袎K太粗或者沒有元數(shù)據(jù)過濾那么先優(yōu)化這些環(huán)節(jié)性價(jià)比更高。2. 微調(diào) Embedding 的原理對(duì)比學(xué)習(xí)、難負(fù)樣本和 Qwen3 的定位2.1 Embedding 模型訓(xùn)練的本質(zhì)是“拉近正例推開負(fù)例”Embedding 模型本身不是被“教”出所有業(yè)務(wù)知識(shí)的它是在一個(gè)表示學(xué)習(xí)任務(wù)上被優(yōu)化的。微調(diào)時(shí)我們不再訓(xùn)練模型回復(fù)一句話而是訓(xùn)練它把 Query 和對(duì)應(yīng)的文檔片段映射到同一個(gè)向量空間中的相近位置。最常用的訓(xùn)練目標(biāo)是對(duì)比學(xué)習(xí)損失例如 InfoNCE。核心思想是給一個(gè) Query讓模型優(yōu)化相似度使得它和正確文檔的距離更近同時(shí)和一批錯(cuò)誤文檔的距離更遠(yuǎn)。假設(shè)一個(gè) batch 里有 N 個(gè) Query對(duì)應(yīng)的正文檔是同一個(gè) batch 里的 N 個(gè)文檔那么可以構(gòu)造 N×N 的相似度矩陣對(duì)角線是正樣本其余位置是負(fù)樣本。MultipleNegativesRankingLoss 就是這么工作的。一個(gè)簡(jiǎn)單理解score(query_i, positive_i) - 盡量高 score(query_i, negative_j) - 盡量低2.2 難負(fù)樣本比正樣本更影響微調(diào)效果很多人第一次構(gòu)造 Embedding 訓(xùn)練集會(huì)在每個(gè) Query 后面配一個(gè)正確文檔、一個(gè)隨機(jī)文檔然后開始訓(xùn)練。等訓(xùn)練完上線發(fā)現(xiàn)效果幾乎沒變。原因很簡(jiǎn)單隨機(jī)文檔和 Query 大多完全不相關(guān)模型很容易把它們分開訓(xùn)練信號(hào)很弱。真正需要訓(xùn)練的是“看起來相關(guān)、實(shí)際不對(duì)”的難負(fù)樣本。舉個(gè)例子Query發(fā)票沖紅后購買方還能抵扣嗎正樣本發(fā)票沖紅操作指南里關(guān)于購買方抵扣的相關(guān)段落難負(fù)樣本發(fā)票開具流程里關(guān)于“紅字發(fā)票信息表”的段落難負(fù)樣本包含“發(fā)票”“沖紅”“抵扣”等多個(gè)關(guān)鍵詞向量上離 Query 很近但語義和用戶問的不是一回事。只有把這種樣本作為負(fù)例壓下去模型才學(xué)會(huì)區(qū)分“操作流程”和“概念解釋”。這是為什么微調(diào) Embedding 必須有一個(gè)質(zhì)量較高的負(fù)樣本構(gòu)造環(huán)節(jié)而不能只在文件系統(tǒng)里隨機(jī)抽幾個(gè)文件當(dāng)負(fù)樣本。2.3 Qwen3 在這條鏈路里的真實(shí)角色標(biāo)題里寫“通過 Qwen3 對(duì) Embedding 進(jìn)行訓(xùn)練微調(diào)”容易讓人誤以為直接把 Qwen3 結(jié)構(gòu)拿來當(dāng)向量模型訓(xùn)練。這里必須澄清一下技術(shù)定位。Qwen3 是生成式大模型它的輸出是文本不是文本向量。當(dāng)前更穩(wěn)妥、也更常見的做法是用 Qwen3 生成領(lǐng)域 Query把“文檔段落”轉(zhuǎn)成“用戶可能會(huì)問的問題”用 Qwen3 把這些 Query 和候選文檔做相關(guān)性打分找出“分?jǐn)?shù)高但實(shí)際不相關(guān)”的難負(fù)樣本用 Qwen3 改寫 Query制造更多表達(dá)方式不同、語義相同的正樣本用 Qwen3 檢查訓(xùn)練數(shù)據(jù)質(zhì)量去掉噪聲樣本。也就是說Qwen3 是在“數(shù)據(jù)生產(chǎn)”和“數(shù)據(jù)清洗”環(huán)節(jié)起作用真正被微調(diào)的對(duì)象是專用 Embedding 模型比如 BGE-M3、bge-large-zh、GTE 等。如果團(tuán)隊(duì)非要用 Qwen 系列模型做 Embedding也不是不行需要自己接 pooling 層和相似度目標(biāo)對(duì)比訓(xùn)練成本和難度都會(huì)明顯上升。對(duì)于大多數(shù) RAG 項(xiàng)目更理性的選擇是用 Qwen3 生成數(shù)據(jù) 微調(diào)輕量專用 Embedding 模型這樣訓(xùn)練成本低、上線快、維護(hù)也容易。3. 用 Qwen3 構(gòu)造高質(zhì)量 Embedding 微調(diào)數(shù)據(jù)集3.1 先設(shè)計(jì)統(tǒng)一數(shù)據(jù)格式微調(diào) Embedding 的數(shù)據(jù)集一般使用 JSONL 格式每行一個(gè)訓(xùn)練樣本。常見結(jié)構(gòu)是帶一個(gè)正樣本和多個(gè)負(fù)樣本{ query: 發(fā)票沖紅后購買方還能抵扣嗎, positive: 購買方取得紅字發(fā)票信息表后可在增值稅發(fā)票綜合服務(wù)平臺(tái)上進(jìn)行相應(yīng)抵扣處理具體以當(dāng)?shù)囟悇?wù)機(jī)關(guān)要求為準(zhǔn)。, negatives: [ 發(fā)票開具流程中銷售方需在開票系統(tǒng)內(nèi)填開紅字發(fā)票信息表并上傳。, 普通發(fā)票丟失后如何處理納稅人應(yīng)當(dāng)向稅務(wù)機(jī)關(guān)報(bào)告。 ] }推薦把訓(xùn)練數(shù)據(jù)寫成這種格式而不是只用 query-positive 二元組。因?yàn)橐粭l Query 配多個(gè)負(fù)樣本訓(xùn)練效率更高模型也能更快學(xué)會(huì)區(qū)分“業(yè)務(wù)概念”和“業(yè)務(wù)操作”。3.2 用 Qwen3 從文檔段落生成用戶 Query數(shù)據(jù)構(gòu)造的第一步是把知識(shí)庫文檔的每個(gè)段落變成一個(gè)或多個(gè)用戶 Query??梢哉{(diào)用 Qwen3 的 OpenAI 兼容接口也可以在本機(jī)用 vLLM 部署 Qwen3 后按相同接口調(diào)用。下面是一個(gè)用于生成 Query 的 Prompt 示例你是知識(shí)庫檢索訓(xùn)練數(shù)據(jù)的構(gòu)造助手。 我會(huì)給你一段文檔內(nèi)容請(qǐng)你模擬真實(shí)用戶生成 5 個(gè)不同角度的檢索 Query。 要求 1. Query 必須是用戶會(huì)直接輸入的真實(shí)問法避免照抄原文措辭。 2. 至少包含 2 個(gè)口語化或短問法。 3. 不要生成與這段內(nèi)容語義偏差過大的問題。 4. 輸出格式為 JSON 數(shù)組每個(gè)元素是一個(gè)字符串。 文檔內(nèi)容 {chunk_text}對(duì)應(yīng)的 Python 調(diào)用示例import json import openai client openai.OpenAI( base_urlhttp://your-qwen3-server:8000/v1, api_keyEMPTY ) def generate_queries(chunk_text: str) - list[str]: prompt f你是知識(shí)庫檢索訓(xùn)練數(shù)據(jù)的構(gòu)造助手。 我會(huì)給你一段文檔內(nèi)容請(qǐng)你模擬真實(shí)用戶生成 5 個(gè)不同角度的檢索 Query。 要求 1. Query 必須是用戶會(huì)直接輸入的真實(shí)問法避免照抄原文措辭。 2. 至少包含 2 個(gè)口語化或短問法。 3. 不要生成與這段內(nèi)容語義偏差過大的問題。 4. 輸出格式為 JSON 數(shù)組每個(gè)元素是一個(gè)字符串。 文檔內(nèi)容 {chunk_text} resp client.chat.completions.create( modelqwen3, messages[{role: user, content: prompt}], temperature0.7, max_tokens512, ) content resp.choices[0].message.content content content.replace(json, ).replace(, ).strip() return json.loads(content)調(diào)用時(shí)需要注意真實(shí)用戶 Query 和文檔原文的措辭差異越大對(duì) Embedding 微調(diào)的收益越高。如果 Qwen3 生成的問題基本都是照抄文檔里的句子那訓(xùn)練數(shù)據(jù)對(duì)檢索沒有增量?jī)r(jià)值。3.3 構(gòu)造難負(fù)樣本從批量召回結(jié)果里篩選構(gòu)造難負(fù)樣本最實(shí)用的方法是“用當(dāng)前 Embedding 模型先跑一遍檢索然后讓 Qwen3 判斷相關(guān)性”。具體流程對(duì)每一條 Query用當(dāng)前線上 Embedding 模型從知識(shí)庫召回 top 20 個(gè)文檔片段。把這 20 個(gè)片段中相似度分?jǐn)?shù)較高、但在業(yè)務(wù)上不代表正確答案的片段挑出來。讓 Qwen3 逐條判斷“這個(gè)片段是否確實(shí)回答了 Query”給出 0 或 1 標(biāo)簽。標(biāo)簽為 0、但向量相似度靠前的片段作為難負(fù)樣本加入訓(xùn)練集。這個(gè)流程比隨機(jī)負(fù)樣本有效因?yàn)槟P汀板e(cuò)得最厲害”的地方正是它需要被糾正的地方。Prompt 示例請(qǐng)判斷下面的文檔片段能否回答用戶問題。只能回答 0 或 1。 用戶問題 {query} 文檔片段 {chunk_text} 能否回答批量處理時(shí)要注意并發(fā)限制和請(qǐng)求失敗重試。比如本地部署 Qwen3 時(shí)如果接口偶爾超時(shí)可以加上重試邏輯并把結(jié)果記錄到單獨(dú)的日志文件里方便后續(xù)排查數(shù)據(jù)質(zhì)量問題。3.4 數(shù)據(jù)清洗和人工抽驗(yàn)不要拿到 Qwen3 生成結(jié)果就直接訓(xùn)練。常見問題包括Query 和 positive 完全不匹配模型學(xué)不到有效信號(hào)negative 實(shí)際上也回答了 Query造成標(biāo)簽噪聲多條 Query 完全重復(fù)導(dǎo)致模型過擬合到某一種表達(dá)文檔片段過長(zhǎng)或過短超過模型 max_len 限制訓(xùn)練時(shí)被截?cái)?。建議先做一輪自動(dòng)化清洗腳本def filter_sample(sample, min_len10, max_len512): q_len len(sample[query]) p_len len(sample[positive]) if q_len min_len or p_len min_len: return False if p_len max_len * 3: return False if sample[query] in sample[positive]: return False return True然后抽出 5% 到 10% 的樣本人工判斷標(biāo)簽是否合理。如果人工抽驗(yàn)的準(zhǔn)確率低于 90%建議重新調(diào)整 Qwen3 的 Prompt而不是直接擴(kuò)大數(shù)據(jù)量。數(shù)據(jù)規(guī)模上Embedding 微調(diào)的最小有效集通常在幾千條左右。先保證 2000 到 5000 條高質(zhì)量樣本比一次生成 5 萬條低質(zhì)量樣本更有效。4. 選擇開源 Embedding 模型和訓(xùn)練環(huán)境4.1 可微調(diào)的 Embedding 模型選型不是所有 Embedding 模型都適合微調(diào)。使用云廠商 API 的 Embedding 模型通常不開放權(quán)重只能通過官方接口調(diào)用無法針對(duì)業(yè)務(wù)數(shù)據(jù)做訓(xùn)練。要微調(diào)必須選擇開源權(quán)重模型。常見可選模型如下模型特點(diǎn)適合場(chǎng)景注意點(diǎn)BGE-M3支持多語言、長(zhǎng)文本、多粒度檢索中英文混合知識(shí)庫、長(zhǎng)文檔 RAG參數(shù)較多訓(xùn)練顯存相對(duì)高bge-large-zh中文效果穩(wěn)定社區(qū)資料多中文業(yè)務(wù)知識(shí)庫需注意 query 指令前綴bge-base-zh參數(shù)少訓(xùn)練快數(shù)據(jù)量不大、端側(cè)場(chǎng)景效果上限低于 largeGTE 系列部分模型支持中英和多任務(wù)需要統(tǒng)一向量模型的場(chǎng)景需確認(rèn)授權(quán)和版本M3E中文效果不錯(cuò)部署簡(jiǎn)單中文知識(shí)庫快速驗(yàn)證遇到復(fù)雜語義邊界時(shí)可能要換模型推薦第一次做 Embedding 微調(diào)時(shí)選擇 BGE 系列或 BGE-M3。它們有兩個(gè)優(yōu)勢(shì)一是社區(qū)案例多排錯(cuò)資料容易找二是官方模型通常配套了推薦的指令格式訓(xùn)練和推理時(shí)不容易踩配置坑。另外要確認(rèn)模型版本。不同版本的 Embedding 模型輸出維度不同如果后續(xù)要遷移已經(jīng)建好的向量庫需要特別注意維度是否能對(duì)上。4.2 訓(xùn)練框架和依賴準(zhǔn)備Embedding 微調(diào)可以用三種方式實(shí)現(xiàn)sentence-transformers 庫適合快速跑通最小實(shí)驗(yàn)FlagEmbedding 庫BGE 官方微調(diào)工具適合深度定制和難負(fù)樣本訓(xùn)練直接用 transformers 自定義 loss適合徹底控制訓(xùn)練流程。為了快速跑通推薦先用 sentence-transformers。安裝命令pip install -U sentence-transformers pip install torch --index-url https://download.pytorch.org/whl/cu121如果要用 FlagEmbedding還需要額外安裝依賴。實(shí)際項(xiàng)目里要注意 PyTorch、CUDA、transformers 之間的版本兼容不要照抄教程里的版本號(hào)先在當(dāng)前環(huán)境驗(yàn)證一次。4.3 訓(xùn)練超參數(shù)和顯存控制Embedding 模型的參數(shù)量比 Qwen3 這類生成模型小很多訓(xùn)練門檻相對(duì)低。但“全參訓(xùn)練”和“LoRA 微調(diào)”的顯存差別仍然明顯。參數(shù)含義常見取值范圍設(shè)置建議learning_rate學(xué)習(xí)率2e-5 到 5e-5數(shù)據(jù)量小就偏低避免災(zāi)難性遺忘batch_size每個(gè) batch 的 Query 數(shù)量16 到 64顯存不足時(shí)優(yōu)先減小 batch_sizemax_len文本最大長(zhǎng)度256 到 1024根據(jù)知識(shí)庫 chunk 長(zhǎng)度設(shè)置num_epochs訓(xùn)練輪數(shù)1 到 5優(yōu)先 2 輪過擬合很容易warmup_ratio預(yù)熱比例0.05 到 0.1穩(wěn)定訓(xùn)練初期 loss全參微調(diào)對(duì) Embedding 模型來說通??尚械绻阒挥幸粋€(gè) 24G 顯存的 GPU又想訓(xùn)練 BGE-M3 這類大模型建議用 LoRA。sentence-transformers 已經(jīng)支持通過 PEFT 給 Embedding 模型加 LoRA 適配器訓(xùn)練時(shí)先凍結(jié)主干參數(shù)只訓(xùn)練低秩矩陣顯存占用會(huì)明顯下降。5. 微調(diào)訓(xùn)練實(shí)戰(zhàn)用對(duì)比學(xué)習(xí)跑通最小案例5.1 用 sentence-transformers 訓(xùn)練 MultipleNegativesRankingLoss這里以一個(gè)最小可運(yùn)行腳本為例。假設(shè)訓(xùn)練數(shù)據(jù)文件是train.jsonl每條數(shù)據(jù)包含query、positive、negatives三個(gè)字段。import json from sentence_transformers import SentenceTransformer, models, losses, InputExample from torch.utils.data import DataLoader from sentence_transformers.datasets import SentenceLabelDataset base_model BAAI/bge-base-zh-v1.5 word_embedding_model models.Transformer(base_model, max_seq_length512) pooling_model models.Pooling( word_embedding_model.get_word_embedding_dimension(), pooling_mode_cls_tokenTrue, pooling_mode_mean_tokensFalse, pooling_mode_max_tokensFalse, ) model SentenceTransformer(modules[word_embedding_model, pooling_model]) examples [] with open(train.jsonl, encodingutf-8) as f: for line in f: item json.loads(line) texts [item[query], item[positive]] item.get(negatives, []) examples.append(InputExample(textstexts)) train_dataloader DataLoader(examples, shuffleTrue, batch_size32) train_loss losses.MultipleNegativesRankingLoss(model) model.fit( train_objectives[(train_dataloader, train_loss)], epochs2, warmup_steps100, output_path./embedding_model_finetuned, save_best_modelTrue, )這段代碼的核心是MultipleNegativesRankingLoss。每個(gè) InputExample 的第一條文本會(huì)被當(dāng)成 Query第二條是正樣本后面的所有文本是負(fù)樣本。損失函數(shù)會(huì)盡量提高 Query 和正樣本的相似度同時(shí)降低它和負(fù)樣本的相似度。需要注意這里沒有給 Query 加指令前綴。如果模型是 BGE 系列官方推薦的推理方式是給 Query 加指令但訓(xùn)練時(shí)是否加指令取決于數(shù)據(jù)構(gòu)造方式。推薦做法是保持訓(xùn)練和推理一致在訓(xùn)練腳本里統(tǒng)一處理。5.2 使用 FlagEmbedding 訓(xùn)練 BGE-M3 的另一種方式如果選擇 BGE-M3FlagEmbedding 提供了更直接的訓(xùn)練接口。示例代碼from FlagEmbedding import FlagModel model FlagModel( BAAI/bge-m3, query_instruction_for_retrieval為這個(gè)句子生成表示以用于檢索相關(guān)文章, use_fp16True )FlagEmbedding 完整訓(xùn)練腳本一般包含數(shù)據(jù)加載、損失計(jì)算、評(píng)估三個(gè)模塊。由于版本差異較大建議直接參考官方倉庫的examples/finetune/embedder目錄里面提供了帶難負(fù)樣本的訓(xùn)練入口。這里不推薦把別人的訓(xùn)練命令原樣復(fù)制到生產(chǎn)環(huán)境。必須先確認(rèn)自己的模型名、數(shù)據(jù)格式、指令前綴和輸出維度再運(yùn)行訓(xùn)練。5.3 訓(xùn)練日志怎么判斷是否正常訓(xùn)練時(shí)主要觀察兩個(gè)信號(hào)。第一loss 是否在下降。MultipleNegativesRankingLoss最開始時(shí)通常會(huì)在 4 到 6 這個(gè)區(qū)間訓(xùn)練一段時(shí)間后降到 1 以下。如果 loss 一直不降或者出現(xiàn) NaN優(yōu)先檢查數(shù)據(jù)里是否有超長(zhǎng)文本、空文本以及學(xué)習(xí)率是否設(shè)置過高。第二離線檢索效果是否提升。loss 下降不代表檢索效果一定變好。建議在訓(xùn)練腳本里加入一個(gè)小型 eval 集每次 checkpoint 后計(jì)算 Recall10。如果 loss 下降但 Recall 不漲可能負(fù)樣本太簡(jiǎn)單或數(shù)據(jù)噪聲太多。訓(xùn)練輸出的目錄里會(huì)保存模型權(quán)重和 tokenizer。加載微調(diào)后模型時(shí)要用同一個(gè)目錄不能混用原版模型和微調(diào)權(quán)重。from sentence_transformers import SentenceTransformer model SentenceTransformer(./embedding_model_finetuned) emb model.encode(發(fā)票沖紅后還能抵扣嗎, normalize_embeddingsTrue)6. 把微調(diào)后的 Embedding 接回 RAG 檢索鏈路6.1 全量重建向量庫這一步不能省微調(diào)后的模型和舊 Embedding 模型生成的向量分布不一致兩者不能在同一個(gè)向量索引里混用。上線前必須全量重建知識(shí)庫向量不能用“只對(duì)新增文檔生成向量”的方式做增量替換否則新舊向量之間距離比較沒有意義。重建流程從知識(shí)庫導(dǎo)出所有 chunk。用微調(diào)后的 Embedding 模型批量生成向量。將向量寫入新的 Collection 或新的向量索引。線上檢索流量切到新索引。保留舊索引至少一個(gè)版本便于回滾。批量生成向量時(shí)可以控制 batch size避免 GPU 顯存溢出from sentence_transformers import SentenceTransformer model SentenceTransformer(./embedding_model_finetuned) chunks [...] # 所有知識(shí)庫 chunk batch [] embeddings [] for chunk in chunks: batch.append(chunk) if len(batch) 64: vecs model.encode(batch, normalize_embeddingsTrue) embeddings.extend(vecs) batch [] if batch: vecs model.encode(batch, normalize_embeddingsTrue) embeddings.extend(vecs)6.2 寫入 Milvus 或本地 Faiss 索引以 Milvus 為例需要先創(chuàng)建 Collection并指定向量維度。BGE-M3 的維度是 1024bge-base-zh 是 768具體以模型輸出為準(zhǔn)。from pymilvus import ( connections, CollectionSchema, FieldSchema, DataType, Collection ) connections.connect(host127.0.0.1, port19530) fields [ FieldSchema(nameid, dtypeDataType.INT64, is_primaryTrue), FieldSchema(nametext, dtypeDataType.VARCHAR, max_length8192), FieldSchema(namevector, dtypeDataType.FLOAT_VECTOR, dim1024), ] schema CollectionSchema(fields) collection Collection(qa_knowledge_new, schema) data [ list(range(len(chunks))), chunks, embeddings, ] collection.insert(data) collection.create_index(vector, {index_type: IVF_FLAT, metric_type: IP, params: {nlist: 1024}})檢索時(shí)要用同一種向量計(jì)算方式query_vec model.encode([query], normalize_embeddingsTrue)[0] result collection.search( data[query_vec.tolist()], anns_fieldvector, param{metric_type: IP, params: {nprobe: 16}}, limit20, output_fields[text], )6.3 在 LlamaIndex 中接入自定義 Embedding 模型如果用 LlamaIndex 搭 RAG接入自定義模型非常簡(jiǎn)單from llama_index.core import Settings from llama_index.embeddings.huggingface import HuggingFaceEmbedding Settings.embed_model HuggingFaceEmbedding( model_name./embedding_model_finetuned, embed_batch_size64, )設(shè)置好后文檔索引和 Query 檢索都會(huì)使用同一個(gè)embed_model。這一步最容易踩的坑是索引文檔時(shí)用了微調(diào)后模型但 Query 檢索時(shí)誤用了默認(rèn)模型導(dǎo)致查詢向量和文檔向量不在同一空間。6.4 不要丟掉 Rerank 環(huán)節(jié)微調(diào) Embedding 能提高“正確文檔是否能進(jìn) top 20”的概率但不保證正確文檔一定排在第一位。生產(chǎn)級(jí) RAG 仍然應(yīng)該在向量召回后加一個(gè) Rerank 模型對(duì)召回結(jié)果做精排序。推薦鏈路是Query - 向量召回 top50 - Rerank 精排 top5 - LLM 生成Embedding 微調(diào)和 Rerank 不是二選一。前者負(fù)責(zé)提高召回上限后者負(fù)責(zé)提高排序精度。兩者結(jié)合效果通常比只做其中一項(xiàng)更穩(wěn)定。7. 效果評(píng)估與常見問題排查7.1 構(gòu)造最小離線評(píng)估集評(píng)估集不需要很大但需要覆蓋真實(shí)用戶 Query。建議準(zhǔn)備 200 到 500 條真實(shí)或近似真實(shí)的 Query并為每條 Query 標(biāo)注 1 到 3 個(gè)正確文檔。常用指標(biāo)指標(biāo)說明計(jì)算方式RecallK正確文檔是否出現(xiàn)在前 K 條結(jié)果里命中數(shù) / 總 Query 數(shù)MRR第一個(gè)正確結(jié)果所在排名的倒數(shù)按排名取倒數(shù)后求平均Hit Rate1第一條結(jié)果是否就是正確答案命中數(shù) / 總 Query 數(shù)評(píng)估的時(shí)候要把微調(diào)前和微調(diào)后的模型分別跑同一批評(píng)估集保留結(jié)果。不要只憑“感覺變準(zhǔn)了”就上線。7.2 微調(diào)后常見的失敗模式問題現(xiàn)象可能原因排查方式處理建議loss 下降但 Recall 不漲難負(fù)樣本太少或太簡(jiǎn)單檢查訓(xùn)練數(shù)據(jù)中每條 Query 的負(fù)樣本數(shù)量增加難負(fù)樣本構(gòu)造邏輯上線后效果反而變差向量庫未全量重建確認(rèn)新舊向量是否混用全量重建并校驗(yàn)向量維度訓(xùn)練時(shí)顯存不足batch_size 或 max_len 過大查看 GPU 顯存占用降低 batch_size改用 LoRA檢索時(shí) Query 結(jié)果不對(duì)推理時(shí)和訓(xùn)練時(shí)指令前綴不一致對(duì)比訓(xùn)練和推理代碼統(tǒng)一指令前綴和預(yù)處理邏輯負(fù)樣本實(shí)際也是正確答案Qwen3 相關(guān)判斷不準(zhǔn)人工抽驗(yàn)負(fù)樣本標(biāo)簽調(diào)整 Qwen3 打分 Prompt 或加入人工復(fù)核微調(diào)后通用能力下降訓(xùn)練數(shù)據(jù)過于單一觀察泛化指標(biāo)混入一定比例通用檢索數(shù)據(jù)7.3 上線前回歸清單上線前建議按下面清單逐項(xiàng)檢查[ ] 訓(xùn)練數(shù)據(jù)和評(píng)估集是否分開評(píng)估集里沒有出現(xiàn)訓(xùn)練數(shù)據(jù)[ ] Qwen3 生成的 Query 是否覆蓋了真實(shí)用戶高頻問法[ ] 負(fù)樣本是否包含至少一部分“向量相似但語義無關(guān)”的難負(fù)樣本[ ] 訓(xùn)練腳本中 query 指令和推理腳本中 query 指令是否一致[ ] 微調(diào)后模型輸出維度是否和原始模型一致[ ] 向量庫是否全量重建舊索引是否可回滾[ ] 離線評(píng)估指標(biāo)是否記錄并對(duì)比過基線[ ] 是否保留了原 Embedding 模型和原向量索引方便快速回滾。8. 生產(chǎn)環(huán)境落地建議微調(diào)不是唯一的優(yōu)化手段8.1 建議的優(yōu)化順序在團(tuán)隊(duì)資源有限的情況下RAG 優(yōu)化順序可以按下面排列先治理知識(shí)庫切塊和元數(shù)據(jù)加入 Query 改寫解決用戶口語化和指代不清引入 Rerank 模型把 top50 變 top5收集真實(shí) badcase分析檢索失敗原因再用 Qwen3 構(gòu)造數(shù)據(jù)微調(diào) Embedding 模型。這套順序的核心是先用成本低、見效快的手段把明顯問題解決掉再通過微調(diào)處理更深層的語義匹配問題。如果一開始就啟動(dòng) Embedding 微調(diào)很容易把切塊錯(cuò)誤、元數(shù)據(jù)缺失的問題也歸因到模型上導(dǎo)致訓(xùn)練數(shù)據(jù)很臟最終效果也不穩(wěn)定。8.2 建立數(shù)據(jù)回流和定期重訓(xùn)機(jī)制Embedding 微調(diào)不是一次性的。業(yè)務(wù)新名詞不斷出現(xiàn)用戶提問方式也在變化訓(xùn)練數(shù)據(jù)需要持續(xù)更新。生產(chǎn)環(huán)境可以設(shè)計(jì)一個(gè)小閉環(huán)從線上日志采集“低分但用戶點(diǎn)擊/反饋有用的 Query”把用戶反饋和 badcase 匯總到標(biāo)注隊(duì)列每?jī)芍芑蛎吭掠?Qwen3 補(bǔ)充新 Query 和新難負(fù)樣本重新訓(xùn)練 Embedding 模型并跑離線評(píng)估評(píng)估通過后全量重建向量庫并灰度上線。這里的難點(diǎn)是“自動(dòng)判斷用戶是否滿意”。如果沒有顯式反饋可以用業(yè)務(wù)指標(biāo)兜底例如搜索無結(jié)果率、同一會(huì)話的再提問次數(shù)等。8.3 成本控制和 LoRA 選擇Embedding 模型訓(xùn)練成本通常遠(yuǎn)低于生成模型。但如果知識(shí)庫很大向量重建的推理成本會(huì)比訓(xùn)練成本更高。因此訓(xùn)練前要預(yù)估 GPU 總時(shí)長(zhǎng)訓(xùn)練后做一次“向量重建成本”評(píng)估。LoRA 微調(diào)在 Embedding 模型上的收益沒有大語言模型那么夸張因?yàn)?Embedding 模型的參數(shù)量本來就小。但對(duì)于 BGE-M3 這類 5 億參數(shù)以上的模型LoRA 仍然是顯存不足時(shí)的首選。選擇 LoRA 時(shí)要關(guān)注訓(xùn)練后是否能導(dǎo)出合并權(quán)重避免推理時(shí)額外依賴適配器加載邏輯。8.4 再往前走Rerank、Agentic RAG 和圖譜增強(qiáng)Embedding 微調(diào)只是 RAG 優(yōu)化的一個(gè)環(huán)節(jié)。當(dāng)檢索召回率已經(jīng)穩(wěn)定可以考慮下一步用領(lǐng)域數(shù)據(jù)微調(diào)一個(gè)小的 Rerank 模型替代通用 Rerank引入 Agentic RAG讓模型根據(jù)用戶意圖主動(dòng)選擇多路檢索在知識(shí)庫中補(bǔ)充實(shí)體關(guān)系圖譜處理“實(shí)體關(guān)系型問題”對(duì)多輪對(duì)話場(chǎng)景增加 Query 改寫和歷史上下文壓縮。這些方向都需要先有“穩(wěn)定可評(píng)估的檢索鏈路”作為基座。Embedding 微調(diào)的真正價(jià)值是讓基座更貼近業(yè)務(wù)而不是替代其他優(yōu)化模塊。最后給新手的練習(xí)建議不要一上來就微調(diào)一個(gè)大模型先用一個(gè)小型中文知識(shí)庫構(gòu)造 2000 條數(shù)據(jù)微調(diào) bge-base-zh并在 Milvus 里對(duì)比微調(diào)前后 Recall10。這個(gè)閉環(huán)跑通后再逐步加深對(duì)難負(fù)樣本、LoRA、Rerank 和數(shù)據(jù)回流的理解會(huì)比直接堆模塊更有效。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
无码 色| 99爱爱| 黄色99视频| 97人人草| 91色五月| 六月丁AV| 天天色综和网| 久久久久久久久久久久久久久久久精典| 五月天com| 大香蕉久久伊人婷婷五月丁香| 亚洲亚洲人成综合网络| 色婷丁香| 久草热在线视频| 久热超碰| 久久人视频| 99自拍视频网站| 九九久久这里只有精品XB| 国产综合网在线| 亚洲不卡欧洲| 9一精品视频观看| 欧美日韩成人一区二区| 色5月婷婷| 91超碰人人操| 青青草婷婷久久| 色色免费网站| 俺去也综合| 亚洲色婷婷婷婷人人爽| 狠狠操综合| 丁香五夜激情四射夜夜夜| 丁香婷婷基地| enecarbon-materials.com污K127封锁请涟系@wip1688 | 51成人| 久久五月婷综合| 日本色色图| 五月激情婷婷女| 婷色人人狠| 男人天堂AV在线一区二区| 成人综合网站| 亚洲妇女熟BBW| 日韩一级片| 五月六月激情| 99色免费视频| 开心五激情网| 婷婷狠狠五月综合| 国产热精品| 久久丁香五月婷婷| 色天使色婷婷| 91精品久| av操一操| 超碰猛烈的性猛交| 91狠狠色丁香| 婷婷的99视频网站| 二色AV| 久久综合色五月| 色九九中文字幕| 久久性爱视频| 久草热8精品视频在线观看| 久操热| 婷婷久久五月天| 亚洲国产va| 久久婷婷欧美| 婷婷丁香在线播放| 色色色色av色色色色| 久色网五月| 99在线免费视| 热99re| 色视五月天婷婷| 激情五月天久久丁香| 五月婷婷欧美| 人妻久久做| 一区二区三区视频| 五月亭亭六月色| 亚洲综合字幕色色| 五月丁激情| 色婷婷色久综| 九九热99精品在线| 婷婷五点亚洲| 9有码中文| 欧美国产一区二区三区| 美女网黄| 亚洲九九夜夜| 狠狠久久婷五月综合色| 操婷婷久久| 永久热91| 婷婷丁香色五月亚洲| 成人五月天婷婷| www久久久| 亚洲午夜AV| 人妻自慰在线| 五月天综合在线观看| 亚洲婷婷欧美婷婷| 三级黄网站| 色综合天天综合成人网| 怡红院AV亚洲一区二区三区H| .精品久久久麻豆国产精品| 欧洲第一无人区观看| 人与禽A片啪啪| 国产做爰视频免费播放| 婷婷五月六月丁香| 开心 五月 综合| 丁香五月AV综合激情| 天天色综合网吨吧| 九久9精品| 欧美日韩99| 碰97 久| 丁香婷婷五月色综合| 丁香五月天大香蕉啪啪| 五月天堂色| 91婷婷丁香| 桃色Av色哟哟| 亚洲视频色婷婷| 婷婷综合五月天| 亚洲熟妇无码乱子AV电影| 91 九色 熟女| 精品9l九九九九九77777| 婷婷五月丁香基| 色婷婷AⅤ| 怡红院 久久| 激情影院免费视频婷婷五月天| 99热这里只有精品69| 久久免费婷婷视频| 97久久久| www99久久| 亚洲看av的网站| 婷婷五月天激情在线| www.国产色| 丁香色色色| 荡乳尤物3HP1V5| 99精品国产在热久久| 色狠狠婷婷| 久久婷丁香五月| 99热99网| 自拍偷窥99热| 综合激情sV| 久久五月天婷婷视频| 另类综合网| 另类在线| 一级内射毛片| 99r久久这里只有精品| 色五月综合激情| 色区久久| 超级黄色片| 色色婷婷丁香五月天| 色五月婷婷激情综合网| 天天综合网91| 五月丁香毛片| 五月天婷婷激情在线色图| 日韩高清成人| 激情图片99| 9久热这里只有精品视频| 99在线精品视频| 国产精品人人做人人爽人人添 | 9999久久久久| 精品九九网| 五月激激网w'w'w| 婷婷久久五月天丁香| 操操操97| 69午夜成人影片| 激情综合色| 久久综合最新网址| 丁香五月老师| 国产精品久久久久久喷浆| 91九色国产| 天天天天天天操| 精品无码久久久久久久久| 在线成人国产| 激情五月天激情五月天| 一区二区你懂的| 精品网站99| 91色色色18| 日本久久激情| 99久久er| 日本97人人| 色综合色综合婷婷热| 婷婷涩涩五月天| 思思干精品| 五月六月激情婷婷| 日韩AV中文在线观看| 亚洲AV另类| 色欲AV导航| 国产在线aaa片一区二区99| 九九精品热| 午夜亚洲国产精品av一区二区| 影音先锋秋秋五月婷婷| 成人网丁香五月| 五月丁香啪啪| 丁香五月婷婷狠狠色| 99热国内精品| 色五月色五天色情网| 5月丁香婷婷激情网| 亚韩精品视频1区| 色久免费| 色婷综合| 五月色婷婷影院| 免费在线a| 五月丁香人妻| 久婷婷色| 99色亚洲| 天天色爽| 色九月丁香婷婷蜜桃在线观看| 五月婷婷免费| 久久九九思思| 九九热最新| 光棍影院日韩精品| 婷婷色综合av| 狠狠爱综合网| 日韩丰满少妇无码内射| 都市激情五月婷婷亚洲| 久久与婷婷| 色热久| 黄色AV日韩| 九九这里是免费的视频5| 色婷婷丁香综合中文字幕| 999久久久国产精品| 五月激情婷婷四射| 337p大胆噜噜噜噜噜91Av| 久色网| 色噜噜婷婷| 狠狠操.COM| 97色射| 色色网五月激情| 婷婷丁香www视频日本韩国| 婷婷丁香五月亚洲| 热99国产精品| 丁香六月婷婷操逼网| 五月天婷婷综合免费| 骚五月婷婷| 久热99| 情情五月天色| 九九综合色综合| 99热一区| 天天插综合| 永久免费一区二区三区| 欧美交换配乱吟粗大25P| 激情综合五月色丁香婷婷 | A久网| 婷婷久久性爱| 丁香五月花婷婷开心| 国色天香伊人狠狠色| 亚洲午夜一区二区| 色婷婷在线视频久| 九九青草热| 99热婷婷| 逼里香不卡| 六月婷婷色综合| 九九aV| AV五月丁香| 九月丁香八月婷婷久久综合久97| 色五月激情网| 97婷婷狠狠| 99热99热在线观看| 欧美日韩成人免费在线| 丁香久久激情俄| 色婷婷电影网| 丁香五月开心亚洲| 婷婷五月激情视频| 五月丁香六月婷婷综合网| 亚洲AV永久无码影院黑人| 91人妻PORNY九色大屁股| 亚洲无码成人性爰网| 怡红院成人AV| 搡BBBB搡BBB搡五十| 丁香六月婷婷色XXXXX| 五月婷婷激情刺激| 99超级碰碰| 日本视频不卡123区| 天天日本夜夜谢| 五月天婷婷三级黄| 热99精品视频五月| 亚洲蜜乳AV| 婷婷五月天av| 99免费在线| 五月天六月婷婷| 婷婷六月综合在线| 色色是色N一| 国产色99| 婷婷性爱综合| 日本三级片片| 超级久久久| 中文字幕欧美日韩VA免费视频| 九九人人精品| 中文久久婷婷| 99综合色| 婷婷五月丁香伊人| 婷婷五月情天| 色播五月婷婷五月| 丁香成人色情五月天| 五月婷婷综合激情| 精品国产va久| 丁香五月狠狠综合欧美| 久久狠色噜噜狠狠狠狠97| 无码区婷婷五月花开| 亚洲视频在线网| 狠狠婷婷色| 欧美S码亚洲码精品M码| AA片在线观看视频在线播放| 精品国产一区二区三区四区阿崩 | 日本精品99| 五月婷婷精品| 97碰在线免费观看| 成人婷婷| 丁香综合网| 精品亚洲国产成AV人片传媒 | 五月婷婷开心爱| 久热精品视频在线观| 色你久久| 成人AV在线电影| 丁香五月婷婷啪| 99热综合在线| 99re热视频这里只有综合亚洲| 97人人看| 99亚色色色| 婷婷久久综合| 国产色色网址网站| 色婷婷综合五月| 插插干干干色| www.久久av.com| 婷婷精品性视频| 99热在线精品观看| 精品99在线观看| 色婷婷超碰| 在线观看欧美| 久操婷婷| 丁香五月婷婷国产在线| 97日在线视频| site:pzdcoin.com| 天天天操天天天爰| 99久久免费精品| 久热网站| 激情综合五月天| a网站免费观看| 综合色色色| 五月天开心网| 97sese婷婷| 91无码高清| 另类激情综合| www.av视频xx999.com| 狠狠擼综合| 日日操,天天操| 色情综合网| 日韩aaaaa| 最新色色五月天| 久操婷婷| 99久久高清视频| 婷婷久久综| 永久思思热在线| 丁香五月激情月| 五月天婷婷在线AN| 思思热在线精品视频| 亚洲va综合va国产va中文| 色婷婷在线电影| 五月久久网| 五月婷婷开心深| 色丁香五月婷婷在线| 99爱爱网| 日本黄色一级| 欧美日韩123| 九九热10| 久久免费操| 免费观看18视频网站| 超碰自拍天堂| 天天天久久久| 久久久久久人妻| 久99热| 九 九九九AV| 性爱网五月天| 九九综合久久| 99这里有精品视频| 日熟女| 亚洲开心激情网| 六月婷婷综合| 色欲色欲久久宗合网| 色五月婷婷在线| 久久久久亚洲A∨成人乱码电影| 天天视频亚洲| 九九热精品| 色综合香蕉视频| 丁香五月自拍| 婷色五月天| 久久97久久99久久综合欧美| 色婷婷电影| 婷婷丁香五月综合激情视频| 色噜噜狠狠色综无码久久合欧美| 丁香五月婷婷Av| 操逼123网| 91综合国免费久入| 久久精品女人天堂AAA| 五月香蕉综合| 丁香五月天啪啪| 狠狠色狠狠色综合日日91| VA婷婷| 五月丁香六月婷婷欧美综合| 中国操逼99| 99久久网站| 婷婷综合激情| 七七久久综合| 99黄色| 另类小说色婷婷| 久久精品夜色噜噜亚洲a∨| 五月天精品综合在线| 亚洲人人操| 婷婷内射视频在线| 色五月婷婷91| 色婷成人狠干| 99成人免费热视频| 色噜噜狠狠狠狠色综合久欧美| 丁香婷婷精品视频| 久操97| 停停六月 综合| 激情五月婷在线精品| 五月丁香影院| 六月综和久久| 午夜性做爰电影| 91久久久久久| 久久a热| 香蕉综合在线| 亚洲无码11| 激情九九六月激情免费视频| 激情综合五月开心狠狠| 久xxxx| 天天激情站| 色九九九综合| 丁香五月婷婷在线观看| 成人一区在线观看| 中文字幕激情综合| 五月丁香另类图片| 26uuu欧美日韩| 99热精品观看| 97色婷婷成人综合在线观看| 五月婷婷天| 久久精品婷婷| 九九这里有精品| 99小视频在线| 99热在线看| 俺也去在线久久精品23欧美综合视频网站,丰满人妻一区二区三区在线视频53,丰满 | 久久99热这里只有精品23| 九九热在线精品视频| 色情五月综合婷婷| 九色婷婷| 五月天开心激情网色欲无码| 香蕉AV777XXX色综合一区| 美女100%露全身无挡网站| 欧美色图片88| 色婷婷狠狠18| 色一情一乱一乱一区91| 网站免费一站二站| 99精品久久久久久久婷婷久久| 91在线操逼视频| 性天天中文网| 久久丁香五月| 色综合色| 日韩ww| 常久最新免费的色吊丝| 国产免费一区二区三州老师F1F1……| 久久综合婷婷五月| 99热99在线| 中文中文在线| 色色亚洲五月天| 综合99视频| 婷婷丁香久久| 久久草婷婷丁香网站| 色婷婷精品视频在线播放| 五月天激情国产综合婷婷| 久超超碰| 欧洲电影在线观看免费版英语版| 欧美va在线| 日本WWW九九九| 99热亚洲精品| 天天橾日日橾夜夜橾17| 91好好热日本在线| 99在线精品观看99| 九九热99热| 丁香色色色| 国产精品99久久久久久久女警| 日日爽天天| 玖玖婷婷五月| 黄色中文字目| 99精品国产热久久91色欲| 五月丁香亭亭成人电影| 91九色中文| 婷婷色中文字幕| 久久综合激情婷婷激情| 91chinese在线| 五月婷婷无码| 九九综合| 婷婷色色网| 激情五月天啪啪| 农村熟妇高潮精品A片| 婷婷狠狠干| 狠狠干,狠狠操| 色色亚卅| 婷婷五月成人| 性爱五月婷婷| 日本少妇裸体做爰高潮片 | 97天堂| 182无码| 九九综合久久| 色偷偷综合| 五月天婷婷在看| 久久99精品日本| 久久精品国产AV一区二区三区 | 1024操逼视频| 国产资源91在线| 91九色在线| www狠狠爱com| 成人中文网| 欧美精品999| 黄色激情五月天| Av性爱网站| 久久婷婷六月综合综合| 色五月婷婷在线观看第一页舔| 欧美97色| 久久久无码精品成人A片小说 | 婷婷五月天色| 97人妻碰碰碰久久香蕉| 久久全色| 超碰无码老师| 五月天综合在线网| 99激情视频| 色色色99| 综合网啪啪| 97婷婷五月| 五月丁香激情综合欧美| 激情丁香久久| 超碰成人电影| 99热综合色图| 日本人妻操| 操操综合网婷婷| 五月丁香婷婷色| 99ri国产| 99亚洲天堂| 操97免费超级视频| 色香久久| 国产精品爽爽久久久久久| 五月丁香无码| 五月婷护士| 婷婷导航| 欧美人与性动交CCOO| 玖玖资源在线视频| 九久9精品| 色九亚洲| 97AV在线视频| 亚洲视频99| 色婷婷久久综合| www.色九月| 综合色激情| 26uuu另类| 亚洲精品久久久久久久久久吃药| 国产五月婷| 婷婷激情五月综合基地| 99热这里只有精品一| 影音先锋 91工厂| 激情欧美婷五月| 色婷婷精品小视频| 狠狠操狠狠狠| 国产日韩亚洲欧美在线观看| www.99成人视频| 深情五月天| 激情综合自拍五月婷婷色五月| 综合激情五月丁香| 99国产精品久久久久久久久久久| 色播五月网| 99在线精品观看99| 五月激情影院| 黄色片久久| 色情婷婷久久五月天| 日韩 mm 不卡| 综合色五月| 久久五月天激情美女| 天天操夜夜啊| 人妻尝试久久久久久久久久久久| 丁香五月播播| 黄网免费观看| 五月天婷婷成人网| 丁香五月停停av| 吾爱AV导航| 国产精品视频| 日本本土色网第一区| 六月丁香深深爱| 色婷婷五月天不卡| 五月丁香六月天| 亚洲黄色影视| 成人做爰A片免费看视频| 久在线88综合| 五月激情小说| www.99视频| 北京熟妇搡BBBB搡BBBB| WWW色色色COM| 国产操B视频| 夜夜人妻五月天| 五月婷婷丁香综合| 色情久久久| 六月婷婷综合| 微拍92| 久久大香蕉同僚| 婷婷欧美色| 欧美啄木乌丝袜人妻系列| 99精品视频在线观看| 五月天婷婷久久视频| 亚洲V国产V欧美V久久久久久| 99在线小视频| 六月丁香成人| 色色色无码| 激情五月天婷婷五月天| 亚洲综合色婷婷文学| 色婷婷六月天| 五月丁香狠狠| 欧美成人A片AAA片在线播放| 久久小说网| www.日本91| 欧美天天干五月丁香| 亚洲情欲| 一点色成人网| 一级性感黄色内射视频| 我要射综合| 久久久久9| chaopeng在线人人| 啪啪色激情五月天| 可以看的av网站| 亚洲精品成人| 婷婷九月狠狠色| 色婷婷在线视频久| 色欲丁香| 9色在线视频精品观看| 色八月婷婷| www.色婷婷.com| 人妻体体内射精一区二区| 超碰人人91| 九九机热| 欧美成人猛片AAAAAAA| 97视频.干com| 婷婷涩涩五月天| 熟妇无码乱子成人精品| 五月婷婷啪啪啪| 日韩成人电影Av| 五月婷婷伦理| 婷婷激情综合| 亚洲精品网址| 乱轮A片| 久久五月丁香| 日本久久99久久| 五月天社区狠狠| 色一情一乱一伦一区二区三区| 色久女| 99久久五月婷婷| 久久五月婷综合| 激情五月天啪啪视频| 久9热在线视频| 精品一区二区三区三区| 五月婷婷综合潮喷| 九七色色六月丁香| 五月天自拍网| 专区无日本视频高清8| 99超级碰免费视频| 色婷婷大香蕉| 一区二区乱码视频| 99色视频| 天天色综| 激情综合五月婷婷| 欧美啪啪网| 激情婷婷啪啪| 亚洲啪啪自拍| 夜夜操天天爽| 婷婷激情97| 99这里是精品| 丁香五月停停av| 激情5月天天天| 精品香蕉99久久久久网站 | 五月婷成人| 97人人干人人操| 成人电影在线免费试看| 大香蕉99| 超碰亚洲天堂| 色五月婷婷在线| 五月天婷婷激情网| 久久曰曰| 深爱激情网婷婷| 欧美性猛交 XXXX 乱大交| 激情四射五月天| 欧美成人无码一区二区三区| 丁香五月影院| 五月天a婷婷伊人| 337p大胆噜噜噜噜噜91Av| 五月六月丁香激情视频| 国产SUV精品一区二区6| 深爱激情网噜噜色| 91seAV| 久久丁香五月天| 秋霞日本免费毛片A片| 99热在线精品播放| 丁香五月,开心五月,成人婷婷| 久久九九色| 99re在线观看视频| 大香焦啪啪啪| 欧美成人色婷婷| 色婷婷久久7777| 九九热最新| 97超碰人人操| 99久久久99久久91熟女| 五月丁香六月婷婷亚洲| 免费操超碰| 九九九九综合| 激情婷婷内射| 91男人资源站| 久久与婷婷| 美女亚洲五月丁香| 日韩不卡123| 亚洲欧美一区二区三区四区爱爱动图| 影音先锋偷偷色男人站| 色综合色色| 天天操天天操| 91 久热| 超碰人人超碰| 99re久热只有精品6在线直播| 日本eVa一区=区视频| 夜夜爽天操| 中文精品在| 99精品偷自拍| 26uuu在线观看| 日本久久性| 99热只有| 无码色| www.99热国产| 久七香蕉| 五月婷婷丁香| 婷婷久久丁香| 九九这里只这里只有精品| 岛囯综合激情网| 日韩成人电影AV| 久久96热| 综合色99| 五月草视频| 五月天激情四射| 欧美色必爱| 婷婷五月天堂| 美女天天爽| 人妻乱码久久久| 免费看无码视频A级| 内射爽无广熟女亚洲| AA丁香综合激情| 无码毛片992367| 超碰国产AV| 99在线精品免费视频| 神马欧美精| 五月丁香人人婷婷在线观看| 色玖玖综合网| 色婷婷yy久| 九九无码| 影音先锋一区| 开心激情网五月| 久热这里只有精品在线观看 | 婷婷伊人綜合中文字幕小说| 玖玖99婷婷| 色五月婷婷五月| 99色视频在线| 天天拍夜夜爽| 婷婷五月天av网| 久艹大香蕉| 激情婷婷在线| 国产精品久久久久久久久久| 日韩精品一区二区亚洲AV观看| 激情九九综合网| 五月网激情| 99网址在线看| 91久久免费| 伊人久久丁香五月91| 91久热| 99久在线精品| 日91高清无玛| 婷婷丁香人妻天天爽| 欧美亚洲操逼| 色婷婷色五月丁香| 五月丁香色色综合| 色五月婷婷婷婷婷婷婷婷婷婷| 久久婷综合网| 综合精品99| 婷婷成人av| 无码激情AAAAA片-区区| 激情五月综合网| 婷婷狠狠操| 久久伊人大香蕉| 综合色播| 丁香色婷婷| 性生活久久朋友人妻| 操操操www.com| 1024日韩| 亚洲综人色综网| PORNY九色9l自拍视频成人| 国产超碰人人| 婷婷大乡焦噜噜| 五月婷婷黄| 日韩成人无码片| 日逼影音先锋男人资源站| 婷婷中合| 99热最新国内| 99视频综合网| 无码任你操| 久热播这里只有精品| 激情五月天网页| 丁香五月丁香伊人| 婷婷丁香综合成人| 亚洲精品激情| 天天爽天天日| 久久久噜噜噜久久人妻| 99热只有| 五月丁香无码| 99热最新| 婷婷成人五月天| 99久久国产宗和精品1上映| 激情内射人妻1区2区3区| 国产成人精品一区二区三区视频 | 亚洲国产成人AV在线 | 九九激情视频| 五月天婷婷基地综合网| 九九热中文| 99视频超级精品| 激情综合色五月六月婷婷| 婷婷五月天com| 99热这里只有精品最新地址获取| www.com五月天| 99久久精品国产色欲| 九九综合伊人| 99欧美| 综合久久狠狠| 色婷婷在线视频观看| 婷婷激情啪啪| 久久九色| 久久国产性爱A V| 先锋av性爱成人电影| 色色综合视频| 五月天婷婷色色网| 狠狠操狠狠操AV| 久久99国产综合精品免费 | 久久激情网| 五月香婷婷| 四川BBB搡BBB搡多人乱亂| www.金莲av| 久婷久婷激情肉| 久久婷婷五月天激情新地址| 五月天婷婷爱丁香中文字幕| 色婷五月天激情| 伊人久久大香网| 26uuu成人网| 婷婷五月丁香第四色超碰在线| 五月婷天堂视频| 国产精品久久久久久白浆色欲| 99在线观看免费精品视频| 色婷婷色久综| 色婷婷久久| 99热精品在线观看| 丁香五月婷婷国产在线| 91色综合网| 99热99热在线观看| 六月丁香六月婷婷欧美| 色婷婷视频| 五月天婷婷导航| 久久婷婷五月综合色奶水99啪| av中文在线| 区啪精品| 青青操avbb| 思思热视频| 久久xxxx| 香蕉中文在线| 色五月xxx| 日日杆天天| AA片在线观看视频在线播放| 亚洲视频无| 99热99色| 五月丁香中文字幕| 91精品久久久久久77777| 碰人人97| 亚洲婷婷月丁香五月| 欧洲色| 亚洲成av人影院| 91在线操| 色综合久久久久久久久五月| 亚洲欧洲国产精品| 超碰婷婷色| PORNY九色9l自拍视频成人| 色色婷婷综合网| 这里只有精品在线观看视频| 丁香五月ⅤA久久久| 久久久久婷婷五月热综合| 99只有这里有精品在线视频| 免费视频WWW在线观看网站| 五月天婷婷綜合院| 99热这里只有精品搜| 成人日韩欧美| 六月丁香色色| 婷婷婷婷色| 国产乱人偷精品人妻A片| 久久刺激网| 久久99成人性爱高清视频| 国产67194| 91婷婷色 | 色五婷婷在线视频| 99久久久久| 午夜丁香综合婷婷| 深爱五月网| 少妇搡BBBB搡BBB搡毛茸茸| 久久久久9| 久操97| 丁香五月婷婷久久久| 玖玖精品视频99| 亚洲综合五月| 天天操无码| 久久久这里有精品| 91丨九色丨首页| 在线,国产,色,热视频| 99ri国产| 丁香五月性| 99热热热国产超碰| jiqingliuyuetian| 性爱激情五月| 91啪级电影| 嫩BBB槡BBBB搡BBBB| AV在线免费播放| 99精品国产在热久久婷婷| 性爱激情综合网| 六月婷伊人| 日韩啊啊啊| www.久久| 亚洲中文字幕av| 五月婷在线影院| 欧美色色色色色色| 伊人三级激情| 五月丁香啪啪| 久久 无毛。| 激情六月丁| 99热99| 久久思思热| 黄色一级影片| 久久97| renrencaoni| 九九亚洲天堂| 五月激情婷婷六月| 色婷婷色九月| 日本色色色| 婷婷五月天777| 日韩专区五月天婷婷丁香| 国产午夜精品久久久观看| 亚洲成人在线观看网址| 天天精品视频免费观看| 国产综合81p| 国产三级片91| 在线婷婷| 丁香五月婷婷色| 天天色天天干天天插| 国产精品久久久久久喷浆| 五月天激情小说婷婷基地| 99视频热99| 五月婷婷丁香社区| 99综合自拍| 五月激情偷拍| 99激| www超碰com| 亚洲无码99| 激情久久五月天| 激情综合五| 丁香五月综合福利视频导航| 亚洲六月色| 中文av网站| 97碰碰视频在线观看免费| 99精品综合视频| RenRenSe在线视频网站| 午夜亚洲AV日韩无码| 色激情五月| 婷婷五月综合社区| 婷婷伊人网| 夜夜做夜夜愛| 大香蕉五月天婷婷丁香91| 婷婷综合五月| 东北婷婷五月天| 《丁香激情综合久久伊人久久》影视在线观看 -高清预告手机免费播放 -三妹影院 | 成人精品网站在线观看| 色色色色色色色色色色色色色97| 色婷婷天堂| 日本九九九九| www.五月天社区| 亚洲色人妻| 极品少妇XXXX精品少妇偷拍| 天天干天天操| 超碰在线观看99| A片试看50分钟做受视频| 国产成人99久久亚洲综合精品| 五月婷啪啪| 五月花婷婷| 免费观看欧美成人AA片爱我多深 | 日本本土色网第一区| 99久久婷婷国产综合精品电影| 极品另类| 日日天天操| 九九色之九九色之88| 国产成人精品一区二三区熟女在线| 天堂综合久久 | 色婷婷丁香五月| 色丁香五月婷婷综合久久| 五月激情在线| 久9免费视频| www.夜夜.com| 激情五月天噢美| www.久久久久久| 97五月婷| 色婷五月| 日韩性视频| 五月第四色| 狠狠色狠狠鲁| 五月婷婷深深的爱| 九九青草热| 五月天激情亚洲| 五月天激情小说网| 久久激情视频| 五月天天久久香| 青草激情在线| 色婷婷丁香五月天在线视频 | 久久性视频| 99性色| 99色在线观看视频| 美女100%露全身无挡网站| 99人人干| 小骚穴电影| 99久久終合| 一区二区成人电影免费播放| 久久香蕉影院| 色色色综合网| 亚洲视频五区| 97婷婷狠狠久久综合9色| 天堂在线伊久| 五月天大香蕉av| 欧美经典片免费观看大全| av狠狠操| 狠狠色婷婷| www色五月| 亚洲色图五月丁香| 五月天色五月| 丁香婷婷基地| 婷婷五月色情天| 色丁香六月| 开心色播色五月婷婷| 夜夜操少妇| 人妻videos人妻高清| 激情另类综合| 99热99在线| 人妻狠狠操| 丁香蜜臀黄色婷婷五月天| 99热精品在线| 激情婷婷| 五月丁香综合啪啪| 精品久久二6| 精品99这里有| 久久五月视频| 天天搽天天射| tingtingjiqingwuyue| 天天做天天爱天天日| AV伊人青草丁香六月| 五月激情丁香五月| 熟女激情网| 婷婷五月天在线观看av| 婷婷丁香高潮了| 五月丁香少妇网| 丁香五月天欧美在线| 婷婷六月色情| 国产精品久久7777777精品无码| 亭亭五月天成人| 99re思思热久久| 激情五月天小说网| 伊人网碰碰| 99操| 国产美女无遮挡裸体毛片A片| 国产精产国品一二三在观看 | 91九色|疯狂|高潮|对白|| 五月激情啪啪啪| 五月天com| 伊人无码高清| 99五月香婷婷丁香在线视频| 丁香五月激情综合久久| 天天综合色99| 色情婷婷。| 亚洲综合成人网| 伊人五月天日日夜夜久久久天天| 色综合久久88色综合天天人守婷| 99色视频在线观看| www激情com| 99色| 激情深爱五月天| 中文字幕丰满孑伦无码专区| 高清免费在线视频| 丁香婷婷综合激情五月色| 五月天激情影院| 日韩狠狠色婷婷| 亚洲色A| 九九性爱网| 五月丁香六月情| 婷婷婷狠狠| 婷婷刺激综合| 99er这里只有精品视频| 思思热精品免费视频| 激情綜合W W W,激情五月天| 婷婷综合五月天| 欧美性生交XXXXX无码小说| 偷拍99在线视频观看| 婷婷涩涩五月天| 成人羞羞啪啪 全 视频| 99这里是精品| 亚洲av免费在线| www.婷婷,com| 婷婷色综合av| 亚洲色色色| 97成人超碰免| 天天曰夜夜爽| 99re热免费观看视频精品| 亚韩在线视频| 97很鲁在线视频| 九九大香视频| 婷婷五月丁香激情色情| 五月丁香六月激情综合| 色色五月天婷婷| 啪啪五月综合| 蜜臀A∨在线水帘洞| 婷婷丁香激情综合色情| 超碰在线99| 中文字幕综合色| 激情五月婷黄版| 九九热视| 噼里啪啦在线观看免费完整版视频 | 91成人看片| 免看黄大片AA | 99热久草| 26uuu欧美激情另类| 色5月婷婷| 男人的天堂在线婷婷| 操操操操操操婷婷五月天| 色狠狠色噜噜AV天堂五区消防| 久久婷婷综合五月天| 天花AV无码| 深夜婷婷五月丁香| 欧美啪啪9| 五月桃花网综合| 人妻狠狠操| 婷婷五月综合体验看| 99久久99综合| 一级黄色影片| 99这里只有精| 精品一二三区久久AAA片| 九九热中文| 激情五月天伊人av| 亚洲乱码日产精品BD在线观看| 99在线资源| 综合色色色色色色| 国产真实乱了老女人视频| 久久99婷婷| 激情五月婷婷五月| 色五月天婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷 | 最新日韩久热免费视频看看| 思思热在线精品视频网站| 国产亚洲在线| 国产免费av在线| 成 人 色 色| 欧美成人AAA片一区国产精品 | 99爽视频| 操操日韩| 激情婷婷五月基地| 99在线精品免费视频| 激情综合五月| 另类精品视频在线观看| 久久婷婷桃花五月天| 囯产精品一品二区三区| 超碰91在线| 婷色五月| 五月伊人网| 五月激情射| 亚洲这里只有精品| 97操资源婷婷| 色宗合久久五月婷婷| 婷婷五月在线视频| 亚洲综合激情五月天婷婷| 丁香六月婷婷综合激情欧美| 碰碰人人漕| 青青草婷婷久久| 色色综合网络| 婷婷五月综合社区在线| 色婷婷AV五月天| 少妇被下春药玩弄A片| 激情 五月 婷婷 丁香| 久色资源| 五月开心婷婷网| 99热这里只有精品1| 色综合久久综合中文综合网| 91成人看| 99色在线| 99操视频| 玖玖爱资源站| 色婷婷19| 婷婷五月天久久| 久久久99久久| 91viP在线看| 玖玖在线视频| 99视频色在线观看| 欧洲色色| 九九精品片一| 亚洲亚洲人成综合网络| 婷婷AV丁香| 国产亚洲成AV人片在线观黄桃| 婷婷丁香午夜综合影视| 亚洲亚洲人成综合网络| 色色婷五月天| 日韩在线观看网址| 五月婷婷狠狠干| 亚洲色图五月丁香五月婷婷| 五月天色婷婷网| 亚洲欧洲一二| 色婷婷六月| 色婷婷色情| 99亚洲天堂| 丁香五月在线伊人| 欧美丰满熟妇BBB久久久| 激情五月天婷婷视频| 久9草在线观看视频| 五月天天久久香| 亚洲AV日韩无码| 丁香五月六月| 婷婷亚洲丁香五月| 国产av第一专区| 5月婷婷6月六月丁香| 久青操| 丁香五月成人网| 婷婷五月天AV激情| 黄色av网站在线免费播放| 亚洲激情婷婷| 亚欧州精品视频| 九九亚洲| 中文网av| 日本精品干| 特级西西4444www无码| 色婷婷激情小说网| 嫩草哈哈操| 五月色婷婷影院| 26uuu色噜噜精品一区| 婷婷五月花.97| 天天插天天日| 五月开心婷婷中文字幕| 激情AV网| 五月丁香色综合| 五月丁了香蕉综合| 中文超碰视在线| 婷婷综合色图| 日 日干 日日做| 五月丁香人妻| 日本色婷婷| 五月激情偷拍| 九九热AV| 久在热99| 久久婷婷啪啪视频| 色丁香在线视频| 秋霞AV美国| 天天做天天爱| 五月成人天| 六月丁香婷婷五月天| 99ri网站在线观看| 青青草tp| 婷婷六月天激情影院| 国产色网站| 少妇性按摩无码中文A片| 天天综合五月天| 亚洲尤物在线| 欧美三级欧美一级|