1. 引言電子書(shū)EPUB是許多人閱讀和學(xué)習(xí)的重要載體但面對(duì)動(dòng)輒幾百頁(yè)的書(shū)籍想快速找到某個(gè)問(wèn)題的答案并不容易。傳統(tǒng)的關(guān)鍵詞搜索只能做字面匹配無(wú)法理解語(yǔ)義而把整本書(shū)丟給大模型直接提問(wèn)又會(huì)超出上下文窗口限制回答質(zhì)量也難以保證。RAGRetrieval-Augmented Generation檢索增強(qiáng)生成正是解決這一問(wèn)題的經(jīng)典方案先把書(shū)籍內(nèi)容切片并向量化存入數(shù)據(jù)庫(kù)提問(wèn)時(shí)先檢索出最相關(guān)的片段再把這些片段作為上下文交給大模型生成答案。本文將用 Node.js 從零搭建一個(gè) EPUB 問(wèn)答助手完整走通「文本切片 → 向量檢索 → RAG 生成」的流程。2. 整體架構(gòu)在動(dòng)手寫代碼之前先明確整個(gè)系統(tǒng)的組成部分。一個(gè)完整的 EPUB 問(wèn)答助手包含以下模塊EPUB 解析讀取.epub文件提取其中的 HTML 內(nèi)容并轉(zhuǎn)為純文本。文本切片將長(zhǎng)文本按章節(jié)或固定長(zhǎng)度切分成小塊便于向量化和檢索。向量化將每個(gè)文本塊轉(zhuǎn)換為向量Embedding存入向量數(shù)據(jù)庫(kù)。向量檢索用戶提問(wèn)時(shí)將問(wèn)題向量化并在庫(kù)中檢索最相似的文本塊。RAG 生成把檢索到的文本塊拼入 Prompt交給大模型生成答案。整體流程如下圖所示EPUB 文件解析提取文本文本切片向量化 Embedding存入向量數(shù)據(jù)庫(kù)用戶提問(wèn)問(wèn)題向量化向量檢索 TopK拼接 Prompt大模型生成答案返回回答3. 技術(shù)選型本項(xiàng)目采用以下技術(shù)棧均為 Node.js 生態(tài)中成熟且易用的方案模塊選型說(shuō)明EPUB 解析epub2輕量解析 EPUB 文件提取章節(jié) HTMLHTML 轉(zhuǎn)文本html-to-text將 HTML 轉(zhuǎn)為純文本向量數(shù)據(jù)庫(kù)sqlite-vec基于 SQLite 的向量擴(kuò)展零部署成本向量化OpenAI Embedding API使用text-embedding-3-small模型大模型OpenAI Chat Completions使用gpt-4o-mini生成回答開(kāi)發(fā)語(yǔ)言Node.js 20使用 ES Module 語(yǔ)法選擇sqlite-vec而非專門的向量數(shù)據(jù)庫(kù)如 Milvus、Pinecone是為了讓示例更輕量——無(wú)需額外部署服務(wù)一個(gè)本地文件即可完成全部存儲(chǔ)與檢索非常適合個(gè)人工具和教學(xué)場(chǎng)景。4. 項(xiàng)目初始化首先創(chuàng)建項(xiàng)目并安裝依賴mkdirepub-qa-assistantcdepub-qa-assistantnpminit-ynpminstallepub2 html-to-text sqlite-vec openai在package.json中確認(rèn)type: module已設(shè)置以便使用 ES Module 語(yǔ)法{name:epub-qa-assistant,type:module,scripts:{index:node src/index.js,query:node src/query.js}}項(xiàng)目目錄結(jié)構(gòu)如下epub-qa-assistant/ ├── src/ │ ├── extract.js # EPUB 解析與文本提取 │ ├── chunk.js # 文本切片 │ ├── embed.js # 向量化 │ ├── store.js # 向量存儲(chǔ)與檢索 │ ├── index.js # 建庫(kù)入口 │ └── query.js # 問(wèn)答入口 ├── books/ # 存放 EPUB 文件 └── data/ # 存放向量數(shù)據(jù)庫(kù)文件5. EPUB 解析與文本提取EPUB 文件本質(zhì)上是 ZIP 壓縮包內(nèi)部包含多個(gè) XHTML 文件。epub2庫(kù)可以幫我們解壓并讀取每個(gè)章節(jié)的內(nèi)容。創(chuàng)建src/extract.jsimport{EPub}fromepub2;import{convert}fromhtml-to-text;exportasyncfunctionextractEpub(filePath){constepubawaitEPub.createAsync(filePath);constchapters[];for(constchapterofepub.flow){consthtmlawaitnewPromise((resolve,reject){epub.getChapter(chapter.id,(err,text){if(err)reject(err);elseresolve(text);});});consttextconvert(html,{wordwrap:false,selectors:[{selector:img,format:skip},{selector:script,format:skip},{selector:style,format:skip},],});chapters.push({title:chapter.title||Chapter${chapters.length1},text:text.trim(),});}returnchapters.filter((c)c.text.length0);}這里做了兩件事一是遍歷epub.flow獲取所有章節(jié)的 HTML 內(nèi)容二是用html-to-text把 HTML 轉(zhuǎn)為純文本同時(shí)跳過(guò)圖片、腳本和樣式標(biāo)簽避免噪聲進(jìn)入后續(xù)的向量化流程。6. 文本切片大模型的上下文窗口有限向量檢索的粒度也需要控制。切片太大會(huì)稀釋語(yǔ)義、浪費(fèi) token切片太小則可能截?cái)嗤暾Z(yǔ)義。這里采用「按章節(jié)優(yōu)先、超長(zhǎng)再切」的策略章節(jié)文本不超過(guò)maxChunkSize時(shí)整章作為一個(gè)切片超過(guò)時(shí)按段落邊界切分盡量保持語(yǔ)義完整。創(chuàng)建src/chunk.jsconstMAX_CHUNK_SIZE800;// 單塊最大字符數(shù)constOVERLAP_SIZE100;// 相鄰塊重疊字符數(shù)exportfunctionchunkText(text,maxSizeMAX_CHUNK_SIZE,overlapOVERLAP_SIZE){if(text.lengthmaxSize){return[text];}constchunks[];letstart0;while(starttext.length){letendMath.min(startmaxSize,text.length);// 盡量在段落邊界處斷開(kāi)if(endtext.length){constboundarytext.lastIndexOf(\n\n,end);if(boundarystartmaxSize*0.5){endboundary;}}chunks.push(text.slice(start,end).trim());startend-overlap;}returnchunks.filter((c)c.length0);}exportfunctionchunkChapters(chapters){constchunks[];for(constchapterofchapters){constpartschunkText(chapter.text);parts.forEach((part,i){chunks.push({id:${chunks.length},title:chapter.title,index:i,text:part,});});}returnchunks;}重疊overlap的設(shè)計(jì)很關(guān)鍵它讓相鄰切片之間保留一部分重復(fù)內(nèi)容避免一個(gè)完整句子或概念恰好被切斷在邊界上從而提升檢索召回率。7. 向量化與存儲(chǔ)向量化是把文本變成高維數(shù)值數(shù)組的過(guò)程語(yǔ)義相近的文本在向量空間中距離更近。這里使用 OpenAI 的 Embedding API。創(chuàng)建src/embed.jsimportOpenAIfromopenai;constopenainewOpenAI();exportasyncfunctionembedTexts(texts){constresponseawaitopenai.embeddings.create({model:text-embedding-3-small,input:texts,});returnresponse.data.map((d)d.embedding);}text-embedding-3-small模型性價(jià)比高默認(rèn)輸出 1536 維向量足以支撐語(yǔ)義檢索。批量傳入文本可以顯著減少 API 調(diào)用次數(shù)。接下來(lái)創(chuàng)建src/store.js使用sqlite-vec完成向量表的創(chuàng)建、寫入和檢索importsqlite3fromsqlite3;import{createRequire}frommodule;constrequirecreateRequire(import.meta.url);const{Vector}require(sqlite-vec);constDB_PATH./data/vectors.db;exportfunctioninitStore(){constdbnewsqlite3.Database(DB_PATH);db.loadExtension(Vector.getLoadablePath());db.exec(CREATE VIRTUAL TABLE IF NOT EXISTS chunks USING vec0( id INTEGER PRIMARY KEY, text TEXT, title TEXT, embedding FLOAT[1536] ););returndb;}exportfunctioninsertChunks(db,chunks,embeddings){conststmtdb.prepare(INSERT INTO chunks (id, text, title, embedding) VALUES (?, ?, ?, ?));chunks.forEach((chunk,i){stmt.run(chunk.id,chunk.text,chunk.title,JSON.stringify(embeddings[i]));});stmt.finalize();}exportasyncfunctionsearchChunks(db,queryEmbedding,topK5){constrowsawaitnewPromise((resolve,reject){db.all(SELECT id, text, title, distance FROM chunks WHERE embedding MATCH ? ORDER BY distance LIMIT ?,[JSON.stringify(queryEmbedding),topK],(err,rows)(err?reject(err):resolve(rows)));});returnrows;}sqlite-vec使用虛擬表vec0存儲(chǔ)向量MATCH語(yǔ)法執(zhí)行 KNN 檢索distance越小表示越相似。8. 建庫(kù)入口把以上模塊串起來(lái)創(chuàng)建src/index.js作為建庫(kù)入口import{extractEpub}from./extract.js;import{chunkChapters}from./chunk.js;import{embedTexts}from./embed.js;import{initStore,insertChunks}from./store.js;constEPUB_PATHprocess.argv[2]||./books/example.epub;asyncfunctionmain(){console.log( 解析 EPUB...);constchaptersawaitextractEpub(EPUB_PATH);console.log(共提取${chapters.length}個(gè)章節(jié));console.log(?? 文本切片...);constchunkschunkChapters(chapters);console.log(共生成${chunks.length}個(gè)文本塊);console.log( 向量化...);constembeddingsawaitembedTexts(chunks.map((c)c.text));console.log( 寫入向量庫(kù)...);constdbinitStore();insertChunks(db,chunks,embeddings);db.close();console.log(? 建庫(kù)完成);}main().catch((err){console.error(建庫(kù)失敗:,err);process.exit(1);});運(yùn)行建庫(kù)命令nodesrc/index.js ./books/your-book.epub9. 問(wèn)答查詢RAG 生成建庫(kù)完成后就可以實(shí)現(xiàn)問(wèn)答了。查詢流程分為三步問(wèn)題向量化 → 向量檢索 → 拼接 Prompt 交給大模型。創(chuàng)建src/query.jsimportOpenAIfromopenai;import{embedTexts}from./embed.js;import{initStore,searchChunks}from./store.js;constopenainewOpenAI();constTOP_K5;asyncfunctionanswer(question){// 1. 問(wèn)題向量化const[queryEmbedding]awaitembedTexts([question]);// 2. 向量檢索constdbinitStore();constresultsawaitsearchChunks(db,queryEmbedding,TOP_K);db.close();if(results.length0){return抱歉在書(shū)中沒(méi)有找到相關(guān)內(nèi)容。;}// 3. 拼接上下文constcontextresults.map((r)【${r.title}】\n${r.text}).join(\n\n---\n\n);// 4. 交給大模型生成constresponseawaitopenai.chat.completions.create({model:gpt-4o-mini,messages:[{role:system,content:你是一個(gè)嚴(yán)謹(jǐn)?shù)拈喿x助手。請(qǐng)僅根據(jù)提供的書(shū)籍片段回答問(wèn)題如果片段中沒(méi)有答案請(qǐng)明確說(shuō)明。引用內(nèi)容時(shí)標(biāo)注來(lái)源章節(jié)。,},{role:user,content:書(shū)籍片段如下\n\n${context}\n\n問(wèn)題${question},},],});returnresponse.choices[0].message.content;}constquestionprocess.argv[2]||這本書(shū)主要講了什么;answer(question).then((res){console.log(?${question}\n\n${res});});運(yùn)行問(wèn)答nodesrc/query.js作者對(duì)時(shí)間管理提出了哪些建議10. 效果與優(yōu)化方向這套方案在幾百頁(yè)的 EPUB 上通常能取得不錯(cuò)的效果檢索階段能準(zhǔn)確召回與問(wèn)題語(yǔ)義相關(guān)的片段生成階段則基于這些片段給出有出處的回答有效緩解了大模型的幻覺(jué)問(wèn)題。如果希望進(jìn)一步提升效果可以從以下幾個(gè)方向優(yōu)化切片策略根據(jù)書(shū)籍類型調(diào)整塊大小與重疊度對(duì)代碼類書(shū)籍可按代碼塊邊界切分?；旌蠙z索在向量檢索之外疊加關(guān)鍵詞 BM25 檢索再做結(jié)果融合兼顧語(yǔ)義與字面匹配。重排序Rerank對(duì) TopK 結(jié)果用交叉編碼器重排把最相關(guān)的片段排到最前。增量更新監(jiān)聽(tīng)書(shū)籍目錄新增章節(jié)時(shí)只對(duì)增量部分做向量化入庫(kù)。多輪對(duì)話把歷史對(duì)話也拼入 Prompt支持追問(wèn)與上下文理解。11. 總結(jié)本文從零搭建了一個(gè)基于 Node.js 的 EPUB 問(wèn)答助手完整覆蓋了 RAG 的核心鏈路EPUB 解析提取文本、按章節(jié)與段落切片、Embedding 向量化、sqlite-vec存儲(chǔ)與檢索最后把檢索結(jié)果交給大模型生成帶出處的回答。整套代碼輕量、可本地運(yùn)行適合作為學(xué)習(xí) RAG 的起點(diǎn)也可以在此基礎(chǔ)上擴(kuò)展成更完整的個(gè)人知識(shí)庫(kù)問(wèn)答工具。