在實(shí)際 AI 基礎(chǔ)設(shè)施AI Infra項(xiàng)目中一個(gè)能體現(xiàn)綜合能力的架構(gòu)往往比單一技術(shù)點(diǎn)更有說服力。將 LLM 網(wǎng)關(guān)、RAG檢索增強(qiáng)生成系統(tǒng)、LLM-Wiki知識(shí)庫與 MCP模型上下文協(xié)議和 Skills技能等概念結(jié)合構(gòu)建一個(gè)端到端的智能應(yīng)用是當(dāng)前面試中展示工程化思維和落地能力的絕佳案例。這類項(xiàng)目不僅要求你理解每個(gè)組件的原理更考驗(yàn)?zāi)闳绾螌⑺鼈冇袡C(jī)整合解決從請(qǐng)求路由、知識(shí)檢索到任務(wù)執(zhí)行的完整鏈路問題。本文將帶你從零開始梳理這樣一個(gè)項(xiàng)目的核心架構(gòu)、技術(shù)選型、關(guān)鍵實(shí)現(xiàn)步驟以及生產(chǎn)環(huán)境中的考量讓你不僅能將項(xiàng)目清晰地寫到簡歷上更能從容應(yīng)對(duì)面試官對(duì)設(shè)計(jì)細(xì)節(jié)和實(shí)戰(zhàn)經(jīng)驗(yàn)的深度追問。1. 理解端到端 AI 應(yīng)用的核心組件與職責(zé)在開始動(dòng)手之前必須厘清項(xiàng)目中每個(gè)核心模塊的定位和它們之間的協(xié)作關(guān)系。一個(gè)典型的端到端 AI 應(yīng)用不是簡單的模型調(diào)用而是一個(gè)包含流量治理、知識(shí)增強(qiáng)、任務(wù)編排的復(fù)雜系統(tǒng)。1.1 LLM 網(wǎng)關(guān)智能流量的統(tǒng)一入口與調(diào)度中心LLM 網(wǎng)關(guān)是整個(gè)系統(tǒng)的門面它負(fù)責(zé)接收所有外部請(qǐng)求并做出智能路由。它的核心職責(zé)遠(yuǎn)不止轉(zhuǎn)發(fā) API 調(diào)用。統(tǒng)一接入與協(xié)議轉(zhuǎn)換外部應(yīng)用可能通過 HTTP、gRPC 甚至 WebSocket 發(fā)起請(qǐng)求。網(wǎng)關(guān)需要將這些異構(gòu)協(xié)議統(tǒng)一轉(zhuǎn)換為內(nèi)部服務(wù)能理解的格式通常是 HTTP/JSON并將內(nèi)部服務(wù)的響應(yīng)轉(zhuǎn)換回去。這屏蔽了后端服務(wù)的復(fù)雜性。多模型路由與負(fù)載均衡當(dāng)你的系統(tǒng)接入了多個(gè) LLM 服務(wù)如 OpenAI GPT、Claude、本地部署的 Llama 等時(shí)網(wǎng)關(guān)需要根據(jù)策略進(jìn)行路由。策略可以很簡單如根據(jù)請(qǐng)求頭中的model參數(shù)指定也可以很復(fù)雜如基于成本、延遲、當(dāng)前負(fù)載或甚至對(duì)請(qǐng)求內(nèi)容的簡單分析例如代碼生成請(qǐng)求路由到 CodeLlama創(chuàng)意寫作路由到 GPT-4進(jìn)行動(dòng)態(tài)選擇。同時(shí)對(duì)于同一模型的不同實(shí)例網(wǎng)關(guān)需要實(shí)現(xiàn)負(fù)載均衡。限流、鑒權(quán)與監(jiān)控這是網(wǎng)關(guān)的生產(chǎn)級(jí)必備功能。你需要對(duì)不同的 API Key、用戶或租戶實(shí)施速率限制Rate Limiting防止濫用。同時(shí)網(wǎng)關(guān)是實(shí)施身份認(rèn)證和授權(quán)AuthN/AuthZ的理想位置。所有的請(qǐng)求、響應(yīng)、延遲、錯(cuò)誤率指標(biāo)都應(yīng)在此被收集并接入監(jiān)控系統(tǒng)如 Prometheus Grafana。請(qǐng)求/響應(yīng)改寫與緩存網(wǎng)關(guān)可以對(duì)用戶的原始請(qǐng)求進(jìn)行預(yù)處理例如添加系統(tǒng)提示詞System Prompt、格式化歷史對(duì)話記錄。同樣它也可以對(duì)模型的原始響應(yīng)進(jìn)行后處理如敏感詞過濾、格式標(biāo)準(zhǔn)化。對(duì)于某些重復(fù)性高的查詢可以引入緩存層直接返回緩存結(jié)果以降低成本和延遲。1.2 RAG 系統(tǒng)為 LLM 注入精準(zhǔn)、實(shí)時(shí)的外部知識(shí)LLM 的“幻覺”問題和知識(shí)截止日期是其主要短板。RAG 通過引入外部知識(shí)庫讓模型生成基于事實(shí)的答案。檢索Retrieval當(dāng)用戶提出一個(gè)問題時(shí)RAG 系統(tǒng)首先將該問題轉(zhuǎn)換為一個(gè)向量Embedding然后在向量數(shù)據(jù)庫如 Milvus, Pinecone, Weaviate, Qdrant中搜索與之最相似的文本片段Chunks。這個(gè)過程的關(guān)鍵在于“索引構(gòu)建”和“檢索策略”。索引構(gòu)建涉及文檔加載、文本分割、向量化檢索策略則決定了是簡單返回 top-k 個(gè)結(jié)果還是使用更復(fù)雜的混合搜索結(jié)合關(guān)鍵詞和向量相似度。增強(qiáng)Augmentation檢索到的相關(guān)文本片段被作為額外的上下文與用戶的原始問題一起組合成一個(gè)新的、信息更豐富的提示詞Prompt再發(fā)送給 LLM。生成GenerationLLM 基于這個(gè)增強(qiáng)了上下文的提示詞生成最終答案。由于答案的依據(jù)來自提供的文檔其準(zhǔn)確性和可信度大幅提高。1.3 LLM-Wiki知識(shí)庫RAG 的燃料與運(yùn)營平臺(tái)LLM-Wiki 是 RAG 系統(tǒng)中“知識(shí)”的載體和管理界面。它不是一個(gè)簡單的文件服務(wù)器。知識(shí)攝取與管理支持多種格式文檔PDF, Word, Markdown, 網(wǎng)頁的上傳、解析和批處理。提供知識(shí)庫的版本管理、更新和回滾能力。數(shù)據(jù)處理流水線這是核心后臺(tái)服務(wù)。它需要將上傳的文檔通過文本分割、向量化模型處理最終存入向量數(shù)據(jù)庫。這個(gè)流水線需要健壯能處理失敗重試、增量更新。運(yùn)營與評(píng)估提供界面讓運(yùn)營人員查看知識(shí)庫內(nèi)容、搜索測試效果甚至能對(duì)“問題-答案”對(duì)進(jìn)行標(biāo)注用于后續(xù)評(píng)估檢索質(zhì)量或微調(diào)排序模型。1.4 MCP模型上下文協(xié)議與 Skills擴(kuò)展 LLM 的行動(dòng)能力LLM 本身是“思考者”但缺乏“執(zhí)行者”的能力。MCP 和 Skills 的引入就是為了讓 LLM 能調(diào)用外部工具和 API完成具體任務(wù)。MCPModel Context Protocol你可以將其理解為一套標(biāo)準(zhǔn)化的“工具描述”和“調(diào)用規(guī)范”。它定義了工具Tools的名稱、描述、參數(shù)及其 JSON Schema。當(dāng) LLM 決定使用某個(gè)工具時(shí)它會(huì)按照 MCP 定義的格式生成一個(gè)結(jié)構(gòu)化的調(diào)用請(qǐng)求。一個(gè) MCP 服務(wù)器Server則負(fù)責(zé)實(shí)現(xiàn)這些工具的具體邏輯如執(zhí)行代碼、查詢數(shù)據(jù)庫、調(diào)用天氣 API。MCP 的核心價(jià)值在于標(biāo)準(zhǔn)化使得不同的 LLM 客戶端如 Claude Desktop能無縫接入各種工具服務(wù)器。Skills這是一個(gè)更寬泛的概念可以理解為 LLM 能夠執(zhí)行的特定任務(wù)或能力。一個(gè) Skill 可能通過調(diào)用一個(gè) MCP 工具來實(shí)現(xiàn)也可能通過其他方式如直接調(diào)用內(nèi)部 API、執(zhí)行一段腳本實(shí)現(xiàn)。例如“查詢數(shù)據(jù)庫”可以是一個(gè) Skill它背后可能對(duì)應(yīng)一個(gè)“執(zhí)行 SQL”的 MCP 工具。在項(xiàng)目描述中我們可以將 Skills 視為我們?yōu)?LLM 賦予的一系列業(yè)務(wù)能力集合。它們與網(wǎng)關(guān)和 RAG 的關(guān)系用戶的一個(gè)復(fù)雜請(qǐng)求到達(dá)網(wǎng)關(guān)后可能被路由到一個(gè)“Agent”處理流程。這個(gè) Agent 首先會(huì)利用 RAG 系統(tǒng)獲取相關(guān)知識(shí)然后分析問題規(guī)劃步驟期間可能會(huì)決定調(diào)用一個(gè)或多個(gè) Skills通過 MCP 或其他方式來獲取數(shù)據(jù)或執(zhí)行操作最后綜合所有信息生成回答。網(wǎng)關(guān)負(fù)責(zé)協(xié)調(diào)這個(gè)流程的入口和出口。2. 技術(shù)選型與項(xiàng)目環(huán)境搭建明確了架構(gòu)接下來需要為每個(gè)組件選擇合適的技術(shù)棧。這里給出一個(gè)基于 Java/Spring Boot 生態(tài)的流行選型方案該方案成熟、社區(qū)活躍適合作為簡歷項(xiàng)目。2.1 核心組件技術(shù)選型組件推薦技術(shù)棧備選方案選型理由LLM 網(wǎng)關(guān)Spring Cloud GatewayKong, Apache APISIX, 自研 Netty 服務(wù)Spring Cloud Gateway 與 Spring Boot 生態(tài)無縫集成基于 Reactor 響應(yīng)式編程性能好易于通過代碼定義路由、過濾邏輯。RAG 核心框架LangChain4jLangChain (Python), LlamaIndexLangChain4j 是 Java 版的 LangChain提供了文檔加載、分割、向量化、檢索鏈等高級(jí)抽象極大簡化開發(fā)。向量數(shù)據(jù)庫Milvus或PgVectorWeaviate, Qdrant, ChromaMilvus 是專為向量搜索設(shè)計(jì)的分布式數(shù)據(jù)庫性能強(qiáng)勁。PgVector 是 PostgreSQL 的擴(kuò)展利用現(xiàn)有 PG 生態(tài)運(yùn)維簡單。向量化模型text2vec 系列 (如 BGE)或OpenAI EmbeddingsSentence Transformers, CohereBGE 等開源模型可本地部署無網(wǎng)絡(luò)延遲和費(fèi)用。OpenAI Embeddings API 簡單易用效果穩(wěn)定。大語言模型OpenAI GPT 系列 API或本地 Llama 系列Claude API, 通義千問, DeepSeek初期快速驗(yàn)證用 API成本可控。追求數(shù)據(jù)隱私和定制化可本地部署 Llama 2/3 等模型。MCP 服務(wù)器基于 MCP SDK (如 Typescript SDK)自建使用現(xiàn)成 MCP 服務(wù)器 (如文件系統(tǒng)、Git 服務(wù)器)MCP 協(xié)議相對(duì)較新Java 原生 SDK 不完善。可選用 Node.js/Python 編寫輕量級(jí) MCP 服務(wù)器通過 HTTP 與主 Java 服務(wù)交互。Skills 實(shí)現(xiàn)Spring Boot RESTful APIgRPC 服務(wù) 內(nèi)部 SDK將每個(gè) Skill 實(shí)現(xiàn)為一個(gè)獨(dú)立的微服務(wù)或一個(gè) Spring Boot 的 Controller通過 HTTP 調(diào)用簡單清晰。知識(shí)庫管理Spring Boot 前端 (Vue/React)直接使用數(shù)據(jù)庫管理工具需要實(shí)現(xiàn)上傳、解析、流水線觸發(fā)等后臺(tái)功能以及一個(gè)簡單的前端管理界面。緩存RedisCaffeine (本地緩存)緩存高頻且不變的知識(shí)問答對(duì)或作為會(huì)話緩存。消息隊(duì)列RabbitMQ或KafkaRedis Streams用于解耦知識(shí)文檔處理流水線實(shí)現(xiàn)異步處理。2.2 開發(fā)環(huán)境準(zhǔn)備清單在開始編碼前請(qǐng)確保你的本地開發(fā)環(huán)境已就緒。Java 開發(fā)環(huán)境JDK 17 或 21LTS 版本。Maven 3.6 或 Gradle。IDEIntelliJ IDEA推薦或 Eclipse。依賴服務(wù)建議使用 Docker Compose 一鍵啟動(dòng)PostgreSQL用于存儲(chǔ)結(jié)構(gòu)化數(shù)據(jù)用戶信息、知識(shí)庫元數(shù)據(jù)、操作日志等。如果使用 PgVector則必須用 PostgreSQL。Milvus如果選 Milvus 作為向量數(shù)據(jù)庫。Redis用于緩存和會(huì)話存儲(chǔ)。RabbitMQ用于異步任務(wù)隊(duì)列。關(guān)鍵工具與賬號(hào)Docker Docker Compose用于快速部署依賴的中間件。OpenAI API Key或其他 LLM API 密鑰用于測試。Node.js如果選擇用 Node.js 編寫 MCP 服務(wù)器。下面是一個(gè)簡單的docker-compose.yml示例用于啟動(dòng) PostgreSQL帶 PgVector、Redis 和 RabbitMQversion: 3.8 services: postgres: image: ankane/pgvector:latest # 包含 pgvector 擴(kuò)展的鏡像 environment: POSTGRES_DB: ai_infra POSTGRES_USER: admin POSTGRES_PASSWORD: password ports: - 5432:5432 volumes: - postgres_data:/var/lib/postgresql/data redis: image: redis:7-alpine ports: - 6379:6379 command: redis-server --appendonly yes volumes: - redis_data:/data rabbitmq: image: rabbitmq:3-management-alpine ports: - 5672:5672 # AMQP 協(xié)議端口 - 15672:15672 # 管理界面端口 environment: RABBITMQ_DEFAULT_USER: guest RABBITMQ_DEFAULT_PASS: guest volumes: - rabbitmq_data:/var/lib/rabbitmq volumes: postgres_data: redis_data: rabbitmq_data:使用命令docker-compose up -d啟動(dòng)服務(wù)。3. 構(gòu)建核心模塊從 RAG 問答系統(tǒng)開始我們以 RAG 系統(tǒng)作為核心能力切入點(diǎn)進(jìn)行構(gòu)建因?yàn)樗苯芋w現(xiàn)了“知識(shí)模型”的融合。3.1 項(xiàng)目初始化與依賴配置創(chuàng)建一個(gè) Spring Boot 項(xiàng)目例如使用 start.spring.io 添加以下核心依賴到你的pom.xmldependencies !-- Spring Boot 基礎(chǔ) -- dependency groupIdorg.springframework.boot/groupId artifactIdspring-boot-starter-web/artifactId /dependency dependency groupIdorg.springframework.boot/groupId artifactIdspring-boot-starter-data-jpa/artifactId /dependency !-- LangChain4j 核心 -- dependency groupIddev.langchain4j/groupId artifactIdlangchain4j/artifactId version0.31.0/version !-- 請(qǐng)檢查最新版本 -- /dependency !-- LangChain4j 用于 OpenAI -- dependency groupIddev.langchain4j/groupId artifactIdlangchain4j-open-ai/artifactId version0.31.0/version /dependency !-- LangChain4j 用于本地 Embedding 模型 (可選) -- dependency groupIddev.langchain4j/groupId artifactIdlangchain4j-embeddings-all-minilm-l6-v2/artifactId version0.31.0/version /dependency !-- LangChain4j 集成 Milvus -- dependency groupIddev.langchain4j/groupId artifactIdlangchain4j-store-embedding-milvus/artifactId version0.31.0/version /dependency !-- 數(shù)據(jù)庫驅(qū)動(dòng) -- dependency groupIdorg.postgresql/groupId artifactIdpostgresql/artifactId scoperuntime/scope /dependency !-- Redis -- dependency groupIdorg.springframework.boot/groupId artifactIdspring-boot-starter-data-redis/artifactId /dependency !-- 工具類 -- dependency groupIdorg.projectlombok/groupId artifactIdlombok/artifactId optionaltrue/optional /dependency /dependencies3.2 實(shí)現(xiàn)文檔處理與向量入庫流水線首先我們需要一個(gè)服務(wù)能將上傳的文檔如公司內(nèi)部 Wiki 的 Markdown 文件處理成向量并存儲(chǔ)。1. 定義文檔實(shí)體和元數(shù)據(jù)表import javax.persistence.*; import java.time.LocalDateTime; Entity Table(name knowledge_document) Data public class KnowledgeDocument { Id GeneratedValue(strategy GenerationType.IDENTITY) private Long id; private String fileName; private String filePath; private String fileType; // e.g., md, pdf private Long fileSize; private String status; // UPLOADED, PROCESSING, COMPLETED, FAILED private LocalDateTime uploadedAt; private LocalDateTime processedAt; }2. 實(shí)現(xiàn)文檔分割與向量化服務(wù)import dev.langchain4j.data.document.Document; import dev.langchain4j.data.document.DocumentSplitter; import dev.langchain4j.data.document.splitter.DocumentSplitters; import dev.langchain4j.data.embedding.Embedding; import dev.langchain4j.data.segment.TextSegment; import dev.langchain4j.model.embedding.EmbeddingModel; import dev.langchain4j.store.embedding.EmbeddingStore; import lombok.RequiredArgsConstructor; import lombok.extern.slf4j.Slf4j; import org.springframework.stereotype.Service; import java.nio.file.Paths; import java.util.List; Service Slf4j RequiredArgsConstructor public class DocumentProcessingService { private final EmbeddingModel embeddingModel; // 注入 Embedding 模型 Bean private final EmbeddingStoreTextSegment embeddingStore; // 注入向量存儲(chǔ) Bean public void processDocument(Long docId, String filePath) { try { // 1. 加載文檔 Document document Document.from(Paths.get(filePath)); // 2. 分割文檔例如按段落或固定大小 DocumentSplitter splitter DocumentSplitters.recursive(500, 50); // 目標(biāo)大小500字符重疊50字符 ListTextSegment segments splitter.split(document); // 3. 為每個(gè)分段生成向量 for (TextSegment segment : segments) { Embedding embedding embeddingModel.embed(segment.text()).content(); // 4. 存儲(chǔ)向量和原始文本片段到向量數(shù)據(jù)庫 embeddingStore.add(embedding, segment); } log.info(文檔 {} 處理完成生成 {} 個(gè)片段。, docId, segments.size()); // 更新數(shù)據(jù)庫狀態(tài)為 COMPLETED } catch (Exception e) { log.error(處理文檔 {} 失敗, docId, e); // 更新數(shù)據(jù)庫狀態(tài)為 FAILED } } }3. 配置 Embedding 模型和向量存儲(chǔ) Bean在application.yml中配置langchain4j: open-ai: api-key: ${OPENAI_API_KEY} # 如果使用本地模型則注釋掉 open-ai 配置使用下面的 embedding-model bean在 Spring 配置類中定義 Beanimport dev.langchain4j.model.openai.OpenAiEmbeddingModel; import dev.langchain4j.store.embedding.milvus.MilvusEmbeddingStore; import org.springframework.beans.factory.annotation.Value; import org.springframework.context.annotation.Bean; import org.springframework.context.annotation.Configuration; Configuration public class LangChain4jConfig { Value(${langchain4j.open-ai.api-key}) private String openAiApiKey; // 使用 OpenAI 的 Embedding 模型 Bean public EmbeddingModel embeddingModel() { return OpenAiEmbeddingModel.builder() .apiKey(openAiApiKey) .modelName(text-embedding-3-small) // 性價(jià)比高的模型 .build(); } // 使用 Milvus 作為向量存儲(chǔ) Bean public EmbeddingStoreTextSegment embeddingStore() { return MilvusEmbeddingStore.builder() .host(localhost) .port(19530) .dimension(1536) // text-embedding-3-small 的向量維度 .collectionName(knowledge_base) .build(); } }注意生產(chǎn)環(huán)境中API Key 和數(shù)據(jù)庫連接信息應(yīng)通過環(huán)境變量或配置中心注入不應(yīng)硬編碼在配置文件中。文檔處理是一個(gè)耗時(shí)操作應(yīng)該通過消息隊(duì)列如 RabbitMQ觸發(fā)異步任務(wù)而不是在 HTTP 請(qǐng)求線程中同步執(zhí)行。3.3 實(shí)現(xiàn) RAG 問答鏈處理完文檔后就可以實(shí)現(xiàn)問答接口了。1. 創(chuàng)建問答請(qǐng)求/響應(yīng)對(duì)象Data public class QuestionRequest { NotBlank private String question; private String conversationId; // 用于多輪對(duì)話 } Data public class AnswerResponse { private String answer; private ListString sourceDocuments; // 引用的源文檔片段用于展示和溯源 private Long latency; }2. 實(shí)現(xiàn) RAG 服務(wù)import dev.langchain4j.chain.ConversationalRetrievalChain; import dev.langchain4j.memory.ChatMemory; import dev.langchain4j.memory.chat.MessageWindowChatMemory; import dev.langchain4j.model.chat.ChatLanguageModel; import dev.langchain4j.model.openai.OpenAiChatModel; import dev.langchain4j.retriever.EmbeddingStoreRetriever; import dev.langchain4j.store.embedding.EmbeddingStore; import lombok.RequiredArgsConstructor; import org.springframework.stereotype.Service; import java.time.Duration; import java.util.List; import java.util.stream.Collectors; Service RequiredArgsConstructor public class RagService { private final EmbeddingStoreTextSegment embeddingStore; private final EmbeddingModel embeddingModel; public AnswerResponse answerQuestion(QuestionRequest request) { long start System.currentTimeMillis(); // 1. 創(chuàng)建檢索器 (Retriever) EmbeddingStoreRetriever retriever EmbeddingStoreRetriever.from(embeddingStore, embeddingModel, 3); // 返回 top-3 相關(guān)片段 // 2. 創(chuàng)建對(duì)話模型 ChatLanguageModel chatModel OpenAiChatModel.builder() .apiKey(System.getenv(OPENAI_API_KEY)) .modelName(gpt-3.5-turbo) .temperature(0.2) // 降低隨機(jī)性使答案更確定 .timeout(Duration.ofSeconds(30)) .build(); // 3. 創(chuàng)建對(duì)話記憶用于多輪對(duì)話 ChatMemory chatMemory MessageWindowChatMemory.withMaxMessages(10); // 4. 構(gòu)建檢索增強(qiáng)對(duì)話鏈 ConversationalRetrievalChain chain ConversationalRetrievalChain.builder() .chatLanguageModel(chatModel) .retriever(retriever) .chatMemory(chatMemory) // 可選傳入 conversationId 關(guān)聯(lián)記憶 .build(); // 5. 執(zhí)行鏈 String answer chain.execute(request.getQuestion()); // 6. 可選獲取引用的源文檔 // 注意LangChain4j 的鏈默認(rèn)不直接返回源片段需要自定義或從檢索器中再查一次。 ListTextSegment relevantSegments retriever.findRelevant(request.getQuestion()); ListString sources relevantSegments.stream() .map(TextSegment::text) .limit(3) .collect(Collectors.toList()); long latency System.currentTimeMillis() - start; AnswerResponse response new AnswerResponse(); response.setAnswer(answer); response.setSourceDocuments(sources); response.setLatency(latency); return response; } }3. 創(chuàng)建 RESTful 控制器import lombok.RequiredArgsConstructor; import org.springframework.web.bind.annotation.*; import javax.validation.Valid; RestController RequestMapping(/api/rag) RequiredArgsConstructor public class RagController { private final RagService ragService; PostMapping(/ask) public AnswerResponse ask(Valid RequestBody QuestionRequest request) { return ragService.answerQuestion(request); } }現(xiàn)在啟動(dòng)應(yīng)用向POST /api/rag/ask發(fā)送一個(gè)包含問題的 JSON 請(qǐng)求就能獲得基于你已入庫知識(shí)的答案了。4. 集成 LLM 網(wǎng)關(guān)與 Skills 能力有了核心的 RAG 能力我們需要一個(gè)更智能的網(wǎng)關(guān)來路由請(qǐng)求并讓 LLM 能夠調(diào)用外部 Skills。4.1 構(gòu)建 Spring Cloud Gateway 作為 LLM 網(wǎng)關(guān)創(chuàng)建一個(gè)新的 Spring Boot 項(xiàng)目引入spring-cloud-starter-gateway依賴。1. 基礎(chǔ)路由配置 (application.yml):server: port: 8080 spring: cloud: gateway: routes: - id: rag_service uri: http://localhost:8081 # RAG 后端服務(wù)地址 predicates: - Path/api/rag/** filters: - name: RequestRateLimiter args: redis-rate-limiter.replenishRate: 10 # 每秒令牌數(shù) redis-rate-limiter.burstCapacity: 20 # 令牌桶容量 redis-rate-limiter.requestedTokens: 1 # 每次請(qǐng)求消耗令牌數(shù) - AddRequestHeaderX-API-Key, ${INTERNAL_API_KEY} # 內(nèi)部服務(wù)間認(rèn)證 - id: skills_service uri: http://localhost:8082 # Skills 服務(wù)地址 predicates: - Path/api/skills/** - id: direct_llm_proxy # 直接代理到外部 LLM API如 OpenAI uri: https://api.openai.com predicates: - Path/v1/** filters: - RewritePath/v1/(?segment.*), /v1/$\{segment} # 路徑重寫 - AddRequestHeaderAuthorization, Bearer ${OPENAI_API_KEY}2. 實(shí)現(xiàn)基于內(nèi)容的智能路由更高級(jí)的網(wǎng)關(guān)可以根據(jù)請(qǐng)求內(nèi)容決定路由。例如判斷用戶問題是需要知識(shí)庫回答走 RAG還是需要執(zhí)行一個(gè)計(jì)算任務(wù)走 Skills。import org.springframework.cloud.gateway.filter.GatewayFilterChain; import org.springframework.cloud.gateway.filter.GlobalFilter; import org.springframework.core.Ordered; import org.springframework.http.HttpHeaders; import org.springframework.stereotype.Component; import org.springframework.web.server.ServerWebExchange; import reactor.core.publisher.Mono; import java.util.List; Component public class ContentBasedRoutingFilter implements GlobalFilter, Ordered { private final RouterService routerService; // 一個(gè)簡單的分類服務(wù) Override public MonoVoid filter(ServerWebExchange exchange, GatewayFilterChain chain) { // 只處理特定路徑例如 /api/chat if (!exchange.getRequest().getPath().value().startsWith(/api/chat)) { return chain.filter(exchange); } // 從請(qǐng)求體或查詢參數(shù)中獲取用戶消息注意這里簡化了實(shí)際需要緩存或讀取請(qǐng)求體 String userMessage exchange.getRequest().getQueryParams().getFirst(message); if (userMessage null) { return chain.filter(exchange); } // 調(diào)用一個(gè)簡單的分類器可以是規(guī)則也可以是一個(gè)輕量級(jí) ML 模型 String route routerService.classify(userMessage); // 根據(jù)分類結(jié)果修改請(qǐng)求路徑轉(zhuǎn)發(fā)到不同服務(wù) ServerWebExchange modifiedExchange; switch (route) { case rag: modifiedExchange exchange.mutate() .request(exchange.getRequest().mutate().path(/api/rag/ask).build()) .build(); break; case calculator: modifiedExchange exchange.mutate() .request(exchange.getRequest().mutate().path(/api/skills/calculate).build()) .build(); break; default: // 默認(rèn)走直接 LLM modifiedExchange exchange.mutate() .request(exchange.getRequest().mutate().path(/v1/chat/completions).build()) .build(); } return chain.filter(modifiedExchange); } Override public int getOrder() { return -1; // 高優(yōu)先級(jí) } }4.2 實(shí)現(xiàn) Skills 服務(wù)Skills 服務(wù)是一個(gè)獨(dú)立的 Spring Boot 應(yīng)用提供各種可被 LLM 調(diào)用的工具 API。示例實(shí)現(xiàn)一個(gè)“天氣查詢” Skill// Skill 請(qǐng)求體 Data public class WeatherQueryRequest { private String city; private String date; // yyyy-MM-dd } // Skill 響應(yīng)體 Data public class WeatherQueryResponse { private String city; private String date; private String condition; private String temperature; private String source; } RestController RequestMapping(/api/skills/weather) public class WeatherSkillController { PostMapping(/query) public WeatherQueryResponse queryWeather(RequestBody WeatherQueryRequest request) { // 這里模擬調(diào)用外部天氣 API實(shí)際項(xiàng)目中應(yīng)使用 RestTemplate 或 WebClient // 例如調(diào)用和風(fēng)天氣、OpenWeatherMap 等 WeatherQueryResponse response new WeatherQueryResponse(); response.setCity(request.getCity()); response.setDate(request.getDate()); response.setCondition(Sunny); response.setTemperature(22°C); response.setSource(Simulated Data); return response; } }關(guān)鍵點(diǎn)每個(gè) Skill 的 API 應(yīng)該設(shè)計(jì)得清晰、無狀態(tài)輸入輸出最好是結(jié)構(gòu)化的 JSON方便 LLM 通過 Function Calling 或類似機(jī)制來理解和調(diào)用。4.3 讓 LLM 學(xué)會(huì)調(diào)用 SkillsFunction Calling 集成現(xiàn)在我們需要讓 LLM例如 GPT知道它有哪些 Skills 可用并在需要時(shí)調(diào)用它們。這通常通過Function Calling機(jī)制實(shí)現(xiàn)。在 RAG 服務(wù)或一個(gè)新的 Agent 服務(wù)中你需要定義工具函數(shù)列表將每個(gè) Skill 描述成一個(gè)函數(shù)包括名稱、描述和參數(shù) JSON Schema。在調(diào)用 LLM 時(shí)傳入工具列表。解析 LLM 的響應(yīng)如果 LLM 決定調(diào)用工具它的響應(yīng)會(huì)包含一個(gè)特殊的tool_calls字段。執(zhí)行工具調(diào)用根據(jù) LLM 的指示去調(diào)用對(duì)應(yīng)的 Skills 服務(wù) API。將工具執(zhí)行結(jié)果返回給 LLM讓它生成最終回答給用戶。這是一個(gè)簡化的流程LangChain4j 提供了ToolExecutor等高級(jí)抽象來簡化這個(gè)過程。你需要將 Skills 服務(wù)封裝成Tool對(duì)象。// 示例使用 LangChain4j 的 AiServices 和 Tool 注解簡化概念 import dev.langchain4j.service.SystemMessage; import dev.langchain4j.service.UserMessage; import dev.langchain4j.service.V; import dev.langchain4j.service.spring.AiService; interface Assistant { String chat(String userMessage); } Service public class AgentService { private final Assistant assistant; public AgentService(ChatLanguageModel chatModel) { this.assistant AiServices.create(Assistant.class, chatModel, tools()); } private ListObject tools() { ListObject tools new ArrayList(); // 將 Skill 封裝成 Tool tools.add(new WeatherTool(weatherService)); tools.add(new CalculatorTool()); // ... 添加其他 Skills return tools; } public String process(String userInput) { return assistant.chat(userInput); } } // 一個(gè) Tool 的實(shí)現(xiàn)示例 class WeatherTool { Tool(Get the weather forecast for a specific city and date.) public String getWeatherForecast(P(The city name, e.g. Beijing) String city, P(The date in yyyy-MM-dd format) String date) { // 調(diào)用上面定義的 WeatherSkillController 的 API // 返回結(jié)構(gòu)化的天氣信息字符串 return String.format(The weather in %s on %s is Sunny, 22°C., city, date); } }這樣當(dāng)用戶問“北京明天天氣怎么樣”時(shí)LLM 會(huì)識(shí)別出需要調(diào)用getWeatherForecast工具并生成正確的參數(shù)。你的服務(wù)會(huì)執(zhí)行這個(gè)工具調(diào)用獲取結(jié)果并最終由 LLM 整合成自然語言回復(fù)。5. 生產(chǎn)環(huán)境考量與常見問題排查一個(gè)能在簡歷上吸引面試官的項(xiàng)目必須體現(xiàn)出你對(duì)生產(chǎn)環(huán)境的思考。以下是幾個(gè)關(guān)鍵方面和常見問題。5.1 生產(chǎn)環(huán)境部署清單方面具體措施配置外置化所有 API Key、數(shù)據(jù)庫連接串、服務(wù)地址等敏感信息必須通過環(huán)境變量或配置中心如 Nacos, Apollo管理。健康檢查與監(jiān)控為每個(gè)服務(wù)添加 Spring Boot Actuator 端點(diǎn) (/actuator/health)。集成 Prometheus 收集指標(biāo)請(qǐng)求量、延遲、錯(cuò)誤率、向量檢索耗時(shí)。設(shè)置 Grafana 儀表盤。日志聚合使用 ELKElasticsearch, Logstash, Kibana或 Loki 集中收集和查詢?nèi)罩敬_保每個(gè)請(qǐng)求有唯一 Trace ID 串聯(lián)所有服務(wù)日志。限流與熔斷在網(wǎng)關(guān)層對(duì)用戶和 API Key 實(shí)施限流。在服務(wù)間調(diào)用使用 Resilience4j 實(shí)現(xiàn)熔斷、降級(jí)和重試。向量數(shù)據(jù)庫運(yùn)維Milvus 需要關(guān)注內(nèi)存、磁盤和索引構(gòu)建性能。PgVector 需要關(guān)注 PostgreSQL 的性能調(diào)優(yōu)和索引IVFFlat 或 HNSW選擇。定期進(jìn)行向量數(shù)據(jù)的備份。知識(shí)庫更新設(shè)計(jì)增量更新機(jī)制避免全量重建索引。使用消息隊(duì)列解耦文檔上傳和處理過程。安全性API 網(wǎng)關(guān)實(shí)施 JWT 或 OAuth2 認(rèn)證。對(duì)用戶輸入進(jìn)行嚴(yán)格的校驗(yàn)和過濾防止 Prompt 注入攻擊。Skills 服務(wù)接口需有權(quán)限控制。5.2 常見問題與排查路徑問題現(xiàn)象可能原因檢查點(diǎn)與解決方案RAG 回答不準(zhǔn)確或“幻覺”1. 檢索到的文檔片段不相關(guān)。2. 提示詞Prompt設(shè)計(jì)不佳。3. 上下文長度超限關(guān)鍵信息被截?cái)唷?.檢查檢索結(jié)果在問答接口中返回sourceDocuments人工評(píng)估相關(guān)性?？蓢L試調(diào)整文本分割策略大小、重疊或使用混合搜索關(guān)鍵詞向量。2.優(yōu)化 Prompt在系統(tǒng)提示詞中明確要求“基于提供的上下文回答”并設(shè)定“不知道就說不知道”的規(guī)則。3.檢查 Token 數(shù)計(jì)算輸入上下文的 Token 數(shù)確保未超過模型限制。可對(duì)檢索結(jié)果進(jìn)行重排序或摘要。向量檢索速度慢1. 向量數(shù)據(jù)庫未建立索引或索引類型不當(dāng)。2. 檢索的向量維度太高。3. 網(wǎng)絡(luò)延遲或資源不足。1.檢查索引在 Milvus 或 PgVector 中為向量列創(chuàng)建合適的索引如 HNSW。2.考慮降維評(píng)估是否可以使用維度更低的 Embedding 模型如text-embedding-3-small的 1536 維。3.監(jiān)控資源查看向量數(shù)據(jù)庫的 CPU、內(nèi)存和網(wǎng)絡(luò) IO。LLM 網(wǎng)關(guān)路由錯(cuò)誤1. 路由規(guī)則配置錯(cuò)誤。2. 基于內(nèi)容的分類器RouterService判斷失誤。3. 下游服務(wù)不可用。1.檢查網(wǎng)關(guān)日志查看spring-cloud-gateway的 DEBUG 級(jí)別日志確認(rèn)路由匹配過程。2.測試分類器提供一批測試用例驗(yàn)證分類邏輯的準(zhǔn)確性。3.檢查下游服務(wù)健康網(wǎng)關(guān)應(yīng)集成服務(wù)發(fā)現(xiàn)和健康檢查自動(dòng)剔除不健康的實(shí)例。Skills 調(diào)用失敗1. LLM 生成的調(diào)用參數(shù)格式錯(cuò)誤。2. Skills 服務(wù) API 變更或宕機(jī)。3. 網(wǎng)絡(luò)超時(shí)。1.加強(qiáng)參數(shù)校驗(yàn)在 Skills 服務(wù)端對(duì)輸入?yún)?shù)進(jìn)行嚴(yán)格校驗(yàn)并返回清晰的錯(cuò)誤信息。2.實(shí)現(xiàn) Fallback當(dāng) Skill 調(diào)用失敗時(shí)提供降級(jí)方案如返回默認(rèn)值或讓 LLM 換一種方式回答。3.設(shè)置合理超時(shí)在調(diào)用 Skills 的 HTTP 客戶端中配置連接超時(shí)和讀取超時(shí)。知識(shí)文檔處理失敗1. 文檔格式解析出錯(cuò)如損壞的 PDF。2. 向量化模型服務(wù)異常。3. 向量數(shù)據(jù)庫寫入失敗。1.增強(qiáng)解析容錯(cuò)使用更健壯的解析庫如 Apache Tika并對(duì)解析失敗的文件進(jìn)行記錄和告警。2.異步與重試將處理任務(wù)放入消息隊(duì)列實(shí)現(xiàn)失敗后的自動(dòng)重試和死信隊(duì)列管理。3.監(jiān)控處理流水線記錄每個(gè)處理階段的成功/失敗狀態(tài)和耗時(shí)。5.3 性能與成本優(yōu)化建議Embedding 模型選型如果對(duì)延遲敏感且數(shù)據(jù)可公開優(yōu)先考慮本地部署的開源 Embedding 模型如 BGE、E5。如果追求效果和穩(wěn)定性可使用 OpenAI 等云服務(wù)但需關(guān)注成本。向量檢索優(yōu)化合理設(shè)置top_k參數(shù)通常 3-5 足夠返回過多片段會(huì)增加 LLM 的 Token 消耗和成本。對(duì)檢索結(jié)果可以使用重排序Re-ranking模型進(jìn)行精排提升相關(guān)性。LLM 調(diào)用優(yōu)化緩存對(duì)相同或相似的問答對(duì)進(jìn)行緩存可以顯著降低成本和延遲。緩存可以放在 Redis 中鍵可以是問題的 Embedding 向量或哈希值。流式響應(yīng)對(duì)于長文本生成使用流式Streaming響應(yīng)可以提升用戶體驗(yàn)。模型分級(jí)簡單的查詢使用低成本模型如 GPT-3.5-Turbo復(fù)雜、重要的查詢?cè)偈褂酶咝阅苣Ｐ腿?GPT-4。Skills 設(shè)計(jì)Skills 應(yīng)保持輕量化和無狀態(tài)避免長時(shí)間運(yùn)行的操作。如果 Skill 本身很耗時(shí)應(yīng)設(shè)計(jì)為異步觸發(fā)通過回調(diào)或輪詢告知結(jié)果。將這個(gè)項(xiàng)目寫入簡歷時(shí)重點(diǎn)突出你如何設(shè)計(jì)并實(shí)現(xiàn)了一個(gè)整合了 LLM 網(wǎng)關(guān)、RAG、知識(shí)庫和 Skills 的端到端 AI 應(yīng)用系統(tǒng)強(qiáng)調(diào)你在架構(gòu)設(shè)計(jì)、技術(shù)選型、生產(chǎn)問題排查和性能優(yōu)化方面的思考與實(shí)踐。面試時(shí)你可以沿著“需求分析 - 架構(gòu)設(shè)計(jì) - 技術(shù)選型理由 - 關(guān)鍵實(shí)現(xiàn)細(xì)節(jié) - 遇到的坑及解決方案 - 未來優(yōu)化方向”這條主線來闡述這遠(yuǎn)比單純羅列技術(shù)名詞更有深度。