【免費(fèi)下載鏈接】ai-engineering-interview-questions-company-wiseYour Cheat Sheet For AI Engineering Interviews at Top AI Companies - Questions and Answers.項(xiàng)目地址https://gitcode.com/gh_mirrors/ai/ai-engineering-interview-questions-company-wise點(diǎn)擊查看免費(fèi)下載大模型系統(tǒng)評(píng)估是 AI 工程面試中被問(wèn)得最多的主題之一。本文基于開(kāi)源項(xiàng)目ai-engineering-interview-questions-company-wise——一個(gè)收錄了 Anthropic、OpenAI、Perplexity、Cognition 等 35 家頂級(jí) AI 公司真實(shí)面試題的 Cheat Sheet——帶你系統(tǒng)拆解三大高頻考點(diǎn)LLM-as-Judge、**幻覺(jué)檢測(cè)Hallucination Detection**與Agent 評(píng)測(cè)并附上可直接對(duì)照的題庫(kù)原文位置幫你在面試前快速搭起一套能講得出、畫(huà)得出的評(píng)估框架。為什么如何評(píng)估大模型系統(tǒng)幾乎必考翻遍題庫(kù)你會(huì)發(fā)現(xiàn)一個(gè)規(guī)律Evaluation Observability 幾乎是 35 家公司面試流程的標(biāo)配環(huán)節(jié)。在跨公司通用題部分README.md光評(píng)估類(lèi)問(wèn)題就有 12 道且?guī)缀趺款}都標(biāo)注了出處公司。面試官想考察的不是背誦定義而是三個(gè)遞進(jìn)的能力離線評(píng)估上線前怎么證明系統(tǒng)好用評(píng)估集、指標(biāo)、裁判回歸門(mén)禁改一個(gè) prompt、換一個(gè)模型版本怎么證明沒(méi)變差在線監(jiān)控上線后怎么持續(xù)度量質(zhì)量、成本和用戶(hù)反饋下面逐個(gè)拆解題庫(kù)中的真題與答題思路。LLM-as-Judge用模型評(píng)委給大模型打分這道題怎么問(wèn)Design an LLM-as-judge evaluation. What are its known biases and how do you correct for them? ——出自 Perplexity見(jiàn) README.md當(dāng)回答沒(méi)有標(biāo)準(zhǔn)答案開(kāi)放問(wèn)答、摘要、客服對(duì)話時(shí)人工評(píng)估太貴業(yè)界通用做法是用一個(gè)更強(qiáng)的 LLM 當(dāng)評(píng)委按評(píng)分標(biāo)準(zhǔn)rubric給候選回答打分。高分回答的三個(gè)要點(diǎn)設(shè)計(jì)評(píng)審協(xié)議先寫(xiě)清楚 rubric正確性、完整性、語(yǔ)氣等維度讓裁判模型輸出分?jǐn)?shù) 理由而不是模糊的好/壞點(diǎn)名已知偏差位置偏差A(yù)/B 對(duì)比時(shí)偏愛(ài)放在前面的回答、冗長(zhǎng)偏差偏愛(ài)更長(zhǎng)的答案、自我偏好偏愛(ài)和自己風(fēng)格相似的輸出給出修正手段交換 A/B 位置各評(píng)一次取均值、定期抽樣人工校準(zhǔn)裁判、用不同家族的模型交叉評(píng)審。想答得更有深度可以順帶引用 Perplexity 的另一道在線評(píng)估題如何持續(xù)、大規(guī)模地評(píng)估答案質(zhì)量同時(shí)結(jié)合自動(dòng)信號(hào)和人工信號(hào)README.md——把離線 Judge 和在線評(píng)估串起來(lái)就是完整的評(píng)估閉環(huán)。幻覺(jué)檢測(cè)生產(chǎn)級(jí) RAG 系統(tǒng)怎么測(cè)量胡說(shuō)這道題怎么問(wèn)How do you detect and measure hallucinations in a production RAG system? ——出自 Anthropic、OpenAI、Cursor見(jiàn) README.md推薦的答題框架把幻覺(jué)量化聲明級(jí)拆解Claim Decomposition把生成的回答拆成一條條原子聲明公司成立于 2009 年退款周期 3 天……溯源校驗(yàn)Attribution每條聲明必須能在檢索到的源文本片段中找到支撐找不到的就標(biāo)記為無(wú)依據(jù)聲明。Harvey法律 AI的面試甚至要求每個(gè)斷言都要鏈接到具體段落并設(shè)計(jì)系統(tǒng)測(cè)量無(wú)依據(jù)聲明率unsupported-claim rateREADME.md計(jì)算指標(biāo)幻覺(jué)率 無(wú)依據(jù)聲明數(shù) ÷ 總聲明數(shù)再疊加抽樣人工復(fù)核當(dāng)作安全事件處理Abridge醫(yī)療 AI的真題最典型——生成的病歷里出現(xiàn)了患者從未提到的藥物如何在其被醫(yī)生看到之前發(fā)現(xiàn)README.md。這提示你高置信的錯(cuò)誤正是幻覺(jué)最危險(xiǎn)的地方檢測(cè)要跑在人看到之前。沒(méi)有標(biāo)注數(shù)據(jù)怎么辦Cohere 和 Harvey 都問(wèn)過(guò)變體沒(méi)有標(biāo)簽、專(zhuān)家又很貴怎么構(gòu)建評(píng)估集README.md——答法是從線上日志抽樣 LLM-as-Judge 初篩 少量專(zhuān)家終審滾動(dòng)沉淀成評(píng)估集。Agent 評(píng)測(cè)從單條回復(fù)到完整任務(wù)這道題怎么問(wèn)How would you evaluate an agent, as opposed to a single model response? ——出自 Moonshot AI、Zhipu AI、Scale AI、Cognition見(jiàn) README.md評(píng)估單條回復(fù)看這一次答得好不好評(píng)估 Agent 看的是一整個(gè)任務(wù)鏈路工具調(diào)用是否正確、多步推理有沒(méi)有跑偏、最終任務(wù)完成度、花了多少步和多少錢(qián)。三個(gè)能拉開(kāi)差距的反直覺(jué)追問(wèn)題庫(kù)里有三道題專(zhuān)門(mén)考察你是否真的懂 Agent 評(píng)測(cè)為什么 SWE-bench 的通過(guò)率會(huì)誤導(dǎo)人—— Cognition 原題考察你理解離線基準(zhǔn)通過(guò)率 ≠ 真實(shí)任務(wù)完成率README.md你的 Agent 通過(guò)了 92% 的評(píng)估任務(wù)。這個(gè)數(shù)字為什么可能是錯(cuò)的你還測(cè)什么—— Sierra 原題答案是評(píng)估集可能太簡(jiǎn)單、覆蓋了高頻路徑卻漏掉長(zhǎng)尾場(chǎng)景應(yīng)補(bǔ)充分布覆蓋度分析和線上真實(shí)任務(wù)采樣README.md怎么在 SWE-bench 和 τ-bench 上評(píng)估 Agent 而不自欺欺人—— Zhipu AI 原題指向基準(zhǔn)污染與過(guò)擬合問(wèn)題README.md。與之配套的還有兩道具箱即用的設(shè)計(jì)題回歸門(mén)禁——設(shè)計(jì)一個(gè)門(mén)禁決定某個(gè) prompt 或模型變更能否上線AnthropicREADME.md在線評(píng)估——記什么日志、采什么樣本、A/B 測(cè)什么PerplexityREADME.md。35 家公司評(píng)估類(lèi)真題速查表公司代表性評(píng)估真題出處Anthropic設(shè)計(jì)實(shí)驗(yàn)檢測(cè)某項(xiàng)涌現(xiàn)能力/偏差prompt 變更回歸門(mén)禁README.mdOpenAI客戶(hù)說(shuō)升級(jí)模型版本后效果變差如何驗(yàn)證與響應(yīng)README.mdGoogle DeepMind為新旗艦?zāi)Ｐ桶l(fā)布構(gòu)建評(píng)估框架evaluation harnessREADME.mdCognition如何評(píng)估自主軟件工程 AgentSWE-bench 為何誤導(dǎo)README.mdSierra對(duì)話空間近乎無(wú)限上線前如何評(píng)估對(duì)話 AgentREADME.mdPerplexity大規(guī)模持續(xù)評(píng)估答案質(zhì)量在線評(píng)估該 A/B 什么README.mdScale AI無(wú) ground truth 的主觀偏好任務(wù)如何度量標(biāo)注質(zhì)量README.mdHarvey設(shè)計(jì) grounding 系統(tǒng)測(cè)量無(wú)依據(jù)聲明率README.mdMoonshot AIAgent 模型好不好不能只看一個(gè)基準(zhǔn)分?jǐn)?shù)README.mdAbridge兩位醫(yī)生寫(xiě)的病歷不同病歷質(zhì)量到底怎么評(píng)README.md三步備考路線如何用這份題庫(kù)先讀通用題重點(diǎn)刷 Evaluation and Observability 小節(jié)把這 12 道題按離線評(píng)估集 → LLM-as-Judge → 回歸門(mén)禁 → 在線監(jiān)控四層框架各想一遍答案再刷目標(biāo)公司按表格定位你心儀公司章節(jié)重點(diǎn)看評(píng)估類(lèi)真題結(jié)合該公司的業(yè)務(wù)場(chǎng)景法律、醫(yī)療、搜索、Agent 產(chǎn)品調(diào)整措辭最后做輸出演練任選一道真題嘗試在白板上畫(huà)出評(píng)估集 裁判 門(mén)禁 監(jiān)控的完整鏈路圖這就是面試官最想看到的畫(huà)面。本地拿到題庫(kù)git clone https://gitcode.com/gh_mirrors/ai/ai-engineering-interview-questions-company-wise寫(xiě)在最后一句話總結(jié)面試心法評(píng)估大模型系統(tǒng) 離線評(píng)估集 LLM-as-Judge 裁判 回歸門(mén)禁 在線監(jiān)控四件套缺一不可。把這四件講透再引用一兩道真題細(xì)節(jié)比如無(wú)依據(jù)聲明率92% 為什么誤導(dǎo)你在評(píng)估類(lèi)問(wèn)題上的回答就會(huì)明顯高于平均水平。祝面試順利贊分享【免費(fèi)下載鏈接】ai-engineering-interview-questions-company-wiseYour Cheat Sheet For AI Engineering Interviews at Top AI Companies - Questions and Answers.項(xiàng)目地址https://gitcode.com/gh_mirrors/ai/ai-engineering-interview-questions-company-wise點(diǎn)擊查看免費(fèi)下載相關(guān)推薦garak 檢測(cè)器指南garak.detectors.judge——用 LLM-as-a-Judge 評(píng)估目標(biāo)模型響應(yīng)garak 檢測(cè)器指南garak.detectors.judge——用 LLM as a Judge 評(píng)估目標(biāo)模型響應(yīng) 導(dǎo)讀 garak.detectors.人工智能大模型模型評(píng)測(cè)紅藍(lán)對(duì)抗提示詞注入防護(hù)模型安全AI 安全治理OpenCompass 主觀評(píng)測(cè)指南基于 LLM-as-a-Judge 的模型能力評(píng)估OpenCompass 主觀評(píng)測(cè)指南基于 LLM as a Judge 的模型能力評(píng)估 導(dǎo)讀 主觀評(píng)測(cè)旨在衡量模型在與人類(lèi)偏好對(duì)齊的任務(wù)上的表現(xiàn)其核心評(píng)判標(biāo)模型評(píng)測(cè)人工智能大模型AI 評(píng)測(cè)Agno Agent-as-Judge 評(píng)測(cè)指南用 LLM 裁判自動(dòng)化評(píng)估 Agent 輸出質(zhì)量Agno Agent as Judge 評(píng)測(cè)指南用 LLM 裁判自動(dòng)化評(píng)估 Agent 輸出質(zhì)量 導(dǎo)讀 本文圍繞 Agno 開(kāi)源倉(cāng)庫(kù)中 cookbook/09人工智能大模型AI AgentAgent 框架多智能體工具調(diào)用RAGAgent 工作流Agent 記憶創(chuàng)作聲明：本文部分內(nèi)容由AI輔助生成（AIGC），僅供參考