thor雷神項目Raft進階持久化、快照與日志壓縮一文搞懂【免費下載鏈接】thor項目地址: https://gitcode.com/gh_mirrors/thor3/thorthor 雷神項目是一個專注于 MIT 6.824 分布式系統(tǒng)課程的中文字幕翻譯項目。在這篇文章中我們將借助該項目整理的課程資料一次性搞懂Raft 持久化、快照Snapshot與日志壓縮Log Compaction這三大進階主題。無論你是剛接觸分布式系統(tǒng)的新手還是正在刷 6.824 Lab 3 的實驗黨這篇通俗易懂的指南都能幫你建立清晰的心智模型。為什么 Raft 需要持久化先理解重啟這個難題想象一下一個 Raft 集群里的服務(wù)器突然斷電重啟它該如何重新融入集群答案是——它必須記住一些絕對不能丟的信息。如果服務(wù)器重啟后失憶就可能發(fā)生重復投票、任期錯亂甚至產(chǎn)生兩個 leader 同時發(fā)號施令的嚴重問題腦裂。Raft 論文的 Figure 2 明確給出了答案整個 Raft 協(xié)議中只有三樣東西需要持久化。記住這一點你就能理解 6.824 Lab 3 中大部分persist()代碼的動機。需要持久化的狀態(tài)作用丟失的后果日志Log記錄所有已提交、待提交的客戶端指令無法恢復應(yīng)用狀態(tài)currentTerm當前任期防止舊任期節(jié)點干擾選舉可能造成重復投票、選票錯亂votedFor投票給誰保證一個任期只投一票同一任期可能投出兩票導致兩個 leader 有意思的是應(yīng)用層狀態(tài)比如 KV 存儲的鍵值表反而不要求持久化——因為它可以由日志重放完整重建。這正是日志是應(yīng)用狀態(tài)的唯一記錄這一設(shè)計哲學的體現(xiàn)。日志為什么必須落盤一次崩潰就明白了假設(shè)一個 follower 剛收到 leader 發(fā)來的日志條目還沒來得及落盤就崩潰了。重啟后它的日志里沒有這條記錄那它在下一次選舉中投出的票、做出的決定就可能基于殘缺的歷史——這會讓集群的一致性大打折扣。所以 Raft 的規(guī)則是日志條目必須持久化到磁盤后才算安全。在 thor 項目的課程字幕中老師專門強調(diào)在真實的 Raft 實現(xiàn)里持久化是性能的關(guān)鍵瓶頸——因為磁盤寫入哪怕是 SSD也比內(nèi)存慢幾個數(shù)量級每次落盤可能消耗約 10 毫秒。日志會無限增長快照與日志壓縮登場現(xiàn)在進入今天的主角日志壓縮與快照。如果系統(tǒng)運行幾個月甚至幾年日志會怎樣按照 Raft 的基本規(guī)則日志只會不斷增長——可能積累數(shù)百萬條記錄這會導致三個問題 占用巨大的磁盤空間每次持久化都是一次昂貴的 I/O 占內(nèi)存所有條目都要在內(nèi)存中保留? 重啟恢復極慢服務(wù)器需要從頭重放數(shù)百萬條日志才能重建狀態(tài)可能要花幾個小時而快照Snapshot就是解決這個問題的優(yōu)雅方案。思路很簡單既然日志里大部分舊指令的效果已經(jīng)體現(xiàn)在應(yīng)用狀態(tài)里了為什么不直接保存一份應(yīng)用狀態(tài)的副本然后把舊日志扔掉呢舉例來說如果日志里依次寫著X1、X2、Y7那么只要保存最終狀態(tài)X2, Y7前面兩條關(guān)于 X 的記錄就可以丟棄了。快照的創(chuàng)建流程三步走Raft 的快照機制可以概括為三步向應(yīng)用層要狀態(tài)Raft 層請求應(yīng)用層如 KV 存儲生成一份當前狀態(tài)的快照副本打標簽快照必須和日志中的某個位置某個日志條目的索引對應(yīng)這樣才知道這份快照代表執(zhí)行到哪一步的狀態(tài)落盤并清理把快照保存到磁盤同時把該位置之前的日志全部刪除日志被壓縮成一條精簡記錄之后服務(wù)器重啟時就不需要從頭重放日志了——先加載最近的快照再重放快照之后的少量日志即可恢復速度大幅提升。落后的 follower 如何追趕InstallSnapshot RPC集群中難免有節(jié)點落后太多比如宕機很久的節(jié)點或者新加入集群的節(jié)點。此時 leader 需要的日志可能已經(jīng)被快照壓縮掉了怎么辦Raft 為此設(shè)計了InstallSnapshot RPC安裝快照請求leader 直接把自己保存的最新快照發(fā)給落后的 followerfollower 接收快照后直接丟棄自己過時的日志加載這份快照就能快速追上集群進度。整個過程無需逐條同步舊日志非常高效。值得一提的是快照必須帶有任期與索引標簽這樣接收方才能判斷快照是否過期、是否可以安全接受從而保證一致性不被破壞。用 thor 項目資料系統(tǒng)學習 Raft 進階知識理論講完實戰(zhàn)學習資源來了thor 雷神項目已經(jīng)將這些內(nèi)容整理成了雙語字幕配合視頻觀看效果最佳 lec06/tolerance_raft_1.srtRaft 基礎(chǔ)、復制狀態(tài)機與領(lǐng)導者選舉 lec07/tolerance_raft_2.en.srt持久化、日志壓縮與快照專題本文章節(jié)核心來源 lec05/threads_and_raft.en.srt多線程編程與 Raft 入門 lec04/primary_backup_replication.en.srt主備復制理解 Raft 之前的容錯方案配套資料同樣值得收藏 glossary.md分布式系統(tǒng)術(shù)語對照表幫助統(tǒng)一術(shù)語理解 doc/manual.md字幕翻譯規(guī)范細節(jié)了解項目組織方式 doc/how_to_do.md字幕翻譯入門指南想?yún)⑴c貢獻的同學必讀課程中老師也明確指出日志壓縮與快照正是 MIT 6.824 Lab 3B 的核心考點。如果你正在做 Lab 3把上面 lec07 的字幕反復聽幾遍很多實現(xiàn)細節(jié)比如何時調(diào)用快照、如何保存 lastIncludedIndex都會豁然開朗。小結(jié)一張圖記住核心要點概念一句話理解持久化日志、currentTerm、votedFor 三樣必須落盤日志應(yīng)用狀態(tài)的唯一記錄重啟靠它重放快照保存應(yīng)用狀態(tài)副本丟棄舊日志日志壓縮用快照機制讓日志瘦身InstallSnapshotleader 把快照發(fā)給落后節(jié)點幫它快速追趕Raft 的持久化、快照與日志壓縮本質(zhì)上都是在回答同一個問題如何在節(jié)點崩潰、網(wǎng)絡(luò)分區(qū)等故障下依然保證數(shù)據(jù)不丟、狀態(tài)一致理解了這三個機制你就掌握了 Raft 進階的鑰匙。配合 thor 雷神項目的雙語字幕資料把 MIT 6.824 的經(jīng)典內(nèi)容啃下來分布式系統(tǒng)的功底會扎實很多。祝學習順利【免費下載鏈接】thor項目地址: https://gitcode.com/gh_mirrors/thor3/thor創(chuàng)作聲明：本文部分內(nèi)容由AI輔助生成（AIGC），僅供參考