寫在前面這是本系列的第二十五篇。操作系統(tǒng)為我們的應(yīng)用程序提供了多種持久化控制的機(jī)制包括fsync等保證崩潰一致性的 API。但如果所有的業(yè)務(wù)邏輯都要靠手工去調(diào)這些底層的 API那開發(fā)者的心智負(fù)擔(dān)就太大了。在此基礎(chǔ)上我們能否在應(yīng)用程序之上實(shí)現(xiàn)一套更為可靠、更為高可用的數(shù)據(jù)存儲(chǔ)抽象本講內(nèi)容作為《操作系統(tǒng)》課程的彩蛋延伸我們將跳出內(nèi)核的泥潭探討數(shù)據(jù)庫(kù)系統(tǒng)SQL 與 NoSQL的設(shè)計(jì)原理與實(shí)現(xiàn)技術(shù)。文件系統(tǒng) API 到此結(jié)束作為操作系統(tǒng)留給上層應(yīng)用的基礎(chǔ)原語(yǔ)文件系統(tǒng) API 的核心可以概括為四個(gè)方面文件 (數(shù)據(jù) 元數(shù)據(jù)) 管理:open,read,write,close,stat,chmod,chown,fsetxattr/fgetxattr,ftruncate…目錄樹管理:mount,mkdir,readdir,link,symlink,unlink,rename,chdir…科普rename_ 系統(tǒng)調(diào)用是極其強(qiáng)大的它在很多文件系統(tǒng)底層被保證為絕對(duì)的原子操作。_一致性管理:syncsyncfsfsyncfdatasync。其他相關(guān) API:flock,mmap…關(guān)系代數(shù)、SQL 和數(shù)據(jù)庫(kù) (Spicy ?)什么是“應(yīng)用程序”軟件是物理世界過(guò)程在信息世界中的投影。軟件天生有著 Persist Data (持久化數(shù)據(jù)) 的需求個(gè)人信息學(xué)籍、訂單、交易流水、維護(hù)日志……試想一下如果我們不借助現(xiàn)成的數(shù)據(jù)庫(kù)要如何“從零開始”手搓一個(gè)南京大學(xué)的教務(wù)系統(tǒng)盡管我們平時(shí)總是吐槽學(xué)校的教務(wù)系統(tǒng)多么難用但在潛意識(shí)里我們依然敢把成績(jī)和學(xué)分?jǐn)?shù)據(jù)放心地交給它這就是持久化帶來(lái)的信任。純手工保存應(yīng)用數(shù)據(jù)的痛點(diǎn)方案 1在文件虛擬磁盤上直接構(gòu)建數(shù)據(jù)結(jié)構(gòu)就像定義 ELF、BMP 文件格式一樣自己定義數(shù)據(jù)的字節(jié)排布structsuperblock{structstudent*s;structcourse*c;}structstudent{charstuid[16];...};structcourse{charcid[16];...}任何需求如expel(s)退學(xué)enroll(s, c)選課都需要應(yīng)用系統(tǒng)自己去翻譯成繁瑣的read,write,lseek或mmap。(注某些極端的應(yīng)用確實(shí)是這么干的比如單機(jī)游戲存檔或者直接記錄 UI 事件的 Replay 快照)。方案 2利用目錄樹用文件夾代表實(shí)體用文件代表屬性。ehall.nju.edu.cn/teacherJxrwApp/22020230/4 ├── enrollment │ ├──231220001.md │ ├──231220002.md │ └──...這樣 UNIX 世界里的find,grep等工具都能直接用。但問(wèn)題接踵而至如何關(guān)聯(lián)學(xué)生和成績(jī)用Symlink軟鏈接嗎如何在萬(wàn)人同時(shí)搶課時(shí)保證并發(fā)訪問(wèn)的安全和Crash Consistency我們需要的到底是什么Concurrency (并發(fā)):全校一起搶課系統(tǒng)不能崩。且不能無(wú)腦用一把全局大鎖否則幾萬(wàn)人的請(qǐng)求排隊(duì)會(huì)直接讓系統(tǒng)超時(shí)。Persistence (持久化):系統(tǒng)故障甚至是機(jī)房斷電落盤的數(shù)據(jù)絕對(duì)不能丟。Atomicity (原子性):withAllOrNothing():// 要么全成功要么全失敗回滾forid in enroll_list:Path(fenrollment/{id}.md).write_text(y)降維打擊Relational Database (關(guān)系型數(shù)據(jù)庫(kù))有沒(méi)有一個(gè)比目錄/文件更好用的 API 呢有這就是 1981 年圖靈獎(jiǎng)得主 Edgar F. Codd 提出的關(guān)系模型?！癋uture users of large data banks must be protected from having to know how the data is organized in the machine.”必須保護(hù)未來(lái)大型數(shù)據(jù)庫(kù)的用戶使他們不必去了解數(shù)據(jù)在機(jī)器中是如何組織和存儲(chǔ)的。數(shù)據(jù)抽象的極致Everything is a table (萬(wàn)物皆表)。每行代表一個(gè)對(duì)象對(duì)象可以用ID(指針) 關(guān)聯(lián)其他對(duì)象。這就消解了 C 語(yǔ)言里繁瑣的指針鏈表。SQL 查詢指針的優(yōu)雅“配對(duì)”我們不需要寫循環(huán)去遍歷鏈表了只需寫一條聲明式的語(yǔ)句SELECTCourses.TitleFROMStudentJOINTakes_CourseONStudent.IDTakes_Course.IDJOINCoursesONTakes_Course.ClassIDCourses.ClassIDWHEREStudent.NameLIKE張%數(shù)據(jù)庫(kù)系統(tǒng)開啟了軟件的新時(shí)代ACID 數(shù)據(jù)庫(kù)的承諾A (Atomicity, 原子性)C (Consistency, 一致性)I (Isolation, 隔離性):Strong serializability (強(qiáng)可串行化)無(wú)論怎么并發(fā)最終結(jié)果都像是一個(gè)接一個(gè)按順序完成的。D (Durability, 持久性):Strong crash consistency系統(tǒng)斷電 Crash 也絕不會(huì)損壞或丟失數(shù)據(jù)。學(xué)過(guò)了《操作系統(tǒng)》底層機(jī)制的你應(yīng)該很好理解這背后的技術(shù)含金量。數(shù)據(jù)庫(kù)不僅幫你做了“一把大鎖保平安”的效果還在底層瘋狂優(yōu)化實(shí)現(xiàn)了大規(guī)模并行的恐怖性能并且附贈(zèng)了基于Redo Log的完全自動(dòng)崩潰恢復(fù)。把應(yīng)用數(shù)據(jù)交給數(shù)據(jù)庫(kù)對(duì)于程序員來(lái)說(shuō)就是一勞永逸。只要不是大到“國(guó)民級(jí)”的逆天并發(fā)應(yīng)用關(guān)系數(shù)據(jù)庫(kù)分庫(kù)、分表、B樹索引、讀寫分離全都能幫你搞定。關(guān)系數(shù)據(jù)庫(kù)底層的深淵實(shí)現(xiàn) (Spicy ?)Database v.s. Compilers (數(shù)據(jù)庫(kù)本質(zhì)是編譯器)實(shí)現(xiàn) SQL 查詢本質(zhì)上就是在做編譯優(yōu)化語(yǔ)義等價(jià)的 Rewriting。數(shù)據(jù)庫(kù)引擎要把你的 SQL 語(yǔ)句翻譯成底層的物理執(zhí)行計(jì)劃。數(shù)據(jù)庫(kù)是一個(gè)超級(jí)復(fù)雜的并發(fā)程序SQL 查詢底層對(duì)應(yīng)的無(wú)非就是對(duì)內(nèi)存和磁盤的Write(x)和Read(y)。它必須自己維護(hù)一套“磁盤上的數(shù)據(jù)結(jié)構(gòu)”。它大量使用類似文件系統(tǒng)的 Write-ahead Logging (WAL) 技術(shù)來(lái)保證 Crash Consistency。但它的并發(fā)控制比操作系統(tǒng)更困難。因?yàn)殚L(zhǎng)事務(wù)Transactions是不可能用簡(jiǎn)單的lock/unlock來(lái)實(shí)現(xiàn)的這會(huì)瞬間鎖死整個(gè)庫(kù)。偉大的例子SQLite“SQLite is the most used database engine in the world. SQLite is built into all mobile phones and most computers…”Android, iOS, macOS, Chrome 等幾乎所有平臺(tái)中都深深內(nèi)嵌了 SQLite。Zero Configuration無(wú)需配置守護(hù)進(jìn)程發(fā)行版自帶libsqlite3.so。它是年輕程序員開發(fā)第一個(gè)應(yīng)用的首選。不用關(guān)系的數(shù)據(jù)庫(kù)NoSQL (Spicy ?)如果要實(shí)現(xiàn)“國(guó)民級(jí)”的應(yīng)用當(dāng)你的數(shù)據(jù)達(dá)到了億級(jí)、甚至十億級(jí)別傳統(tǒng)的 SQL 就顯得吃力了。SELECT*FROMchat_recordsWHERE(sender_iduser_id1ANDreceiver_iduser_id2)OR(sender_iduser_id2ANDreceiver_iduser_id1)ORDERBYtimestampDESCLIMIT10對(duì)于國(guó)民級(jí)社交軟件這樣一條“合法且正確”的 SQL如果碰上沒(méi)有建立完美索引的億級(jí)表會(huì)瞬間讓數(shù)據(jù)庫(kù)引擎 CPU 拉滿甚至癱瘓整個(gè)系統(tǒng)。因?yàn)橄到y(tǒng)提供商永遠(yuǎn)無(wú)法預(yù)知應(yīng)用程序員會(huì)寫出怎樣逆天的 Query 語(yǔ)句。只要提供了功能就必然會(huì)被濫用 $ \rightarrow $ 導(dǎo)致 Performance Bug。這是任何底層 Systems 都無(wú)法避免的技術(shù)債。解決方法做減法(NoSQL 誕生)犧牲掉極其復(fù)雜的“多表聯(lián)查 (JOIN)”和“通用性”換來(lái)極簡(jiǎn)的能力、極其殘暴的讀寫性能和極其容易的橫向擴(kuò)展性。Key/Value (鍵值對(duì)):最簡(jiǎn)單、最高效。適合緩存、計(jì)數(shù)器。Document (文檔型 JSON):NoSQL 實(shí)現(xiàn)“國(guó)民級(jí)”應(yīng)用的主力。Column (列族):適合海量數(shù)據(jù)的分析。Graph (圖):適合社交網(wǎng)絡(luò)關(guān)系。AI 時(shí)代的 Vector (向量):大語(yǔ)言模型檢索的基石。為什么 Key-Value 這么好擴(kuò)展 (Scale)只要給 Key 做個(gè) Hash就可以把數(shù)據(jù)完美地散列扔到上千臺(tái)不同的機(jī)器節(jié)點(diǎn)上。寫操作只需 Append-only 追加寫入日志。分布式的高可靠瞬間完成。例如國(guó)民級(jí) APP 的點(diǎn)贊功能應(yīng)用程序全靠 Key 找數(shù)據(jù)user:{uid}歷史記錄user:{uid}:like_history(一個(gè)簡(jiǎn)單的 List)List 直接支持極速的append/pop/range速度極快。內(nèi)存數(shù)據(jù)庫(kù)的王者RedisEveything is In-memory.基于簡(jiǎn)單的 GET / SET。極度豐富的數(shù)據(jù)結(jié)構(gòu)抽象String, JSON, List, Set, Hash, Sorted Set, Stream。甚至支持復(fù)雜的搜索FT.SEARCH products price:[200 300]。支持簡(jiǎn)單的事務(wù)MULTI/WATCH/EXEC也支持異步持久化落盤。持久化 NoSQL 的妥協(xié)很多文檔型和列族數(shù)據(jù)庫(kù)為了降低學(xué)習(xí)門檻會(huì)提供一個(gè) SQL 的“子集”。通過(guò)極簡(jiǎn)的語(yǔ)句接口強(qiáng)行限制程序員的濫用從而在底層保證分布式橫向擴(kuò)展的能力。MongoDB (Document):Key $ \rightarrow $ JSON。比如直接創(chuàng)建一個(gè) JSON 并 append 到user:{uid}.messages。Cassandra (Column):語(yǔ)言叫CQL看起來(lái)很像 SQL但功能極其受限。INSERTINTOmessages(user_id,message_id,content,timestamp)VALUES(1234567,now(),message,toTimestamp(now()));總結(jié)Take-away messages:在操作系統(tǒng)底層為我們提供的文件、目錄、網(wǎng)絡(luò)等“粗糙”的 API 之上開發(fā)者們發(fā)揮了驚人的創(chuàng)造力。我們看到了為了降低心智負(fù)擔(dān)而興起的關(guān)系數(shù)據(jù)庫(kù)看到了為了應(yīng)對(duì)億級(jí)高并發(fā)而做減法繁榮起來(lái)的 NoSQL以及今天浪潮正盛的 AI 向量數(shù)據(jù)庫(kù)。在這幾波狂暴的技術(shù)浪潮之間雖然操作系統(tǒng)的內(nèi)部實(shí)現(xiàn)發(fā)生過(guò)天翻地覆的重構(gòu)但操作系統(tǒng)的 API 卻相當(dāng)驚人地保持了穩(wěn)定POSIX。正是這種數(shù)十年的“穩(wěn)定性”支撐起了上層應(yīng)用生態(tài)無(wú)所顧忌的繁榮。這也是操作系統(tǒng)作為一切軟件“基石平臺(tái)”最偉大的使命。