存儲(chǔ)分布式文件系統(tǒng)緩存大數(shù)據(jù)【免費(fèi)下載鏈接】alluxioAlluxio, data orchestration for analytics and machine learning in the cloud項(xiàng)目地址https://gitcode.com/gh_mirrors/al/alluxio點(diǎn)擊查看免費(fèi)下載Alluxio 作為面向分析與機(jī)器學(xué)習(xí)場(chǎng)景的數(shù)據(jù)編排系統(tǒng)其安全體系圍繞「身份驗(yàn)證Authentication→ 訪(fǎng)問(wèn)權(quán)限控制Authorization→ 用戶(hù)模擬Impersonation→ 審計(jì)Auditing→ 加密Encryption」五層能力展開(kāi)。本文基于倉(cāng)庫(kù)內(nèi)官方文檔 docs/cn/security/Security.md 并結(jié)合核心源碼系統(tǒng)講解每一層安全特性的啟用方式、配置參數(shù)、底層實(shí)現(xiàn)與部署注意事項(xiàng)幫助讀者掌握從零開(kāi)啟 Alluxio 安全能力并排查常見(jiàn)問(wèn)題的完整方案。安全功能總覽與啟用入口Alluxio 文件系統(tǒng)的安全能力由四個(gè)開(kāi)關(guān)型功能構(gòu)成它們之間既有依賴(lài)關(guān)系又各自獨(dú)立功能啟用方式依賴(lài)前提身份驗(yàn)證alluxio.security.authentication.typeSIMPLE默認(rèn)值無(wú)訪(fǎng)問(wèn)權(quán)限控制alluxio.security.authorization.permission.enabledtrue默認(rèn)值身份驗(yàn)證不能是NOSASL因?yàn)槭跈?quán)需要用戶(hù)信息用戶(hù)模擬服務(wù)端alluxio.master.security.impersonation.USERNAME.* 客戶(hù)端alluxio.security.login.impersonation.username身份驗(yàn)證需為SIMPLE或CUSTOM審計(jì)日志alluxio.master.audit.logging.enabledtrue無(wú)其中身份驗(yàn)證是整個(gè)安全體系的地基在SIMPLE默認(rèn)模式下Alluxio 文件系統(tǒng)能區(qū)分使用服務(wù)的用戶(hù)要使用訪(fǎng)問(wèn)權(quán)限控制與審計(jì)日志等更高級(jí)的特性SIMPLE身份驗(yàn)證需要保持開(kāi)啟。此外 Alluxio 還支持NOSASL與CUSTOM兩種身份驗(yàn)證模式。各安全特性的完整配置參數(shù)清單可參考倉(cāng)庫(kù)內(nèi)的 安全配置參數(shù)列表實(shí)際配置則通過(guò) alluxio-site.properties 模板 寫(xiě)入。身份驗(yàn)證Authentication身份驗(yàn)證決定 Alluxio「如何知道訪(fǎng)問(wèn)者是誰(shuí)」。在源碼中認(rèn)證模式由枚舉 AuthType.java 定義包含NOSASL、SIMPLE、CUSTOM以及當(dāng)前尚不支持的KERBEROS而 PropertyKey.java 中alluxio.security.authentication.type的默認(rèn)值即為SIMPLE其說(shuō)明明確指出默認(rèn)的 SIMPLE 認(rèn)證下「服務(wù)端信任客戶(hù)端所聲稱(chēng)的任何用戶(hù)Server trusts whoever the client claims to be」。SIMPLE 模式當(dāng)alluxio.security.authentication.type設(shè)置為SIMPLE時(shí)身份驗(yàn)證被啟用?？蛻?hù)端在訪(fǎng)問(wèn) Alluxio 服務(wù)前按以下次序獲取用戶(hù)信息并匯報(bào)給服務(wù)端若屬性alluxio.security.login.username在客戶(hù)端上被設(shè)置其值將作為此客戶(hù)端的登錄用戶(hù)否則將從操作系統(tǒng)獲取登錄用戶(hù)?？蛻?hù)端檢索到用戶(hù)信息后使用該身份連接服務(wù)在創(chuàng)建目錄/文件后用戶(hù)信息被寫(xiě)入元數(shù)據(jù)并可通過(guò) CLI 與 Web UI 檢索到。從源碼角度看SIMPLE 模式的服務(wù)端校驗(yàn)實(shí)現(xiàn)位于 SimpleAuthenticationProvider.java其authenticate()方法為 no-op允許任意用戶(hù)名與密碼組合包括空字符串印證了「SIMPLE 模式下服務(wù)端不做密碼校驗(yàn)、只記錄用戶(hù)身份」的事實(shí)。而 AuthenticationProvider.java 中的Factory.create()負(fù)責(zé)根據(jù)認(rèn)證類(lèi)型實(shí)例化對(duì)應(yīng)的 ProviderSIMPLE對(duì)應(yīng)SimpleAuthenticationProviderCUSTOM對(duì)應(yīng)CustomAuthenticationProvider。NOSASL 模式當(dāng)alluxio.security.authentication.type為NOSASL時(shí)身份驗(yàn)證被禁用。Alluxio 服務(wù)將忽略客戶(hù)端的用戶(hù)不把任何用戶(hù)信息與創(chuàng)建的文件或目錄關(guān)聯(lián)。因此NOSASL模式下無(wú)法開(kāi)展基于用戶(hù)信息的授權(quán)檢查——官方文檔明確指出「身份驗(yàn)證不能是 NOSASL因?yàn)槭跈?quán)需要用戶(hù)信息」。該模式適合完全內(nèi)網(wǎng)、不關(guān)心訪(fǎng)問(wèn)者身份的簡(jiǎn)單場(chǎng)景。CUSTOM 模式當(dāng)alluxio.security.authentication.type為CUSTOM時(shí)身份驗(yàn)證被啟用。Alluxio 客戶(hù)端檢查alluxio.security.authentication.custom.provider.class指定的類(lèi)名用于檢索用戶(hù)此類(lèi)必須實(shí)現(xiàn)alluxio.security.authentication.AuthenticationProvider接口即 AuthenticationProvider.java 中定義的authenticate(String user, String password)方法由服務(wù)端在 SASL 握手階段調(diào)用以決定放行或拋出AuthenticationException。對(duì)應(yīng)配置項(xiàng)在源碼中的定義為 SECURITY_AUTHENTICATION_CUSTOM_PROVIDER_CLASS其作用域?yàn)?ALL客戶(hù)端與服務(wù)端均需一致配置。注意CUSTOM 模式目前還處于試驗(yàn)階段官方文檔建議只在測(cè)試中使用。訪(fǎng)問(wèn)權(quán)限控制AuthorizationAlluxio 文件系統(tǒng)為目錄和文件實(shí)現(xiàn)了一套與 POSIX 標(biāo)準(zhǔn)類(lèi)似的訪(fǎng)問(wèn)權(quán)限模型其總開(kāi)關(guān)為alluxio.security.authorization.permission.enabled默認(rèn)值為true見(jiàn) PropertyKey.java。權(quán)限模型的三要素與三行為每個(gè)文件和目錄都與以下各項(xiàng)相關(guān)聯(lián)所屬用戶(hù)owner即在 client 進(jìn)程中創(chuàng)建該文件或文件夾的用戶(hù)所屬組group從用戶(hù)-組映射user-groups-mapping服務(wù)獲取到的組訪(fǎng)問(wèn)權(quán)限permission。訪(fǎng)問(wèn)權(quán)限包含三個(gè)部分所屬用戶(hù)權(quán)限文件所有者的訪(fǎng)問(wèn)權(quán)限所屬組權(quán)限文件所屬組的訪(fǎng)問(wèn)權(quán)限其他用戶(hù)權(quán)限上述兩類(lèi)之外的其余所有用戶(hù)的訪(fǎng)問(wèn)權(quán)限。每項(xiàng)權(quán)限有三種行為readr、writew、executex。具體語(yǔ)義如下對(duì)文件讀取需要r權(quán)限修改需要w權(quán)限對(duì)目錄列出目錄內(nèi)容需要r權(quán)限在目錄下創(chuàng)建、重命名或刪除其子文件/子目錄需要w權(quán)限訪(fǎng)問(wèn)目錄下的子項(xiàng)需要x權(quán)限。當(dāng)啟用訪(fǎng)問(wèn)權(quán)限控制時(shí)運(yùn)行 shell 命令./bin/alluxio fs ls /的輸出會(huì)帶有權(quán)限位與所有者信息$ ./bin/alluxio fs ls / drwxr-xr-x jack staff 24 PERSISTED 11-20-2017 13:24:15:649 DIR /default_tests_files -rw-r--r-- jack staff 80 NOT_PERSISTED 11-20-2017 13:24:15:649 100% /default_tests_files/BASIC_CACHE_PROMOTE_MUST_CACHE用戶(hù)-組映射User-Group Mapping當(dāng)用戶(hù)確定后其組列表通過(guò)組映射服務(wù)確定該服務(wù)由alluxio.security.group.mapping.class配置默認(rèn)實(shí)現(xiàn)是alluxio.security.group.provider.ShellBasedUnixGroupsMapping。對(duì)應(yīng)源碼 ShellBasedUnixGroupsMapping.java 實(shí)現(xiàn)了GroupMappingService接口通過(guò)執(zhí)行g(shù)roupsshell 命令獲取給定用戶(hù)的組關(guān)系并對(duì)結(jié)果用LinkedHashSet去重去除重復(fù)的主組。組映射默認(rèn)啟用緩存機(jī)制映射關(guān)系默認(rèn)緩存 60 秒可通過(guò)alluxio.security.group.mapping.cache.timeout配置將該值設(shè)為0則禁用緩存。在源碼中對(duì)應(yīng) SECURITY_GROUP_MAPPING_CACHE_TIMEOUT_MS默認(rèn)值1min并保留了alluxio.security.group.mapping.cache.timeout.ms別名。alluxio.security.authorization.permission.supergroup屬性定義了一個(gè)超級(jí)組默認(rèn)值supergroup見(jiàn) PropertyKey.java該組中的所有用戶(hù)都是超級(jí)用戶(hù)可執(zhí)行超出常規(guī)權(quán)限的操作。目錄與文件的初始訪(fǎng)問(wèn)權(quán)限初始創(chuàng)建訪(fǎng)問(wèn)權(quán)限為777目錄與文件的區(qū)別為111。默認(rèn)的 umask 值為022因此新創(chuàng)建的目錄權(quán)限為755rwxr-xr-x、文件權(quán)限為644rw-r--r--。umask 可通過(guò)alluxio.security.authorization.permission.umask屬性設(shè)置對(duì)應(yīng)源碼定義見(jiàn) SECURITY_AUTHORIZATION_PERMISSION_UMASK默認(rèn)值即022。更新目錄與文件的訪(fǎng)問(wèn)權(quán)限所屬用戶(hù)、所屬組以及訪(fǎng)問(wèn)權(quán)限可通過(guò)以下兩種方式修改用戶(hù)應(yīng)用調(diào)用FileSystem API或Hadoop API的setAttribute(...)方法詳見(jiàn) 文件系統(tǒng) API 文檔CLI 命令chown、chgrp、chmod詳見(jiàn) User-CLI 文檔。修改權(quán)限的約束規(guī)則如下所屬用戶(hù)只能由超級(jí)用戶(hù)修改所屬組和訪(fǎng)問(wèn)權(quán)限只能由超級(jí)用戶(hù)和文件所有者修改。用戶(hù)模擬Impersonation用戶(hù)模擬允許某一個(gè)用戶(hù)代表另一個(gè)用戶(hù)訪(fǎng)問(wèn) Alluxio該機(jī)制在「Alluxio 客戶(hù)端作為服務(wù)的一部分為多個(gè)用戶(hù)提供數(shù)據(jù)訪(fǎng)問(wèn)」的場(chǎng)景下相當(dāng)有用——典型如 Spark/Hive 等計(jì)算框架中Alluxio 客戶(hù)端以特定連接用戶(hù)連上服務(wù)端但代表實(shí)際發(fā)起任務(wù)的用戶(hù)行事。為了讓 Alluxio 支持用戶(hù)模擬需要在服務(wù)端和客戶(hù)端同時(shí)進(jìn)行配置。服務(wù)端配置服務(wù)端master 與 worker通過(guò)以下兩類(lèi)屬性授權(quán)「誰(shuí)可以模擬誰(shuí)」alluxio.master.security.impersonation.USERNAME.users指定由逗號(hào)分隔的用戶(hù)列表這些用戶(hù)可以被USERNAME模擬通配符*表示任意用戶(hù)都可以被USERNAME模擬。例如alluxio.master.security.impersonation.alluxio_user.usersuser1,user2Alluxio 用戶(hù)alluxio_user被允許模擬user1與user2alluxio.master.security.impersonation.client.users*Alluxio 用戶(hù)client被允許模擬任意用戶(hù)。alluxio.master.security.impersonation.USERNAME.groups指定由逗號(hào)分隔的用戶(hù)組這些用戶(hù)組內(nèi)的用戶(hù)可以被USERNAME模擬通配符*表示可以模擬任意用戶(hù)。例如alluxio.master.security.impersonation.alluxio_user.groupsgroup1,group2alluxio_user可以模擬group1與group2中的任意用戶(hù)alluxio.master.security.impersonation.client.groups*client可以模擬任意用戶(hù)。要使某個(gè)用戶(hù)如alluxio_user具備模擬能力至少需要設(shè)置users與groups兩者之一將USERNAME替換為alluxio_user也可以同時(shí)設(shè)置兩個(gè)參數(shù)作用于同一用戶(hù)?？蛻?hù)端配置如果服務(wù)端已配置允許某些用戶(hù)模擬其他用戶(hù)客戶(hù)端也要做相應(yīng)配置使用屬性alluxio.security.login.impersonation.username。設(shè)置后Alluxio 客戶(hù)端連接到服務(wù)的方式不變但模擬的是其他用戶(hù)。該參數(shù)可設(shè)置為以下值不設(shè)置不啟用 Alluxio client 用戶(hù)模擬_NONE_不啟用 Alluxio client 用戶(hù)模擬_HDFS_USER_Alluxio client 會(huì)模擬 HDFS client 的用戶(hù)當(dāng)使用 Hadoop 兼容的 client 調(diào)用 Alluxio 時(shí)。對(duì)應(yīng)源碼 SECURITY_LOGIN_IMPERSONATION_USERNAME 的默認(rèn)值為Constants.IMPERSONATION_HDFS_USER即默認(rèn)取_HDFS_USER_語(yǔ)義并在alluxio.security.authentication.type為SIMPLE或CUSTOM時(shí)生效。常見(jiàn)異常與排查應(yīng)用中最可能遇到的錯(cuò)誤如下Failed to authenticate client useryarn connecting to Alluxio server and impersonating as impersonationUserfoo to access Alluxio file system. User yarn is not configured to allow any impersonation.該錯(cuò)誤意味著用戶(hù)yarn正試圖以模擬用戶(hù)foo的身份連接 Alluxio但服務(wù)端并未配置允許yarn啟用模擬。解決辦法是在 Alluxio 服務(wù)器上為有問(wèn)題的用戶(hù)示例中的yarn配置相應(yīng)的alluxio.master.security.impersonation.yarn.users或alluxio.master.security.impersonation.yarn.groups屬性。從倉(cāng)庫(kù)內(nèi) Alluxio 的文檔與 FAQ 可以推斷這類(lèi)錯(cuò)誤在 YARN 集成如 Spark on YARN 中由 node manager 啟動(dòng)的客戶(hù)端進(jìn)程以yarn用戶(hù)身份運(yùn)行時(shí)最為常見(jiàn)。審計(jì)Auditing審計(jì)功能使系統(tǒng)管理員能夠追蹤用戶(hù)對(duì)文件元數(shù)據(jù)的訪(fǎng)問(wèn)操作。總開(kāi)關(guān)為alluxio.master.audit.logging.enabled對(duì)應(yīng)源碼定義見(jiàn) MASTER_AUDIT_LOGGING_ENABLED默認(rèn)值為false需顯式設(shè)為true開(kāi)啟。此外源碼中還定義了 MASTER_AUDIT_LOGGING_QUEUE_CAPACITY默認(rèn) 10000用于控制審計(jì)日志異步寫(xiě)入隊(duì)列的容量。審計(jì)日志格式審計(jì)日志文件為master_audit.log包含多個(gè)審計(jì)記錄條目每個(gè)條目對(duì)應(yīng)一次獲取文件元數(shù)據(jù)的操作。各字段含義如下表keyvaluesucceeded命令成功運(yùn)行則為true。在命令成功運(yùn)行前該命令必須是被允許的。allowed命令被允許則為true。即使命令被允許它也可能運(yùn)行失敗。ugi用戶(hù)組信息包括用戶(hù)名、主要組、認(rèn)證類(lèi)型。ip客戶(hù)端 IP 地址。cmd用戶(hù)運(yùn)行的命令。src源文件或目錄地址。dst目標(biāo)文件或目錄的地址如果不適用值為空。permuser:group:mask如果不適用值為空。該格式與 HDFS 審計(jì)日志的格式可參考 Apache Hadoop Wiki 中的 HowToConfigure 相關(guān)說(shuō)明十分相似。審計(jì)功能的底層實(shí)現(xiàn)從源碼結(jié)構(gòu)看審計(jì)的實(shí)現(xiàn)集中在 master 的 DefaultFileSystemMaster.java第 311-339 行的注釋明確了設(shè)計(jì)意圖審計(jì)意圖的記錄與實(shí)際寫(xiě)日志是解耦的實(shí)際寫(xiě)日志由AsyncUserAccessAuditLogWriter在獨(dú)立線(xiàn)程中完成從而避免操作持著元數(shù)據(jù)鎖等待審計(jì)日志 IOAuditContext資源應(yīng)始終存活于LockedInodePath作用域內(nèi)先于LockedInodePath創(chuàng)建并在其close()之前調(diào)用AuditContext#close()以保持審計(jì)日志條目與文件系統(tǒng)操作的順序一致第 5539 行附近文件系統(tǒng)操作執(zhí)行時(shí)會(huì)檢查Configuration.getBoolean(PropertyKey.MASTER_AUDIT_LOGGING_ENABLED)只有開(kāi)啟時(shí)才會(huì)構(gòu)建并寫(xiě)入審計(jì)上下文。這解釋了為什么審計(jì)開(kāi)關(guān)是一個(gè)動(dòng)態(tài)可讀、由 master 端檢查的屬性開(kāi)啟后系統(tǒng)管理員即可通過(guò)master_audit.log追蹤每個(gè)用戶(hù)對(duì)元數(shù)據(jù)的操作來(lái)源ip、操作類(lèi)型cmd、目標(biāo)src/dst以及權(quán)限變更perm。加密Encryption目前Alluxio 服務(wù)層的加解密方案尚未完成。若業(yè)務(wù)對(duì)敏感數(shù)據(jù)有加密需求官方文檔給出的建議是在應(yīng)用層對(duì)敏感數(shù)據(jù)進(jìn)行加密或開(kāi)啟底層系統(tǒng)的加密功能例如底層 HDFS 的透明加解密Transparent EncryptionLinux 的磁盤(pán)級(jí)加密。這一層屬于既有的部署環(huán)境能力而非 Alluxio 自身內(nèi)建特性使用時(shí)需結(jié)合自身存儲(chǔ)后端的安全能力統(tǒng)籌設(shè)計(jì)。部署建議與注意事項(xiàng)官方文檔特別強(qiáng)調(diào)一條部署原則推薦由同一個(gè)用戶(hù)啟動(dòng) Alluxio master 與所有 workers。原因在于 Alluxio 集群服務(wù)包含 master 與 workers每個(gè) worker 需要通過(guò) RPC 與 master 通信以進(jìn)行某些文件操作如更新文件狀態(tài)、匯報(bào)存儲(chǔ)變更等。如果 worker 進(jìn)程的用戶(hù)與 master 不一致這些文件操作可能因權(quán)限檢查而失敗——例如 master 端按 POSIX 模型校驗(yàn) worker 對(duì)某目錄的寫(xiě)權(quán)限時(shí)發(fā)現(xiàn) worker 用戶(hù)不在允許訪(fǎng)問(wèn)的用戶(hù)/組范圍內(nèi)。因此在生產(chǎn)環(huán)境部署時(shí)使用統(tǒng)一的系統(tǒng)用戶(hù)如alluxio啟動(dòng)全部 master 與 worker 進(jìn)程若確實(shí)需要不同用戶(hù)啟動(dòng)應(yīng)確保該 worker 用戶(hù)在 master 端擁有執(zhí)行相關(guān)文件操作所需的權(quán)限在啟用訪(fǎng)問(wèn)權(quán)限控制默認(rèn)開(kāi)啟的集群上尤其要注意各服務(wù)進(jìn)程的啟動(dòng)用戶(hù)一致性。小結(jié)Alluxio 的安全體系遵循「認(rèn)證 → 授權(quán) → 模擬 → 審計(jì)」的漸進(jìn)式分層身份驗(yàn)證SIMPLE/NOSASL/CUSTOM回答「訪(fǎng)問(wèn)者是誰(shuí)」是高級(jí)安全特性的前提訪(fǎng)問(wèn)權(quán)限控制默認(rèn)開(kāi)啟基于 POSIX 模型回答「能否訪(fǎng)問(wèn)」由所屬用戶(hù)、所屬組與三類(lèi)權(quán)限位共同決定用戶(hù)模擬讓服務(wù)型客戶(hù)端能代表真實(shí)用戶(hù)訪(fǎng)問(wèn)需要在服務(wù)端與客戶(hù)端成對(duì)配置審計(jì)日志記錄每次元數(shù)據(jù)訪(fǎng)問(wèn)的來(lái)源與結(jié)果為安全管理提供追溯依據(jù)加密目前依賴(lài)應(yīng)用層或底層存儲(chǔ)系統(tǒng)實(shí)現(xiàn)。配置這些能力時(shí)可參考倉(cāng)庫(kù)內(nèi)的 安全配置參數(shù)列表 與 alluxio-site.properties 模板并將相關(guān)屬性寫(xiě)入alluxio-site.properties后重啟對(duì)應(yīng)服務(wù)生效。贊分享存儲(chǔ)分布式文件系統(tǒng)緩存大數(shù)據(jù)【免費(fèi)下載鏈接】alluxioAlluxio, data orchestration for analytics and machine learning in the cloud項(xiàng)目地址https://gitcode.com/gh_mirrors/al/alluxio點(diǎn)擊查看免費(fèi)下載相關(guān)推薦Alluxio 安全機(jī)制全解析認(rèn)證、授權(quán)、ACL、Hadoop 模擬與審計(jì)實(shí)戰(zhàn)指南Alluxio 安全機(jī)制全解析認(rèn)證、授權(quán)、ACL、Hadoop 模擬與審計(jì)實(shí)戰(zhàn)指南 Alluxio 作為面向分析與機(jī)器學(xué)習(xí)場(chǎng)景的云端數(shù)據(jù)編排層其安全體系涵蓋存儲(chǔ)分布式文件系統(tǒng)緩存大數(shù)據(jù)PI0Fast (LeRobot) 性能優(yōu)化梯度檢查點(diǎn)與混合精度訓(xùn)練實(shí)用技巧PI0Fast LeRobot 性能優(yōu)化梯度檢查點(diǎn)與混合精度訓(xùn)練實(shí)用技巧 PI0Fast LeRobot 是一個(gè)基于視覺(jué) 語(yǔ)言 動(dòng)作VLA的策略模型通過(guò)asyncpg安全審計(jì)權(quán)限控制與審計(jì)日志asyncpg安全審計(jì)權(quán)限控制與審計(jì)日志 引言 在當(dāng)今數(shù)據(jù)驅(qū)動(dòng)的世界中數(shù)據(jù)庫(kù)安全至關(guān)重要。asyncpg作為一款高性能的異步PostgreSQL客戶(hù)端庫(kù)其數(shù)據(jù)庫(kù)后端上一篇PromiseKit與SystemConfiguration網(wǎng)絡(luò)類(lèi)型變化的異步響應(yīng)下一篇終極HTTP調(diào)試指南3個(gè)步驟快速上手HTTP Toolkit網(wǎng)絡(luò)分析工具創(chuàng)作聲明：本文部分內(nèi)容由AI輔助生成（AIGC），僅供參考