編譯器圖像處理編程語(yǔ)言高性能計(jì)算【免費(fèi)下載鏈接】Halidea language for fast, portable>項(xiàng)目地址https://gitcode.com/gh_mirrors/ha/Halide點(diǎn)擊查看免費(fèi)下載導(dǎo)讀本文講解 Halide 調(diào)度體系中最基礎(chǔ)、也是首先需要建立的「編程模型」調(diào)度scheduling操作的對(duì)象到底有哪幾類(lèi)它們各自的狀態(tài)與行為以及它們?nèi)绾瓮ㄟ^(guò)生產(chǎn)者producer邊連成一張有向無(wú)環(huán)的流水線(xiàn)圖pipeline graph。讀完本文你將掌握Var、Func、Expr、ImageParam、RDom/RVar這五個(gè)核心詞匯的確切含義理解 Stage初始純定義 更新定義與純/非純函數(shù)的劃分并知道輸出output與邊界分析bounds analysis在這張圖上扮演的特殊角色——這些正是整個(gè)調(diào)度手冊(cè).claude/skills/scheduling/references/guide/后續(xù)所有章節(jié)使用的公共詞匯。調(diào)度操作的對(duì)象五個(gè)核心詞匯調(diào)度scheduling只作用于少量幾類(lèi)對(duì)象。本手冊(cè)第 2 章02-the-programming-model.md先給它們命名、說(shuō)明它們組成的圖手冊(cè)其余部分默認(rèn)沿用這套詞匯。Var維度與循環(huán)變量的名字Var是一個(gè)維度的名字本質(zhì)上就是一條循環(huán)變量loop variable。它唯一的身份就是名字本身不攜帶任何額外狀態(tài)——兩個(gè)同名的Var會(huì)被視為同一個(gè)變量。在源碼中這一點(diǎn)體現(xiàn)得非常直接src/Var.h中的Var類(lèi)只有一個(gè)Expr e成員一個(gè)Int(32)的內(nèi)部變量表達(dá)式構(gòu)造時(shí)僅記錄名字same_as()的實(shí)現(xiàn)就是字符串比較return name() other.name();Var.h。Var的典型用途有兩個(gè)作為純定義pure definition的左值參數(shù)例如f(x, y) ...中的x、y作為調(diào)度調(diào)用里的循環(huán)句柄例如f.parallel(x)、f.vectorize(x, 8)中指定要操作的維度。Var還支持一類(lèi)特殊的隱式變量源碼里預(yù)聲明了_0到_9共十個(gè)src/Var.h末尾的ImplicitVar0…ImplicitVar9以及占位符_。當(dāng)函數(shù)調(diào)用參數(shù)個(gè)數(shù)少于其維度數(shù)時(shí)Halide 會(huì)自動(dòng)注入隱式變量補(bǔ)齊維度這為f(_)、img.in().gpu_threads(_0, _1)這類(lèi)簡(jiǎn)寫(xiě)提供了語(yǔ)法基礎(chǔ)。Func函數(shù)定義的操作句柄Func是「一個(gè)函數(shù)定義」的句柄handle它是被調(diào)度的那個(gè)對(duì)象。理解Func的關(guān)鍵在于復(fù)制語(yǔ)義復(fù)制一個(gè)Func只是產(chǎn)生指向同一個(gè)底層函數(shù)的另一個(gè)句柄無(wú)論通過(guò)哪個(gè)句柄做調(diào)度作用的都是同一個(gè)函數(shù)。從源碼結(jié)構(gòu)看Func內(nèi)部持有Internal::Function見(jiàn) Func.h而Internal::Function是對(duì)FunctionPtr引用計(jì)數(shù)的共享指針的封裝因此拷貝Func并不會(huì)拷貝函數(shù)本體。一個(gè)Func的狀態(tài)包括狀態(tài)含義name用于打印輸出也用于在計(jì)算順序中打破平局breaking ties in computation orderstages有序列表一個(gè)初始純定義加上零個(gè)或多個(gè)更新定義見(jiàn)下文「Stage 與更新定義」producers它從哪些其他Func讀取數(shù)據(jù)即其定義右側(cè)引用的上游Func集合compute level / store level它在哪兒被計(jì)算compute、存儲(chǔ)store放在哪兒默認(rèn)值是 inline內(nèi)聯(lián)其中 compute level 與 store level 在源碼中以L(fǎng)oopLevel表達(dá)src/Schedule.h中LoopLevel::inlined()表示內(nèi)聯(lián)、LoopLevel::root()表示根層級(jí)相當(dāng)于compute_root/store_rootLoopLevel(f, x)則把計(jì)算/存儲(chǔ)錨定到某個(gè)函數(shù)的某個(gè)循環(huán)上對(duì)應(yīng)compute_at/store_at。Expr定義右側(cè)的值表達(dá)式Expr是定義右側(cè)RHS的值表達(dá)式。對(duì)于循環(huán)嵌套loop nest的構(gòu)建而言Expr中唯一真正重要的是它讀取了哪些Func——正是這一點(diǎn)把生產(chǎn)者/消費(fèi)者圖producer/consumer graph連接起來(lái)。普通算術(shù)、常量以及castT(...)這類(lèi)表達(dá)式不會(huì)出現(xiàn)在循環(huán)嵌套中它們最終被折疊進(jìn)葉子行f(...) ...內(nèi)部。也就是說(shuō)Expr的復(fù)雜計(jì)算是在賦值那一行內(nèi)部完成的不單獨(dú)產(chǎn)生循環(huán)結(jié)構(gòu)。ImageParam輸入緩沖葉子ImageParam代表一個(gè)輸入緩沖例如管線(xiàn)的輸入圖像。它是葉子leaf永遠(yuǎn)不會(huì)被計(jì)算永遠(yuǎn)不會(huì)出現(xiàn)在循環(huán)嵌套中讀取某個(gè)ImageParam的Func只是少了一個(gè)需要構(gòu)建的生產(chǎn)者——因?yàn)榫彌_已經(jīng)存在了。src/ImageParam.h中的注釋確認(rèn)了這一點(diǎn)ImageParam 是「a leaf in the pipeline」管線(xiàn)中的葉子它經(jīng)set()綁定具體Buffer后即可通過(guò)operator()生成讀取表達(dá)式。它甚至可以直接隱式轉(zhuǎn)換為Funcoperator Func()并支持img.in()包裝以便在調(diào)度中為其建立中間緩沖例如把輸入加載到 GPU shared memory。RDom / RVar歸約域與歸約變量RDom/RVar是歸約域reduction domain與歸約變量reduction variable。聲明RDom r(min, extent, …)會(huì)生成一個(gè)或多個(gè)RVarr.x、r.y依此類(lèi)推供**更新定義update definition**使用。RVar命名循環(huán)的方式與Var相同但有兩個(gè)關(guān)鍵區(qū)別它的迭代是**有序ordered**的相鄰迭代之間可以攜帶依賴(lài)?yán)缋奂雍蛂unning sum。因此RVar只能出現(xiàn)在更新定義里不能用于純定義。src/RDom.h展示了RDom的完整構(gòu)造方式RDom r(0, 10)單維歸約域min0extent10RDom r(0, 4, 0, 5)多維歸約域一次聲明多條歸約軸RDom r(input)/RDom r(buffer)直接遍歷某個(gè)ImageParam或Buffer的全部像素維度與參數(shù)一致r.where(predicate)為歸約域添加謂詞只迭代謂詞為真的子集可用于非矩形域或形狀依賴(lài)自由變量的域。RVar可以直接當(dāng)作Expr使用單維RDom也可以直接轉(zhuǎn)換為RVar或Expr。歸約變量的取值滿(mǎn)足min()≤ 值 min() extent()。Stage 與更新定義一個(gè)Func可以擁有更新定義update definitions寫(xiě)在首個(gè)定義之后的賦值就地修改該Func的值。手冊(cè)第 2 章給出的標(biāo)準(zhǔn)例子Func hist(hist); hist(x) 0; // stage 0: the pure (initial) definition RDom r(0, N, r); hist(in(r)) 1; // stage 1: an update definition這就是一個(gè)直方圖統(tǒng)計(jì)的骨架先用純定義把所有位置清零stage 0再用更新定義對(duì)每個(gè)輸入像素in(r)做累加stage 1。有序的 stage 列表「初始定義 更新定義」構(gòu)成一個(gè)有序的stages列表s0純定義、s1依此類(lèi)推。語(yǔ)義上有兩條硬規(guī)則每個(gè) stage 完成之后下一個(gè) stage 才開(kāi)始它們之間串行銜接所有 stage 寫(xiě)入同一份存儲(chǔ)。從源碼結(jié)構(gòu)看Internal::Function持有一個(gè)初始Definitionis_init() true和一組更新Definitiondefine_update()見(jiàn) Definition.h 與 Function.h每個(gè)Definition各帶自己的StageSchedule。這就是「每個(gè) stage 被單獨(dú)調(diào)度」的內(nèi)部基礎(chǔ)。由于 stage 屬于算法部分——它們描述了這個(gè)Func是什么理解它們不需要任何調(diào)度知識(shí)——所以每個(gè) stage 仍要各自調(diào)度通過(guò)f.update(n)定位。例如f.update(0)代表第一個(gè)更新定義參見(jiàn)后續(xù)章節(jié) Reshaping Loops以及src/Func.h中Stage::name()返回形如f.update(2)的字符串。更新定義的約束一條更新定義最多引用一個(gè)RDom。如果需要多條歸約軸就來(lái)自單個(gè)多維RDom例如RDom r(0, 4, 0, 5); // r.x ∈ [0,4)r.y ∈ [0,5)同一條更新定義內(nèi)使用RDom.h還給出了歸約的多種經(jīng)典用法可幫助理解更新定義的表達(dá)能力遞歸自引用構(gòu)建純函數(shù)在 Halide 中不能遞歸但更新定義可以——例如前 20 個(gè)斐波那契數(shù)Func f; Var x; RDom r(2, 18); f(x) 1; f(r) f(r-1) f(r-2);散射scatter與純定義不同更新定義的左側(cè)可以是一般表達(dá)式因此可把數(shù)據(jù)寫(xiě)到任意位置ImageParam input(UInt(8), 2); Func histogram; Var x; RDom r(input); // 遍歷輸入全部像素 histogram(x) 0; histogram(input(r.x, r.y)) histogram(input(r.x, r.y)) 1;混合純維度與歸約變量可以把某個(gè)維度保持為純維度以獲得更靈活的調(diào)度。例如二維求和表先水平累加再垂直累加若sum_x(r.x, y)保留純維度y就可以用sum_x.update().parallel(y)并行化每一行的內(nèi)部累加注意sum_x.parallel(y)只并行化初始化step不會(huì)作用于更新 step——調(diào)度更新 step 必須經(jīng)由f.update()返回的句柄。當(dāng)歸約變量與純維度混合時(shí)歸約域默認(rèn)最外層遍歷必要時(shí)可用sum_x.compute_at(sum_y, y)這樣的compute_at調(diào)度來(lái)改變遍歷方向與局部性詳見(jiàn)手冊(cè)第 14 章 Placement: compute_root and compute_at。純 vs 非純Pure vs Non-pure一個(gè)Func是純pure的當(dāng)且僅當(dāng)它只有初始定義、沒(méi)有更新定義一旦加上一個(gè)或多個(gè)更新定義它就變成非純non-pure。這一劃分在手冊(cè) Part III調(diào)度指令部分中反復(fù)起作用。兩者的本質(zhì)區(qū)別決定了編譯器能做什么純 Func 可以被代入substitute到調(diào)用者中作為一個(gè)表達(dá)式。因?yàn)榧兌x本身就是一個(gè)表達(dá)式編譯器可以把它直接展開(kāi)進(jìn)消費(fèi)它的循環(huán)體而不必單獨(dú)分配存儲(chǔ)。非純 Func 不能這樣代入——?dú)w約不是表達(dá)式reduction isnt an expression所以它必須被構(gòu)建到存儲(chǔ)storage中?！高@一個(gè)事實(shí)驅(qū)動(dòng)了后續(xù)的若干規(guī)則」非純函數(shù)天然不能內(nèi)聯(lián)必然占據(jù)存儲(chǔ)、成為循環(huán)嵌套中真實(shí)存在的一環(huán)這也與src/Inline.cpp/InlineReductions.cpp等內(nèi)部 pass 的分工對(duì)應(yīng)——內(nèi)聯(lián)化只對(duì)可作為表達(dá)式展開(kāi)的純函數(shù)成立歸約則經(jīng)由單獨(dú)的歸約內(nèi)聯(lián)路徑處理。流水線(xiàn)圖The Pipeline GraphFunc之間通過(guò)生產(chǎn)者producer邊連接構(gòu)成一張有向無(wú)環(huán)圖DAG這就是流水線(xiàn)pipeline。其中有一個(gè)Func是輸出output即對(duì)其調(diào)用print_loop_nest()或realize的那個(gè)Func。從輸出出發(fā)、沿生產(chǎn)者邊可達(dá)的所有Func都屬于這條流水線(xiàn)除此之外的一切都與本流水線(xiàn)無(wú)關(guān)。這張圖有兩個(gè)值得盡早鎖定的性質(zhì)輸出是特殊的它總是在最頂層被計(jì)算恰好一次并且永遠(yuǎn)不會(huì)被內(nèi)聯(lián)掉。因此輸出必然以真實(shí)的循環(huán)與存儲(chǔ)形式存在。強(qiáng)制一個(gè) Func 非內(nèi)聯(lián)會(huì)使它對(duì)于邊界分析bounds analysis變得不透明opaque。設(shè)想一個(gè)仿射輔助函數(shù)helper(x) m*x b被用作索引f(helper(x))。內(nèi)聯(lián)時(shí)它編譯得很好但一旦強(qiáng)制其非內(nèi)聯(lián)邊界推斷bounds inference可能失敗報(bào)錯(cuò)形如calls ... in an unbounded way in dimension ...因?yàn)榫幾g器無(wú)法再「看穿」非內(nèi)聯(lián)函數(shù)內(nèi)部的索引關(guān)系。所以索引輔助函數(shù)通常最好保持內(nèi)聯(lián)。相關(guān)機(jī)制可進(jìn)一步閱讀手冊(cè)第 4 章 Bounds Inference以及src/BoundsInference.cpp與src/PrintLoopNest.cppprint_loop_nest的實(shí)現(xiàn)入口。小結(jié)從詞匯到后續(xù)章節(jié)本篇建立的詞匯表是整本調(diào)度手冊(cè)的公共地基詞匯一句話(huà)定位Var只攜帶身份的循環(huán)/維度名字Func被調(diào)度的函數(shù)句柄包含名字、stages、producers、compute/store levelExpr右側(cè)表達(dá)式唯一影響循環(huán)嵌套的是它讀取了哪些 FuncImageParam葉子輸入緩沖不出現(xiàn)在循環(huán)嵌套中RDom/RVar有序、可攜帶迭代依賴(lài)的歸約域與歸約變量只出現(xiàn)在更新定義中Stage純定義 有序更新定義各自獨(dú)立調(diào)度f(wàn).update(n)純/非純純可被表達(dá)式代入非純必須落存儲(chǔ)流水線(xiàn)圖生產(chǎn)者邊構(gòu)成 DAG輸出可及者才屬于本管線(xiàn)后續(xù)閱讀建議均在 guide 目錄 下03-realizing-a-pipeline.md管線(xiàn)何時(shí)真正執(zhí)行JIT vs AOT04-bounds-inference.md緩沖區(qū)與循環(huán)邊界如何由輸出請(qǐng)求推導(dǎo)12-reading-a-loop-nest.md 與 13-defaults-and-inlining.md如何讀循環(huán)嵌套、內(nèi)聯(lián)默認(rèn)值與三種計(jì)算層級(jí)16-reshaping-loops.mdsplit/fuse/reorder/tile如何重塑循環(huán)以及f.update(n)的具體用法。源碼層面Var、Func、RDom、ImageParam的完整定義分別位于 src/Var.h、src/Func.h、src/RDom.h、src/ImageParam.h調(diào)度相關(guān)的LoopLevel/計(jì)算存儲(chǔ)層級(jí)定義位于 src/Schedule.h均可作為本文各結(jié)論的直接佐證。贊分享編譯器圖像處理編程語(yǔ)言高性能計(jì)算【免費(fèi)下載鏈接】Halidea language for fast, portable>項(xiàng)目地址https://gitcode.com/gh_mirrors/ha/Halide點(diǎn)擊查看免費(fèi)下載相關(guān)推薦3D-Speaker開(kāi)發(fā)者進(jìn)階指南自定義模型架構(gòu)與訓(xùn)練流程開(kāi)發(fā)3D Speaker開(kāi)發(fā)者進(jìn)階指南自定義模型架構(gòu)與訓(xùn)練流程開(kāi)發(fā) 3D Speaker是一個(gè)專(zhuān)注于單模態(tài)和多模態(tài)說(shuō)話(huà)人驗(yàn)證、識(shí)別及說(shuō)話(huà)人分割的開(kāi)源項(xiàng)目為開(kāi)發(fā)者人工智能語(yǔ)音深度學(xué)習(xí)Horovod核心API與編程模型詳解Horovod核心API與編程模型詳解 本文深入解析Horovod分布式深度學(xué)習(xí)框架的核心API與編程模型重點(diǎn)剖析 hvd.init 初始化機(jī)制、分布式優(yōu)化器深度學(xué)習(xí)機(jī)器學(xué)習(xí)分布式訓(xùn)練VIC水文模型完整配置手冊(cè)3大核心模塊詳解與實(shí)戰(zhàn)應(yīng)用掌握VIC模型配置是水文科研工作的關(guān)鍵基礎(chǔ)。本文提供完整的VIC模型配置手冊(cè)從基礎(chǔ)概念到高級(jí)應(yīng)用幫助水文研究者快速上手并避免常見(jiàn)配置陷阱。 VIC模型數(shù)據(jù)分析上一篇構(gòu)建高效數(shù)字人對(duì)話(huà)系統(tǒng)OpenAvatarChat模塊化架構(gòu)深度解析下一篇OpenCore Legacy Patcher3 步免費(fèi)把老 Mac 升級(jí)最新 macOS創(chuàng)作聲明：本文部分內(nèi)容由AI輔助生成（AIGC），僅供參考