文檔知識(shí)庫(kù)教程開(kāi)發(fā)工具【免費(fèi)下載鏈接】reference為開(kāi)發(fā)人員分享快速參考備忘清單(速查表)項(xiàng)目地址https://gitcode.com/jaywcjlove/reference點(diǎn)擊查看免費(fèi)下載本文以 Quick Referencejaywcjlove/reference倉(cāng)庫(kù)中的 docs/pytorch.md 備忘清單為骨架系統(tǒng)梳理 Pytorch 張量的創(chuàng)建與運(yùn)算、形狀變換、Tensor 與 NumPy 互轉(zhuǎn)、CUDA 設(shè)備管理以及神經(jīng)網(wǎng)絡(luò)、TorchScript、ONNX、Torchvision 與分布式訓(xùn)練的導(dǎo)入與使用要點(diǎn)幫助讀者快速掌握從原型實(shí)驗(yàn)到模型導(dǎo)出的高頻語(yǔ)法。認(rèn)識(shí) Pytorch 與張量TensorPytorch 是一種開(kāi)源機(jī)器學(xué)習(xí)框架可加速?gòu)难芯吭驮O(shè)計(jì)到生產(chǎn)部署的過(guò)程。其核心數(shù)據(jù)結(jié)構(gòu)是張量Tensor概念上類(lèi)似于 NumPy 中的ndarray最大的區(qū)別在于 Tensor 可以利用 GPU 的加速功能。torch.empty()會(huì)分配未初始化內(nèi)存因此輸出內(nèi)容取決于當(dāng)時(shí)內(nèi)存中的隨機(jī)值屬正常現(xiàn)象from __future__ import print_function import torch x torch.empty(5, 3) print(x) tensor([ [2.4835e27, 2.5428e30, 1.0877e-19], [1.5163e23, 2.2012e12, 3.7899e22], [5.2480e05, 1.0175e31, 9.7056e24], [1.6283e32, 3.7913e22, 3.9653e28], [1.0876e-19, 6.2027e26, 2.3685e21] ])torch.empty(5, 3)創(chuàng)建一個(gè)形狀為5×3、尚未初始化數(shù)值的二維張量。與empty相對(duì)torch.zeros()創(chuàng)建全零矩陣并通過(guò)dtype指定數(shù)據(jù)元素類(lèi)型x torch.zeros(5, 3, dtypetorch.long) print(x) tensor([[0, 0, 0], [0, 0, 0], [0, 0, 0], [0, 0, 0], [0, 0, 0]])而torch.tensor()則直接從已有數(shù)據(jù)創(chuàng)建張量x torch.tensor([2.5, 3.5]) print(x) tensor([2.5000, 3.3000])提示torch.tensor()總是會(huì)復(fù)制數(shù)據(jù)若希望復(fù)用已有數(shù)據(jù)的內(nèi)存可優(yōu)先考慮torch.as_tensor()或torch.from_numpy()。張量運(yùn)算四種加法寫(xiě)法備忘清單給出了x y的四種等價(jià)寫(xiě)法覆蓋了運(yùn)算符重載、函數(shù)式 API、指定輸出張量與原地in-place修改四種風(fēng)格加法操作1運(yùn)算符重載y torch.rand(5, 3) print(x y) tensor([[ 1.6978, -1.6979, 0.3093], [ 0.4953, 0.3954, 0.0595], [-0.9540, 0.3353, 0.1251], [ 0.6883, 0.9775, 1.1764], [ 2.6784, 0.1209, 1.5542]])加法操作2函數(shù)式 API print(torch.add(x, y)) tensor([[ 1.6978, -1.6979, 0.3093], [ 0.4953, 0.3954, 0.0595], [-0.9540, 0.3353, 0.1251], [ 0.6883, 0.9775, 1.1764], [ 2.6784, 0.1209, 1.5542]])加法操作3指定輸出張量# 提前設(shè)定一個(gè)空的張量 result torch.empty(5, 3) # 將空的張量作為加法的結(jié)果存儲(chǔ)張量 torch.add(x, y, outresult) print(result) tensor([[ 1.6978, -1.6979, 0.3093], [ 0.4953, 0.3954, 0.0595], [-0.9540, 0.3353, 0.1251], [ 0.6883, 0.9775, 1.1764], [ 2.6784, 0.1209, 1.5542]])加法操作4in-place 修改y.add_(x) print(y) tensor([[ 1.6978, -1.6979, 0.3093], [ 0.4953, 0.3954, 0.0595], [-0.9540, 0.3353, 0.1251], [ 0.6883, 0.9775, 1.1764], [ 2.6784, 0.1209, 1.5542]])注意所有in-place的操作函數(shù)都有一個(gè)下劃線的后綴比如x.copy_(y)、x.add_(y)都會(huì)直接改變x的值不產(chǎn)生新張量。張量索引與形狀變換與 NumPy 一致Pytorch 支持下標(biāo)切片操作 print(x[:, 1]) tensor([-2.0902, -0.4489, -0.1441, 0.8035, -0.8341])x[:, 1]取出所有行的第 1 列得到形狀為(5,)的一維張量。view()用于重塑張量形狀核心約束是數(shù)據(jù)元素的總數(shù)量必須保持不變其中-1表示該維度由 Pytorch 自動(dòng)推導(dǎo)x torch.randn(4, 4) # tensor.view()操作需要保證數(shù)據(jù)元素的總數(shù)量不變 y x.view(16) # -1代表自動(dòng)匹配個(gè)數(shù) z x.view(-1, 8) print(x.size(), y.size(), z.size()) torch.Size([4, 4]) torch.Size([16]) torch.Size([2, 8])當(dāng)張量只有一個(gè)元素時(shí)可用item()取出其 Python 標(biāo)量值x torch.randn(1) print(x) print(x.item()) tensor([-0.3531]) -0.3530771732330322squeeze 與 unsqueeze增刪維度squeeze用于去除維度大小為 1 的軸unsqueeze用于在指定位置插入大小為 1 的軸。二者既可作為張量方法x.squeeze()也可作為模塊級(jí)函數(shù)torch.squeeze(x)調(diào)用。 x torch.rand(1, 2, 1, 28, 1) # squeeze不加參數(shù)默認(rèn)去除所有為1的維度 x.squeeze().shape torch.Size([2, 28]) # squeeze加參數(shù)去除指定為1的維度 x.squeeze(dim0).shape torch.Size([2, 1, 28, 1]) # squeeze加參數(shù)如果不為1則不變 x.squeeze(1).shape torch.Size([1, 2, 1, 28, 1]) # 既可以是函數(shù)也可以是方法 torch.squeeze(x,-1).shape torch.Size([1, 2, 1, 28]) x torch.rand(2, 28) # unsqueeze必須加參數(shù) _ 2 _ 28 _ x.unsqueeze(0).shape # 參數(shù)代表在哪里添加維度 0 1 2 torch.Size([1, 2, 28]) # 既可以是函數(shù)也可以是方法 torch.unsqueeze(x, -1).shape torch.Size([2, 28, 1])unsqueeze常用于為數(shù)據(jù)補(bǔ)充 batch 維度或通道維度例如將形狀(2, 28)的樣本擴(kuò)展為(1, 2, 28)以滿(mǎn)足卷積層或 RNN 的輸入要求squeeze則常用于在網(wǎng)絡(luò)輸出后去除多余的單一維度。Torch Tensor 與 Numpy array 互換Pytorch 與 NumPy 生態(tài)互通是日常實(shí)驗(yàn)的高頻操作。二者在 CPU 上共享底層內(nèi)存空間改變其中一個(gè)的值另一個(gè)也會(huì)隨之被改變a torch.ones(5) print(a) tensor([1., 1., 1., 1., 1.])Torch Tensor 轉(zhuǎn)換為 Numpy array通過(guò).numpy()b a.numpy() print(b) [1. 1. 1. 1. 1.]Numpy array 轉(zhuǎn)換為 Torch Tensor通過(guò)torch.from_numpy()import numpy as np a np.ones(5) b torch.from_numpy(a) np.add(a, 1, outa) print(a) print(b) [2. 2. 2. 2. 2.] tensor([2., 2., 2., 2., 2.], dtypetorch.float64)上面示例中np.add(a, 1, outa)原地修改了 NumPy 數(shù)組a由于b與a共享內(nèi)存b也同步變?yōu)槿?2。注意所有在 CPU 上的 Tensors除了CharTensor都可以轉(zhuǎn)換為 Numpy array 并可以反向轉(zhuǎn)換?；诠蚕韮?nèi)存的特性無(wú)需復(fù)制即可在兩套生態(tài)間傳遞數(shù)據(jù)但也要留意改一即改二帶來(lái)的副作用若需獨(dú)立副本應(yīng)使用.clone()或.copy_()。Cuda 相關(guān)操作深度學(xué)習(xí)訓(xùn)練往往依賴(lài) GPU 加速備忘清單給出了 CUDA 環(huán)境檢查、設(shè)備枚舉與數(shù)據(jù)搬運(yùn)的完整套路。檢查 Cuda 是否可用 import torch.cuda torch.cuda.is_available() Truetorch.cuda.is_available()返回布爾值是判斷當(dāng)前環(huán)境能否使用 GPU 的標(biāo)準(zhǔn)入口。列出 GPU 設(shè)備import torch device_count torch.cuda.device_count() print(CUDA 設(shè)備) for i in range(device_count): device_name torch.cuda.get_device_name(i) total_memory torch.cuda.get_device_properties(i).total_memory / (1024 ** 3) print(f├── 設(shè)備 {i}: {device_name}, 容量: {total_memory:.2f} GiB) print(└── (結(jié)束))torch.cuda.device_count()返回 GPU 數(shù)量get_device_name(i)返回設(shè)備名稱(chēng)get_device_properties(i)返回設(shè)備屬性其中total_memory以字節(jié)計(jì)示例中除以1024 ** 3換算為 GiB。將模型、張量在 GPU 和內(nèi)存之間搬運(yùn)import torch # 將 0 替換為您的 GPU 設(shè)備索引或者直接使用 cuda device fcuda:0 # 移動(dòng)到GPU tensor_m torch.tensor([1, 2, 3]) tensor_g tensor_m.to(device) model_m torch.nn.Linear(1, 1) model_g model_m.to(device) # 向后移動(dòng) tensor_m tensor_g.cpu() model_m model_g.cpu().to(device)是張量與模型統(tǒng)一的設(shè)備遷移接口device可以是cuda:0、cuda或cpu反向遷移則使用.cpu()。模型nn.Module與張量Tensor均可通過(guò)該方法在 GPU 與內(nèi)存之間搬運(yùn)。Imports常用模塊導(dǎo)入速查備忘清單按用途劃分了常用導(dǎo)入語(yǔ)句是搭建訓(xùn)練腳本時(shí)最常復(fù)制的部分。一般導(dǎo)入# 根包 import torch數(shù)據(jù)集表示和加載from torch.utils.data import Dataset, DataLoaderDataset用于自定義數(shù)據(jù)集類(lèi)DataLoader負(fù)責(zé)批量加載、打亂與多進(jìn)程取數(shù)。神經(jīng)網(wǎng)絡(luò) API# 計(jì)算圖 import torch.autograd as autograd # 計(jì)算圖中的張量節(jié)點(diǎn) from torch import Tensor神經(jīng)網(wǎng)絡(luò)import torch.nn as nn # 層、激活等 import torch.nn.functional as F # 優(yōu)化器例如 梯度下降、ADAM等 import torch.optim as optimtorch.nn提供層與損失函數(shù)等模塊化組件torch.nn.functional提供無(wú)狀態(tài)的功能函數(shù)如F.relu、F.conv2dtorch.optim提供優(yōu)化器如 SGD、Adam。混合前端裝飾器和跟蹤 jitfrom torch.jit import script, traceTorchscript 和 JITtorch.jit.trace()使用你的模塊或函數(shù)和一個(gè)例子數(shù)據(jù)輸入并追溯計(jì)算步驟記錄數(shù)據(jù)在模型中前進(jìn)時(shí)遇到的情況scriptscript裝飾器用于指示被跟蹤代碼中的數(shù)據(jù)相關(guān)控制流如if、循環(huán)等依賴(lài)實(shí)際數(shù)據(jù)的邏輯分支。ONNX 導(dǎo)出與檢查torch.onnx.export(model, dummy data, xxxx.proto) # 導(dǎo)出 ONNX 格式 # 使用經(jīng)過(guò)訓(xùn)練的模型dummy # 數(shù)據(jù)和所需的文件名加載 ONNX 模型model onnx.load(alexnet.proto)檢查模型結(jié)構(gòu)是否良好onnx.checker.check_model(model)打印一個(gè)人類(lèi)可讀的圖的表示onnx.helper.printable_graph(model.graph)torch.onnx.export接收「訓(xùn)練好的模型 啞元輸入dummy data 目標(biāo)文件名」將模型導(dǎo)出為 ONNX 格式示例中的xxxx.proto指代導(dǎo)出文件名如alexnet.proto隨后可用onnx.load加載、onnx.checker.check_model校驗(yàn)、onnx.helper.printable_graph輸出可讀的計(jì)算圖。Vision 視覺(jué)模塊# 視覺(jué)數(shù)據(jù)集架構(gòu) 變換 from torchvision import datasets, models, transforms # 組合轉(zhuǎn)換 import torchvision.transforms as transforms分布式訓(xùn)練# 分布式通信 import torch.distributed as dist # 內(nèi)存共享進(jìn)程 from torch.multiprocessing import Process相關(guān)鏈接Pytorch 官網(wǎng)pytorch.orgPytorch 官方備忘清單pytorch.org如何在倉(cāng)庫(kù)中使用本速查表本清單位于倉(cāng)庫(kù) docs/pytorch.md并在首頁(yè) README.md 的「編程」分類(lèi)下以卡片形式展示配有 assets/pytorch.svg 圖標(biāo)。倉(cāng)庫(kù)通過(guò)refs-cli將 Markdown 編譯為靜態(tài) HTML相關(guān)構(gòu)建腳本定義在 package.json 中如果你希望本地預(yù)覽或自定義自己的速查清單可參照 docs/quickreference.md 中的排版規(guī)范與編譯流程運(yùn)行npm install npm run build生成頁(yè)面或使用npm start監(jiān)聽(tīng) Markdown 變更實(shí)時(shí)編譯。贊分享文檔知識(shí)庫(kù)教程開(kāi)發(fā)工具【免費(fèi)下載鏈接】reference為開(kāi)發(fā)人員分享快速參考備忘清單(速查表)項(xiàng)目地址https://gitcode.com/jaywcjlove/reference點(diǎn)擊查看免費(fèi)下載相關(guān)推薦Telegraf 外部插件詳解execd 三種接入方式、Go Shim 外置流程與社區(qū)插件生態(tài)Telegraf 外部插件詳解execd 三種接入方式、Go Shim 外置流程與社區(qū)插件生態(tài) 本文圍繞 Telegraf 的外部插件機(jī)制展開(kāi)講解外部插件的文檔知識(shí)庫(kù)教程開(kāi)發(fā)工具Pytorch 備忘清單從張量基礎(chǔ)語(yǔ)法到 CUDA 與模型導(dǎo)出的開(kāi)發(fā)速查Pytorch 備忘清單從張量基礎(chǔ)語(yǔ)法到 CUDA 與模型導(dǎo)出的開(kāi)發(fā)速查 本文是基于本倉(cāng)庫(kù) docs/pytorch.md https://link.gitc文檔教程JavaScript 備忘清單Quick Reference 倉(cāng)庫(kù)中的完整語(yǔ)法速查與實(shí)戰(zhàn)指南JavaScript 備忘清單Quick Reference 倉(cāng)庫(kù)中的完整語(yǔ)法速查與實(shí)戰(zhàn)指南 本文是基于 Quick Referencereferen/re文檔教程創(chuàng)作聲明：本文部分內(nèi)容由AI輔助生成（AIGC），僅供參考