建站
咨詢
售后
建站咨詢
新聞中心
這篇文章主要介紹Pytorch中自動求梯度機制和Variable類的示例分析，文中介紹的非常詳細，具有一定的參考價值，感興趣的小伙伴們一定要看完！
自動求導(dǎo)機制是每一個深度學(xué)習(xí)框架中重要的性質(zhì)，免去了手動計算導(dǎo)數(shù)，下面用代碼介紹并舉例說明Pytorch的自動求導(dǎo)機制。
首先介紹Variable，Variable是對Tensor的一個封裝，操作和Tensor是一樣的，但是每個Variable都有三個屬性：Varibale的Tensor本身的.data，對應(yīng)Tensor的梯度.grad，以及這個Variable是通過什么方式得到的.grad_fn，根據(jù)最新消息，在pytorch0.4更新后，torch和torch.autograd.Variable現(xiàn)在是同一類。torch.Tensor能像Variable那樣追蹤歷史和反向傳播。Variable仍能正確工作，但是返回的是Tensor。
我們擁抱這些新特性，看看Pytorch怎么進行自動求梯度。
#encoding:utf-8 import torch x = torch.tensor([2.],requires_grad=True) #新建一個tensor,允許自動求梯度,這一項默認是false. y = (x+2)**2 + 3 #y的表達式中包含x,因此y能進行自動求梯度 y.backward() print(x.grad)
輸出結(jié)果是：
tensor([8.])
這里添加一個小知識點，即torch.Tensor和torch.tensor的不同。二者均可以生成新的張量，但torch.Tensor()是python類，是默認張量類型torch.FloatTensor()的別名，使用torch.Tensor()會調(diào)用構(gòu)造函數(shù)，生成單精度浮點類型的張量。
而torch.tensor()是函數(shù)，其中data可以是list,tuple,numpy,ndarray,scalar和其他類型，但只有浮點類型的張量能夠自動求梯度。
torch.tensor(data, dtype=None, device=None, requires_grad=False)
言歸正傳，上一個例子的變量本質(zhì)上是標(biāo)量。下面一個例子對矩陣求導(dǎo)。
#encoding:utf-8 import torch x = torch.ones((2,4),requires_grad=True) y = torch.ones((2,1),requires_grad=True) W = torch.ones((4,1),requires_grad=True) J = torch.sum(y - torch.matmul(x,W)) #torch.matmul()表示對矩陣作乘法 J.backward() print(x.grad) print(y.grad) print(W.grad)
輸出結(jié)果是：
tensor([[-1., -1., -1., -1.], [-1., -1., -1., -1.]]) tensor([[1.], [1.]]) tensor([[-2.], [-2.], [-2.], [-2.]])
以上是“Pytorch中自動求梯度機制和Variable類的示例分析”這篇文章的所有內(nèi)容，感謝各位的閱讀！希望分享的內(nèi)容對大家有幫助，更多相關(guān)知識，歡迎關(guān)注創(chuàng)新互聯(lián)行業(yè)資訊頻道！
分享文章：Pytorch中自動求梯度機制和Variable類的示例分析-創(chuàng)新互聯(lián)
文章分享：http://www.ef60e0e.cn/article/hicig.html
