電子發(fā)燒友網(wǎng)>電子資料下載>電子資料>PyTorch教程15.4之預(yù)訓(xùn)練word2vec

PyTorch教程15.4之預(yù)訓(xùn)練word2vec

2512862 2023-06-05 | pdf | 0.14 MB | 次下載 | 免費(fèi)

資料介紹

我們繼續(xù)實(shí)現(xiàn) 15.1 節(jié)中定義的 skip-gram 模型。然后我們將在 PTB 數(shù)據(jù)集上使用負(fù)采樣來(lái)預(yù)訓(xùn)練 word2vec。首先，讓我們通過(guò)調(diào)用函數(shù)來(lái)獲取數(shù)據(jù)迭代器和這個(gè)數(shù)據(jù)集的詞匯表，這在第 15.3 節(jié)d2l.load_data_ptb中有描述

						import math
import torch
from torch import nn
from d2l import torch as d2l

batch_size, max_window_size, num_noise_words = 512, 5, 5
data_iter, vocab = d2l.load_data_ptb(batch_size, max_window_size,
                   num_noise_words)

						 

						Downloading ../data/ptb.zip from http://d2l-data.s3-accelerate.amazonaws.com/ptb.zip...

					

						import math
from mxnet import autograd, gluon, np, npx
from mxnet.gluon import nn
from d2l import mxnet as d2l

npx.set_np()

batch_size, max_window_size, num_noise_words = 512, 5, 5
data_iter, vocab = d2l.load_data_ptb(batch_size, max_window_size,
                   num_noise_words)

						 

15.4.1。Skip-Gram 模型

我們通過(guò)使用嵌入層和批量矩陣乘法來(lái)實(shí)現(xiàn) skip-gram 模型。首先，讓我們回顧一下嵌入層是如何工作的。

15.4.1.1。嵌入層

如第 10.7 節(jié)所述，嵌入層將標(biāo)記的索引映射到其特征向量。該層的權(quán)重是一個(gè)矩陣，其行數(shù)等于字典大小 ( input_dim)，列數(shù)等于每個(gè)標(biāo)記的向量維數(shù) ( output_dim)。一個(gè)詞嵌入模型訓(xùn)練好之后，這個(gè)權(quán)重就是我們所需要的。

								embed = nn.Embedding(num_embeddings=20, embedding_dim=4)
print(f'Parameter embedding_weight ({embed.weight.shape}, '
   f'dtype={embed.weight.dtype})')

								 

								Parameter embedding_weight (torch.Size([20, 4]), dtype=torch.float32)

							

								embed = nn.Embedding(input_dim=20, output_dim=4)
embed.initialize()
embed.weight

								 

								Parameter embedding0_weight (shape=(20, 4), dtype=float32)

							

嵌入層的輸入是標(biāo)記（單詞）的索引。對(duì)于任何令牌索引i，它的向量表示可以從ith嵌入層中權(quán)重矩陣的行。由于向量維度 ( output_dim) 設(shè)置為 4，因此嵌入層返回形狀為 (2, 3, 4) 的向量，用于形狀為 (2, 3) 的標(biāo)記索引的小批量。

								x = torch.tensor([[1, 2, 3], [4, 5, 6]])
embed(x)

								tensor([[[-0.6501, 1.3547, 0.7968, 0.3916],
     [ 0.4739, -0.0944, 1.2308, 0.6457],
     [ 0.4539, 1.5194, 0.4377, -1.5122]],

    [[-0.7032, -0.1213, 0.2657, -0.6797],
     [ 0.2930, -0.6564, 0.8960, -0.5637],
     [-0.1815, 0.9487, 0.8482, 0.5486]]], grad_fn=<EmbeddingBackward0>)

							

								x = np.array([[1, 2, 3], [4, 5, 6]])
embed(x)

								array([[[ 0.01438687, 0.05011239, 0.00628365, 0.04861524],
    [-0.01068833, 0.01729892, 0.02042518, -0.01618656],
    [-0.00873779, -0.02834515, 0.05484822, -0.06206018]],

    [[ 0.06491279, -0.03182812, -0.01631819, -0.00312688],
    [ 0.0408415 , 0.04370362, 0.00404529, -0.0028032 ],
    [ 0.00952624, -0.01501013, 0.05958354, 0.04705103]]])

							

15.4.1.2。定義前向傳播

在正向傳播中，skip-gram 模型的輸入包括形狀為（批大小，1）的中心詞索引和形狀為（批大小，）center的連接上下文和噪聲詞索引，其中定義在第 15.3.5 節(jié). 這兩個(gè)變量首先通過(guò)嵌入層從標(biāo)記索引轉(zhuǎn)換為向量，然后它們的批量矩陣乘法（在第 11.3.2.2 節(jié)中描述）返回形狀為（批量大小，1，）的輸出。輸出中的每個(gè)元素都是中心詞向量與上下文或噪聲詞向量的點(diǎn)積。contexts_and_negativesmax_lenmax_lenmax_len

								def skip_gram(center, contexts_and_negatives, embed_v, embed_u):
  v = embed_v(center)
  u = embed_u(contexts_and_negatives)
  pred = torch.bmm(v, u.permute(0, 2, 1))
  return pred

								 

								def skip_gram(center, contexts_and_negatives, embed_v, embed_u):
  v = embed_v(center)
  u = embed_u(contexts_and_negatives)
  pred = npx.batch_dot(v, u.swapaxes(1, 2))
  return pred

								 

skip_gram讓我們?yōu)橐恍┦纠斎?/font>打印此函數(shù)的輸出形狀。

								skip_gram(torch.ones((2, 1), dtype=torch.long),
     torch.ones((2, 4), dtype=torch.long), embed, embed).shape

								torch.Size([2, 1, 4])

							

								skip_gram(np.ones((2, 1)), np.ones((2, 4)), embed, embed).shape

								 

								(2, 1, 4)

							

15.4.2。訓(xùn)練

在用負(fù)采樣訓(xùn)練skip-gram模型之前，我們先定義它的損失函數(shù)。

15.4.2.1。二元交叉熵?fù)p失

根據(jù)15.2.1節(jié)負(fù)采樣損失函數(shù)的定義，我們將使用二元交叉熵?fù)p失。

								class SigmoidBCELoss(nn.Module):
  # Binary cross-entropy loss with masking
  def __init__(self):
    super().__init__()

  def forward(self, inputs, target, mask=None):
    out = nn.functional.binary_cross_entropy_with_logits(
      inputs, target, weight=mask, reduction="none")
    return out.mean(dim=1)

loss = SigmoidBCELoss()

								 

								loss = gluon.loss.SigmoidBCELoss()

								 

回想我們?cè)诘?15.3.5 節(jié)中對(duì)掩碼變量和標(biāo)簽變量的描述。下面計(jì)算給定變量的二元交叉熵?fù)p失。

								pred = torch.tensor([[1.1, -2.2, 3.3, -4.4]] * 2)
label = torch.tensor([[1.0, 0.0, 0.0, 0.0], [0.0, 1.0, 0.0, 0.0]])
mask = torch.tensor([[1, 1, 1, 1], [1, 1, 0, 0]])
loss(pred, label, mask) * mask.shape[1] / mask.sum(axis=1)

								 

								tensor([0.9352, 1.8462])

							

								pred = np.array([[1.1, -2.2, 3.3, -4.4]] * 2)
label = np.array([[1.0, 0.0, 0.0, 0.0], [0.0, 1.0, 0.0, 0.0]])
mask = np.array([[1,
							

下載該資料的人也在下載下載該資料的人還在閱讀

更多 >

Pytorch深度學(xué)習(xí)訓(xùn)練的方法 240次閱讀
大語(yǔ)言模型的預(yù)訓(xùn)練 486次閱讀
預(yù)訓(xùn)練模型的基本原理和應(yīng)用 3034次閱讀
解讀PyTorch模型訓(xùn)練過(guò)程 1126次閱讀
PyTorch如何訓(xùn)練自己的數(shù)據(jù)集 1914次閱讀
什么是預(yù)訓(xùn)練AI模型？ 1081次閱讀
pytorch實(shí)現(xiàn)斷電繼續(xù)訓(xùn)練時(shí)需要注意的要點(diǎn) 1447次閱讀
利用視覺(jué)語(yǔ)言模型對(duì)檢測(cè)器進(jìn)行預(yù)訓(xùn)練 1430次閱讀
新的預(yù)訓(xùn)練方法——MASS！MASS預(yù)訓(xùn)練幾大優(yōu)勢(shì)！ 7105次閱讀
自然語(yǔ)言處理的ELMO使用 3358次閱讀
討論嵌入的概念，以及使用word2vec生成嵌入的機(jī)制 3233次閱讀
詳解谷歌最強(qiáng)NLP模型BERT 3002次閱讀
OpenAI：用可擴(kuò)展的多任務(wù)系統(tǒng)，在多語(yǔ)言任務(wù)上取得了良好的成績(jī) 2040次閱讀
介紹Word2Vec和Glove這兩種最流行的詞嵌入方法背后的直覺(jué) 5.9w次閱讀
Python自然語(yǔ)言用金庸的武俠小說(shuō)做分析和處理 8480次閱讀

評(píng)論

資料 -- | 積分 --

查看他上傳的所有資料

+關(guān)注個(gè)人主頁(yè)

上傳資料賺積分

下載排行

吴忠躺衫网络科技有限公司

搜索歷史