embeding 层到底是什么

embending 的本质是 word2vec 大白话讲解word2vec到底在做些什么

那时候 博主还比较年轻 ，啃过托马斯马尔科夫的 word2vec 源码 ,那是一个三层神经网络，用C实现的 ，最近创业失败了 ，又去找工作，啥都不会，被一众 后辈嘲笑，这都快十年过去了，世上已前年的感觉，出来个什么大模型，本质也是nlp ，今天想看看 这个 大模型基础embeding ,想看看这个层到底是什么东西，直接上源码吧

import numpy as np
import torch.nn as nn
import torch

embedding=torch.nn.Embedding(4,2)
#vocab_size：表示一共有多少个字需要embedding，
#emb_size:表示我们希望一个字向量的维度是多少。


me=torch.tensor([0],dtype=torch.int64)
you=  torch.tensor([1],dtype=torch.int64)

other=torch.tensor([3],dtype=torch.int64)

print(embedding(me))
print(embedding(you))

print(embedding(other))

tensor([[-0.2216,  0.1621]], grad_fn=<EmbeddingBackward0>)
tensor([[0.6301, 1.3375]], grad_fn=<EmbeddingBackward0>)
tensor([[-0.5222, -0.3898]], grad_fn=<EmbeddingBackward0>)

embedding.weight

Parameter containing:
tensor([[-0.2216,  0.1621],
        [ 0.6301,  1.3375],
        [-1.0004,  0.4421],
        [-0.5222, -0.3898]], requires_grad=True)

embeding 层 本质获取 层的权值矩阵的某一行，比如我们这个层的权重

$$\left(\begin{array}{cc}-0.2216,& 0.1621\\ 0.6301,& 1.3375\\ -1.0004,& 0.4421\\ -0.5222,& -0.3898\end{array}\right)$$

me=torch.tensor([0],dtype=torch.int64) 
print(embedding(me))

就是取第一行

tensor([[-0.2216,  0.1621]], grad_fn=<EmbeddingBackward0>)