关于torch.nn.Embedding的浅显理解
最近在使用词嵌入向量表示我的数据标签，并且在试图理解torch.nn.Embedding函数。
torch.nn.Embedding(num_embeddings, embedding_dim, padding_idx=None, max_norm=None, norm_type=2.0, scale_grad_by_freq=False, sparse=False, _weight=None, _freeze=False, device=None, dtype=None)
这里只解释我对前两个参数的理解，这也是我唯二理解的：num_embeddings(int) – size of the dictionary of embeddings，其实就是你给Embedding函数的张量里互不相同的数的个数；embedding_dim (int) – the size of each embedding vector也即生成的词嵌入向量的最后一个维度。For example：
import torch.nn as nn
import torch
known_label_lt = nn.Embedding(3, 10)
label = torch.tensor([
[1, 0, 1, 0, 1],
[2, 1, 0, 2, 1],
[1, 1, 2, 1, 0],
[1, 1, 0, 1, 2]
]).long() # without .long(), will result in an error.
state = known_label_lt(label)
print(state.shape)
这里输入的向量label里只能包含三个不同的数：0，1，2 。或者反过来说known_label_lt的第一个参数只能是3，known_label_lt的第二个参数就决定了label的每一个数会被扩展到10维。所以最后生成的词嵌入维度是：
torch.Size([4, 5, 10])