大模型词表

大模型词表

Embedding#我们来看 embedding 的参数: nn.Embedding(num_embeddings,embedding_dim)

其中 num_embedding 是词典大小,比如训练的时候的词有 5k 个,那么就等于 5k,儿 embedding_dim 是嵌入向量的维度,也就是多少来表示一个符号。

首先来看 one_hot,one_hot 使用一个长度为 5 的 01 向量来表示 我是中国人,这样的方法很简单,但是词典的字多的时候会导致稀疏性,不便于计算,而且无法处理原来的序列信息,==比如“我是人”这句话中,“我”和“人”的距离与“我”和“是”的距离一样,==这显然是不合理的。

embedding 就是为了解决这个问题。首先我们准备一本字典,把句子中的每个词映射到更低维度上去。对 5k 字的字典,one-hot 需要 5k 长度的 vector,儿 embedding 只需要指定一个 embedding_dim,这个 dim 可以小于 5k。也就是对于一句话来说,本来我们需要 (length,5k) 的矩阵,现在我们只需要 (length,dim) 的矩阵就可以了

也就是说,当整个输入数据 X 只有一句话时

X(1, max_length, num_embeddings)

字典为(num_embeddings, embedding_dim)

则经过翻译之后,这句话变成(1,max_length,embedding_dim)

相关推荐

对冲为什么要做,做什么,怎么做 - 博客
电脑网卡坏了 有哪些现象?怎么判断
蛤蜊干的做法 好吃到停不下来的蛤蜊肉干
2014巴西世界杯赛事图片

本文标签