如何处理大型数据集上训练词嵌入的内存问题？

我想要训练一个单词可预测性任务来生成词嵌入。文档集合包含 243k 篇文章。代码实现在 torch 中。我正在处理数据集的巨大尺寸，并需要想法来在这样一个包含 243 千篇完整文章文档集合上训练词嵌入。研究计算资源有时间限制，因此选择了增量模型训练：

1. 增量模型训练：训练整个数据集的一种方法是使用增量模型训练，即在数据的一个 chunk 上训练模型并保存它。随后，选择相同的预训练模型，并在下一个 chunk 的数据上开始训练。我在这个方法中面临的问题是如何维护单词的词汇表/字典。在词嵌入方法中，字典/词汇表扮演着重要的角色。我们扫描所有文档并创建单词的词汇表，对于出现频率大于最小设定频率的单词。现实情况是这个词汇表是一个哈希映射，其中每个单词都与一个索引相关联，而在训练样本中，我们用词汇表中单词的索引替换单词以简化模型。在增量训练的情况下，如何逐步创建字典？我是否必须在最初的整个文档上创建词汇表/字典，然后逐步训练？还是有一种方法在增量训练中扩展词汇表？
2. 另一个问题是词汇表数据结构的内存限制。我在 Torch 中实现我的模型，它基于 LUA。因此，LUA 对表的大小有限制，我无法将整个文档的词汇表加载到单个表中。如何克服这样的内存问题？
3. 受Glove向量启发。在他们的论文中，他们说：“我们在不同大小的五个语料库上训练我们的模型：拥有 10 亿个标记的 2010 年维基百科转储，拥有 16 亿个 token 的 2014 年维基百科转储，拥有 43 亿个 token 的 Gigaword 5；Gigaword5 + Wikipedia2014 的组合，拥有 60 亿个 token；以及来自 Common Crawl5 的 420 亿个 token 的 Web 数据。我们使用 Stanford 分词器对每个语料库进行标记和小写，构建了 400,000 个最常见单词的词汇表6，然后构建了共现计数矩阵 X”。任何关于 Glove 向量如何在如此大的语料库和大的词汇表上训练以及他们的情况下如何处理内存限制的想法？论文参考 - http://nlp.stanford.edu/pubs/glove.pdf
4. 是否有关于如何限制用于生成词嵌入的数据集的大小的想法？增加或减少文档数会如何影响词嵌入的性能或覆盖范围？是否使用抽样技术从数据集中抽样文档是个好主意？如果是，请推荐一些抽样技术。