Lua中读取大型JSON文件

我并不确定 JSON 是否是存储音频数据的最佳格式，但在这种情况下，您需要编写自己的 JSON 解析器来读取文件、解析数据，并在没有将整个数据集存储在内存中的情况下将它们传递到训练过程中。

由于 JSON 格式相对简单，您可以限制处理只处理您的格式，因此编写类似 SAX 的解析器应该相对容易，并能生成您需要的事件。这个 SO 回答可能是一个很好的起点（或者至少给您一些可以搜索的关键字）。

您有两个选择：

选项1：使用Lua52安装torch而不是LuaJIT。 一切保持不变，一切都按预期工作，您现在可以加载json文件并解码，而不会遇到内存问题。 要执行此操作：

cd ~/torch
./clean.sh
TORCH_LUA_VERSION=LUA52 ./install.sh

选项2：使用HDF5保存Python预处理文件，并使用torch-hdf5加载它们。 HDF5比JSON更适合您的数据。

而不是使用 json，您也可以尝试 npy4th，并将数据保存为“npz”文件。

另一个选择是使用 lutorpy 库，在 Python 中运行 lua/torch 并提供便捷的工具，用于在 numpy 数组和 torch 张量之间进行转换，优势在于不需要内存复制或磁盘复制，它们共享底层内存，因此非常快速。请查看 该网站 以获取更多信息。

一个基本示例：

import lutorpy as lua
import numpy as np

## 使用 require("MODULE") 导入 lua 模块
require("nn")

## 使用最小修改在 python 中运行 lua 代码：将 ":" 替换为 "._"
t = torch.DoubleTensor(10,3)
print(t._size()) # 相应的 lua 版本是 t:size()

## 或者，您可以使用 numpy 数组
xn = np.random.randn(100)
## 将 numpy 数组转换为 torch 张量
xt = torch.fromNumpyArray(xn)

## 将 torch 张量转换为 numpy 数组
### 注意：底层对象共享相同的内存，因此转换是即时的
arr = xt.asNumpyArray()
print(arr.shape)