如何异步加载和训练批次以训练 DeepLearning 模型？

你试过使用任何可用的Imagenet代码吗？

1. Tensorflow: https://github.com/tensorflow/models/tree/master/inception
2. Torch: https://github.com/soumith/imagenet-multiGPU.torch
3. Pytorch: https://github.com/pytorch/examples/tree/master/imagenet

按指定格式准备数据。

这些不就是你在寻找的吗？

如果您不想依赖Imagenet文件夹结构，您可以在每个框架中开发自己的数据加载器。可在 https://stackoverflow.com/a/45102798/7387369 处找到PyTorch示例代码。它在训练时加载下一批。将num_workers设置为并行运行的线程数。

我们使用了@mo-hossny所描述的方法（没有“绑定Imagetnet文件夹结构”）在Keras（tensorflow后端）中解决了这个问题，并在这里详细描述了它。一个简短的总结：大多数机器学习教程都展示了一个目录结构，其中训练（和测试）示例的类别是通过子目录隐含的。例如，你可能会看到诸如data/train/cats/???png和data/train/dogs/???png等子目录和文件。

但是，如果你创建了一个简单的Pandas DataFrame来保存每个训练/测试样本的唯一ID，类别标签和文件路径，那么你可以在每个epoch的开始处对这个DataFrame进行洗牌，以小批量的形式循环它，并使用生成器将每个块发送到GPU。后台，CPU在保持块队列全满的同时，准备在当前批处理完成后立即将下一个批处理发送到GPU。

这样的DataFrame的一个示例是：

df

       object_id   bi  multi                                    path
index
 0        461756  dog  white    /path/to/imgs/756/61/blah_461756.png
 1       1161756  cat  black   /path/to/imgs/756/61/blah_1161756.png
 2       3303651  dog  white   /path/to/imgs/651/03/blah_3303651.png
 3       3367756  dog   grey   /path/to/imgs/756/67/blah_3367756.png
 4       3767756  dog   grey   /path/to/imgs/756/67/blah_3767756.png
 5       5467756  cat  black   /path/to/imgs/756/67/blah_5467756.png
 6       5561756  dog  white   /path/to/imgs/756/61/blah_5561756.png
 7      31255756  cat   grey  /path/to/imgs/756/55/blah_31255756.png
 8      35903651  cat  black  /path/to/imgs/651/03/blah_35903651.png
 9      44603651  dog  black  /path/to/imgs/651/03/blah_44603651.png
10      49557622  cat  black  /path/to/imgs/622/57/blah_49557622.png
11      58164756  dog   grey  /path/to/imgs/756/64/blah_58164756.png
12      95403651  cat  white  /path/to/imgs/651/03/blah_95403651.png
13      95555756  dog   grey  /path/to/imgs/756/55/blah_95555756.png

我在示例中包含了二项式和多项式版本的问题标签，以演示相同的DataFrame和文件可以用于不同的分类设置。一旦你做到了这一点，Keras generator的代码就非常简短和简洁：

train_generator = generator_from_df(df, batch_size, target_size)

其中df类似于我的上面的示例，函数generator_from_df()在这里定义here。它只是以给定大小的块循环df；读取、标准化和连接在块的行中指定的像素数据；最后产生（因此是generator）X（像素）和Y（标签）数据。其中核心部分与以下代码非常相似：

i, j = 0, batch_size
for _ in range(nbatches):
    sub = df.iloc[i:j]
    X = np.array([
        (2 *
         (img_to_array(load_img(f, target_size=target_size))
          / 255.0 - 0.5))
        for f in sub.imgpath])
    Y = sub.target.values
    yield X, Y
    i = j
    j += batch_size
    count += 1

请注意该帖子中的参考文献和代码:我们从Keras页面和Stackoverflow上汇总了其他人的帮助提示。