在Torch/Lua中进行超参数的网格搜索

我是torch/lua的新手,正在尝试评估一些不同的优化算法和它们的不同参数。

算法:optim.sgd optim.lbfgs

参数:

  • 学习率:{1e-1, 1e-2, 1e-3}
  • 权重衰减:{1e-1, 1e-2}

所以我要做的是尝试每种超参数组合并获取每种算法的最优参数集。

那么是否有类似于

param_grid = [
 {'C': [1, 10, 100, 1000], 'kernel': ['linear']},
 {'C': [1, 10, 100, 1000], 'gamma': [0.001, 0.0001], 'kernel': ['rbf']},
]

http://scikit-learn.org/stable/modules/grid_search.html中提供的在torch中处理它的方法?

任何建议都将不胜感激!

点赞
用户117844
用户117844

尝试使用正在开发中的超级优化库: https://github.com/nicholas-leonard/hypero

2015-08-13 22:01:39