torch7演示线性回归

2016-5-26 18:24:29
收藏：0
阅读：73
评论：2

我正在跟随这个演示- https://github.com/torch/demos/blob/master/linear-regression/example-linear-regression.lua

feval = function(x_new)
   -- 如果不同将x设置为x_new
   -- (在这个简单的例子中，x_new通常总是指向x，
   -- 所以复制实际上是没有意义的)
   if x ~= x_new then
      x:copy(x_new)
   end

   -- 选择一个新的训练样本
   _nidx_ = (_nidx_ or 0) + 1
   if _nidx_ > (#data)[1] then _nidx_ = 1 end

   local sample = data[_nidx_]
   local target = sample[{ {1} }]      -- 这个有趣的语法允许
   local inputs = sample[{ {2,3} }]    -- 数组的切片
   dl_dx:zero()
   local loss_x = criterion:forward(model:forward(inputs), target)
   model:backward(inputs, criterion:backward(model.output, target))
   return loss_x, dl_dx
end

我对这个函数有几个疑问

  1. 在这段代码中，参数x_new（或者它的副本x）在哪里用到了？
  2. _nidx_ = (_nidx_ or 0) + 1 是什么意思？
  3. 当函数第一次被调用时，nidx 的值是多少？
  4. dl_dx 在哪里被更新？ 理想情况下应该是在更新本地损失_x之后，但它没有被显式编写

编辑：

我的第4点现在非常清楚了。 对于那些感兴趣的人- （来源-深度学习，牛津大学，实际3实验室手册）

enter image description here

点赞
用户3197530
用户3197530

  1. x 是一个全局变量，参见第 126 行。这个函数似乎只是更新了它，而没有使用它。

  2. 这是一个常见的 lua 惯用语：如果不存在，则将参数或默认值设为某些值。通常在函数中使用:

    function foo(a, b)
    local a = a or 0
    local b = b or "foo"
end

这个想法是使用 and 或 or 进行的表达式根据值，返回第一个或第二个参数。如果 x 不是 nil 或 false，则 x and y 返回 y；否则返回 x（nil 或 false）。

如果 x 不存在（nil 或 false），则 x or y 返回 y，否则返回 x。因此，or 用于默认参数。

这两个可以重写为以下形式：

-- x and y
if x then
    return y
else
    return x
end
-- x or y
if x then
    return x
else
    return y
end

  1. 你有 _nidx_ = (_nidx or 0) + 1，所以在函数第一次调用时，_nidx_ 是 nil，因为它没有被定义过。之后，它被设为 1（0 + 1）（全局）。

  2. 我不确定你的意思是什么。它在第 152 行被重置，并由函数本身返回。它是一个全局变量，所以可能有外部用途？

2016-05-26 09:24:37
用户3760780
用户3760780

x_new参数（或者它的拷贝x）在代码中有什么作用？

x是模型参数的张量，它之前通过x, dl_dx = model:getParameters()获得。model:forward()和model:backward()自动使用该参数张量。x_new是模型的新参数集，并由优化器（如SGD）提供。如果它与模型的参数张量不同，您的模型参数将通过x:copy(x_new)（将张量x_new的值就地拷贝到x中）设置为这些新参数。

_nidx_ = (_nidx_ or 0) + 1的含义是什么？

它将_nidx_的值加上1((_nidx_) + 1)，或者如果尚未定义_nidx_，则将它设置为1((0) + 1)。

函数第一次调用时nidx的值是多少？

在该函数之前不曾定义，因此在lua中尚未定义的变量值为nil。

dl_dx何时更新？理想情况下，在local loss_x之后应该写明它被更新了，但实际上没写明。

dl_dx是模型的梯度张量。model:backward()根据损失计算每个参数的梯度并将其添加到模型的梯度张量中。由于dl_dx是模型的梯度张量，因此它的值将增加。请注意，梯度值是 添加 的，这就是为什么您需要调用dl_dx:zero()（将dl_dx的值就地设置为零），否则您的梯度值将在每次调用feval时不断增加。

2016-05-26 09:24:53

作者:

用户5536853

用户5536853
推荐文章