Lua Torch 规范化层仅对张量的一部分进行规范化

我认为一种干净的方法是从 nn.Normalize 派生出自己的类。只需创建一个名为PartialNormalize.lua 的文件，然后按照以下方式进行操作（虽然开发有点耗时，但很容易，因此我大多数都是提供伪代码）：

local PartialNormalize, parent = torch.class('nn.PartialNormalize', 'nn.Normalize')

--现在基本上你需要重写父类中的 __init、updateOutput 和 updateGradInput 函数（我认为没有必要覆盖其他函数，但您应该进行检查）
--您可以在 <your_install_path>/install/share/lua/5.1/nn/Normalize.lua 中找到 nn.Normalize 的代码
--区间 [first_index，last_index] 确定要归一化的输入向量的哪些部分。

function PartialNormalize:__init(p, eps, first_index, last_index)
  parent.__init(self)
  self.first_index = first_index
  self.last_index = last_index
end

function PartialNormalize:updateOutput(input)
  --在父类中，这只返回正常化部分
  --只需修改此函数，以便它从self.first_index到self.last_index返回经过归一化的部分，并将其他元素直接传递
end

function PartialNormalize:updateGradInput(input, gradOutput)
  --对于梯度函数进行适当的修改：self.first_index到self.last_index的元素的梯度就像在父类中一样计算，
  --而其他元素的梯度则是全局的1
end

--我认为其他父类函数不需要覆盖，但是确保以防万一

希望这有帮助。

有独立输入处理的容器。使用concat和narrow，您可以构建部分归一化。

require"torch"
nn=require"nn"
local NX,NY = 2,6 --sizes of inputs
local Y1, Y2 = 1, 4 --normalize only data between these constraints
local DIMENSION_INDEX=2--dimension on which you want to split your input (NY here)
local input=torch.randn(NX,NY)--example input

--network construction
local normalize_part = nn.Sequential()
normalize_part:add(nn.Narrow(DIMENSION_INDEX,Y1,Y2))
normalize_part:add(nn.Normalize(2))

local dont_change_part=nn.Sequential()
dont_change_part:add(nn.Narrow(DIMENSION_INDEX,Y2+1,NY-Y2))

local partial_normalization=nn.Concat(DIMENSION_INDEX)
partial_normalization:add(normalize_part)
partial_normalization:add(dont_change_part)

--partial_normalization is ready for use:
print(input)
print( partial_normalization:forward(input))

--can be used as a block in a greater network
local main_net=nn.sequential()
main_net:add(partial_normalization)

此外，我想指出 nn.normalize 不等同于 (X - mean(x)) / std(x)也叫做归一化。