Lua代码将CPU使用率提高到100%

我想将HTML源中的UTF8 HTML实体替换为实际字符。我有“entities”替换表,下面的代码遍历该表。如果我运行此代码,它将利用我的CPU达到100%。

请帮助我如何以更好的方式重写第一个循环?我知道在Lua中字符串是不可变的,因此我认为数据变量存在许多副本,这可能是原因。

local entities = {
    {["char"]="!", ["utf"]="!"},
    {["char"]='"', ["utf"]="""},
    {["char"]="#", ["utf"]="#"},
    {["char"]="$", ["utf"]="$"},
    {["char"]="%", ["utf"]="%"},
    {["char"]="&", ["utf"]="&"},
    {["char"]="'", ["utf"]="'"},
    -- +312 行
}

local function clear_text(data)
    for _, e in ipairs(entities) do
        data = string.gsub(data, e.utf, e.char)
    end
    return data
end

-- 这仅用于测试...在许多HTML源中替换
for i=1,200 do
    local data = some_html_page_source()
    clear_text(data)
end
点赞
用户1969960
用户1969960

根据这个答案,你可以使用str:gsub(pattern, function)来对str中所有pattern匹配到的内容进行自定义替换。

模式&#.+;应匹配所有的utf字符,对每个匹配的字符都调用function

在回调函数function中,需要找到匹配的可读字符,并将其作为替换值返回。为此,如果可以将entities按照utf字符串键入,其对应的char作为值,则可以避免每次迭代entities

另一个编辑:根据lua中gsub的文档,第二个参数可以是一个表。在这种情况下,查找操作将自动进行,它将尝试使用每个匹配作为键,并用该表中的对应值进行替换。一旦重组了entities结构,则这将是最干净的解决方案。

2016-07-29 07:35:15
用户1847592
用户1847592
-- 需要 Lua 5.3
local html_entities = {
   nbsp = " ",
   lt = "<",
   gt = ">",
   amp = "&",
   euro = "€",
   copy = "©",
   Gamma = "Γ",
   Delta = "Δ",
   prod = "∏",
   sum = "∑",
   forall = "∀",
   exist = "∃",
   empty = "∅",
   nabla = "∇",
   isin = "∈",
   notin = "∉",
   -- + 许多其他行
}

local str = [[&exist; &euro; &empty; &Delta; &#8364; &#x20AC;]]

str = str:gsub("&(#?)(.-);",
   function(prefix, name)
      if prefix ~= "" then
         return utf8.char(tonumber("0"..name))
      else
         return html_entities[name]
      end
   end
)

print(str)
2016-07-29 07:55:03
用户1836540
用户1836540

还有另一种替换字符序列的方法。

local function clear_text(data)
    return (string.gsub(
        data,
        [=[[!"#$%&']]=],  -- 所有条目都在这里之间,用 [=[ 和 ]=] 包含起来。
        function(c)
            return "&#" .. string.byte(c) .. ";"  -- 使用字符编码替换
        end
    ))
end

-- 这只是为了测试...在许多 html 源中进行替换
for i=1,200 do
    local data = "!#!#!#!#!#!";
    print(clear_text(data))
end
2016-07-30 14:41:43