使用 LPeg 匹配 Unicode 标点符号
2016-8-17 22:39:56
收藏：0
阅读：82
评论：1
我正在尝试创建一个 LPeg 模式，用于匹配 UTF-8 编码输入中的任何 Unicode 标点符号。我想到了 Selene Unicode 和 LPeg 的以下配合：
local unicode = require("unicode")
local lpeg = require("lpeg")
local punctuation = lpeg.Cmt(lpeg.Cs(any * any^-3), function(s,i,a)
local match = unicode.utf8.match(a, "^%p")
if match == nil
return false
else
return i+#match
end
end)
这似乎有效，但它会错过由几个 Unicode 代码点组成的标点符号字符（如果存在这样的字符），因为我仅向前读取了 4 个字节，这可能会降低解析器的性能，并且不确定库 match 函数在我提供同时包含错误的 UTF-8 字符的字符串时会怎样运作（尽管它现在似乎可以用）。
我想知道这是不是一个正确的方法，或者是否有更好的方法来实现我想要实现的目标。
点赞
评论区的留言会收到邮件通知哦~
作者:
用户657401
推荐文章
- Lua 虚拟机加密load(string.dump(function)) 后执行失败问题如何解决
- 我想创建一个 Nginx 规则，禁止访问
- 如何将两个不同的lua文件合成一个 东西有点长 大佬请耐心看完 我是小白研究几天了都没搞定
- 如何在roblox studio中1：1导入真实世界的地形？
- 求解，lua_resume的第二次调用继续执行协程问题。
- 【上海普陀区】内向猫网络招募【Skynet游戏框架Lua后端程序员】
- SF爱好求教：如何用lua实现游戏内调用数据库函数实现账号密码注册？
- Lua实现网站后台开发
- LUA错误显式返回，社区常见的规约是怎么样的
- lua5.3下载库失败
- 请问如何实现文本框内容和某个网页搜索框内容连接，并把网页输出来的结果反馈到另外一个文本框上
- lua lanes多线程使用
- 一个kv数据库
- openresty 有没有比较轻量的 docker 镜像
- 想问一下，有大佬用过luacurl吗
- 在Lua执行过程中使用Load函数出现问题
- 为什么 neovim 里没有显示一些特殊字符?
- Lua比较两个表的值（不考虑键的顺序）
- 有个lua简单的项目，外包，有意者加微信 liuheng600456详谈，最好在成都
- 如何在 Visual Studio 2022 中运行 Lua 代码？
正确匹配UTF-8字符的方法在Lpeg主页中的示例中展示。UTF-8字符的第一个字节确定其是否有多个字节：
local cont = lpeg.R("\128\191") -- continuation byte local utf8 = lpeg.R("\0\127") + lpeg.R("\194\223") * cont + lpeg.R("\224\239") * cont * cont + lpeg.R("\240\244") * cont * cont * cont基于此
utf8模式，我们可以使用lpeg.Cmt和Selene Unicode的match函数，就像您提出的那样：local punctuation = lpeg.Cmt(lpeg.C(utf8), function (s, i, c) if unicode.utf8.match(c, "%p") then return i end end)请注意，我们返回
i，这符合Cmt的预期：这意味着我们应该返回函数接收的同一个数字，即UTF-8字符后面紧跟的位置。