解析一个超过内存限制的JSON字符串
2017-5-5 12:28:44
收藏:0
阅读:144
评论:1
我在工作的平台上遇到了相当严格的内存限制,我正在寻找一种解决方法,以便在不超过几百字节的情况下解析大型的JSON字符串到内存中。JSON字符串存储在一个更大的芯片(闪存)上的文件中。
有两件事情我无法找到一个好的解决方案:
1.通过指定"路径"访问特定值,例如foo["bar"][2]。
(如果这个值是一个数组/对象,那么我们应该只返回它是一个数组/对象的事实,也许还会告诉它是空的还是不空的)
2.遍历JSON中的任何对象/数组。
所以基本上我需要一些函数,当被调用时,一步一步地解析JSON并只保存我们实际需要继续解析的部分。
对于接口,我认为不可能像exampleJson["aa"].2.["gg]那样有一些东西,但我设法接近它:exampleJson["aa"].2.["gg"]()。这将导致调用一个函数,然后轻松地访问{'aa',2,'gg'}并从文件中读取/解析JSON。
这是到目前为止我的代码,但我真的不知道该怎么继续:
- 看起来很复杂,但实际上很简单。使用元表我们创建了一个几乎可以像Lua表一样访问的JSON接口。
- 例如:example["aa"][2]["gg"]()我们只需要在末尾使用括号就可以了
- 问题的关键部分在它说`THIS IS WHERE THE JSON PARSING WOULD HAPPEN`
json = {}
setmetatable(json, {
__call = function(path)
local jsonFile = _file.open(filePath)
local fileLen = jsonFile:stat().size
local patternTable = {} -- Will store `{'aa',2,'gg'}` for `example.['aa'].[2]['gg']()`
local fakeJson = {}
setmetatable(fakeJson, {
__index = function (t, k)
patternTable[#patternTable+1] = k
return fakeJson
end;
__call = function()
-- THIS IS WHERE THE JSON PARSING WOULD HAPPEN --
-- The patternTable contains {'aa',2,'gg'} at this point
-- Loop through the json file char by char
local valueToReturn = ''
local filePos = 0
for i=1, fileLen do
jsonFile:seek("set", filePos)
local currentChar = jsonFile:read(1) -- read character at current position
filePos = filePos + 1
-- print(currentChar)
-- Now the question is, how do we parse the json?
print('Magic to parse the json')
-- valueToReturn = ?
end
patternTable = {} -- Reset the patternTable
return valueToReturn
end;
})
return fakeJson
end;
})
local fakeParsedJson = json('example.json')
local value = fakeParsedJson["aa"][2]["gg"]() -- 注意末尾的`()`
print(value)
点赞
评论区的留言会收到邮件通知哦~
推荐文章
- Lua 虚拟机加密load(string.dump(function)) 后执行失败问题如何解决
- 我想创建一个 Nginx 规则,禁止访问
- 如何将两个不同的lua文件合成一个 东西有点长 大佬请耐心看完 我是小白研究几天了都没搞定
- 如何在roblox studio中1:1导入真实世界的地形?
- 求解,lua_resume的第二次调用继续执行协程问题。
- 【上海普陀区】内向猫网络招募【Skynet游戏框架Lua后端程序员】
- SF爱好求教:如何用lua实现游戏内调用数据库函数实现账号密码注册?
- Lua实现网站后台开发
- LUA错误显式返回,社区常见的规约是怎么样的
- lua5.3下载库失败
- 请问如何实现文本框内容和某个网页搜索框内容连接,并把网页输出来的结果反馈到另外一个文本框上
- lua lanes多线程使用
- 一个kv数据库
- openresty 有没有比较轻量的 docker 镜像
- 想问一下,有大佬用过luacurl吗
- 在Lua执行过程中使用Load函数出现问题
- 为什么 neovim 里没有显示一些特殊字符?
- Lua比较两个表的值(不考虑键的顺序)
- 有个lua简单的项目,外包,有意者加微信 liuheng600456详谈,最好在成都
- 如何在 Visual Studio 2022 中运行 Lua 代码?

如果您想要解码单个 JSON 元素(对象、数组等)而不是解码整个 JSON,则需要具有以下两个功能的 JSON 库:
示例:
如何使用 此模块 部分解码 JSON:
- 这是 data.txt 文件的内容: - {"aa":["qq",{"k1":23,"gg":"YAY","Fermat_primes":[3, 5, 17, 257, 65537]}]} - 我们只想将 "Fermat_primes" 数组和 "gg" 字符串作为 Lua 值提取 local json = require('json') -- 打开文件 local file = assert(io.open('data.txt', 'r')) -- 定义加载函数,将以 64 字节的块读取文件 local function my_json_loader() return file:read(64) end local FP, gg -- 准备部分解码的遍历回调函数 local function my_callback (path, json_type, value) path = table.concat(path, '/') if path == "aa/2/Fermat_primes" then FP = value return true -- 我们要解码这个数组而不是遍历它 elseif path == "aa/2/gg" then gg = value end end json.traverse(my_json_loader, my_callback) -- 关闭文件 file:close() -- 显示结果 print('aa.2.gg = '..gg) print('aa.2.Fermat_primes:') for k, v in ipairs(FP) do print(k, v) end输出:
aa.2.gg = YAY aa.2.Fermat_primes: 1 3 2 5 3 17 4 257 5 65537