lua cjson无法解码特定的Unicode字符?
2016-9-4 15:0:3
收藏:0
阅读:89
评论:1
在尝试解码特定的Unicode字符时,我收到了来自lua cjson的以下错误,
root@9dc8433e6d83:~/torch-rnn# th train.lua -input_h5 data/aud.h5 -input_json data/aud.json -batch_size 50 -seq_length 100 -rnn_size 256 -max_epochs 50
Running with CUDA on GPU 0
/root/torch/install/bin/luajit: train.lua:77: Expected value but found invalid unicode escape code at character 350873
stack traceback:
[C]: in function 'read_json'
train.lua:77: in main chunk
[C]: in function 'dofile'
/root/torch/install/lib/luarocks/rocks/trepl/scm-1/bin/th:145: in main chunk
[C]: at 0x00406670
通过查看源代码,我可以看到train.lua read_json在内部使用cjson。
所涉及的Unicode escape代码是\uda85
如果我到https://www.branah.com/unicode-converter上,它会告诉我该转义应该解码为哪个字符。
该Unicode转义是使用Python unichr(55941)生成的,并通过Python脚本输出的重定向使用PYTHONIOENCODING = UTF-8写入文件。
以下演示了如何生成字符;
echo "print unichr(55941)" > test.py
python test.py
Traceback (most recent call last):
File "test.py", line 1, in <module>
print unichr(55941)
UnicodeEncodeError: 'ascii' codec can't encode character u'\uda85' in position 0: ordinal not in range(128)
# export PYTHONIOENCODING=UTF-8
# python test.py
���
# python test.py > tfile
# cat tfile
���
# python
Python 2.7.6 (default, Jun 22 2015, 17:58:13)
[GCC 4.8.2] on linux2
Type "help", "copyright", "credits" or "license" for more information.
>>> f=open("tfile",'r')
>>> s=f.readline()
>>> s
'\xed\xaa\x85\n'
>>> print s
���
>>> s.decode('utf-8')
u'\uda85\n'
总体而言,我尝试将0-65535范围内的一组整数使用Python映射到UTF-8字符并写入文件。然后,我想使用使用LUA的torch-rnn对字符序列进行RNN训练。当尝试运行th train.lua在torch-rnn python scripts / preprocess.py生成的文件上时,我遇到了错误。
点赞
评论区的留言会收到邮件通知哦~
推荐文章
- Lua 虚拟机加密load(string.dump(function)) 后执行失败问题如何解决
- 我想创建一个 Nginx 规则,禁止访问
- 如何将两个不同的lua文件合成一个 东西有点长 大佬请耐心看完 我是小白研究几天了都没搞定
- 如何在roblox studio中1:1导入真实世界的地形?
- 求解,lua_resume的第二次调用继续执行协程问题。
- 【上海普陀区】内向猫网络招募【Skynet游戏框架Lua后端程序员】
- SF爱好求教:如何用lua实现游戏内调用数据库函数实现账号密码注册?
- Lua实现网站后台开发
- LUA错误显式返回,社区常见的规约是怎么样的
- lua5.3下载库失败
- 请问如何实现文本框内容和某个网页搜索框内容连接,并把网页输出来的结果反馈到另外一个文本框上
- lua lanes多线程使用
- 一个kv数据库
- openresty 有没有比较轻量的 docker 镜像
- 想问一下,有大佬用过luacurl吗
- 在Lua执行过程中使用Load函数出现问题
- 为什么 neovim 里没有显示一些特殊字符?
- Lua比较两个表的值(不考虑键的顺序)
- 有个lua简单的项目,外包,有意者加微信 liuheng600456详谈,最好在成都
- 如何在 Visual Studio 2022 中运行 Lua 代码?

似乎问题出在 Unicode 代理项字符上,理解这意味着我可以为不同的值进行过滤/转换。在这种用例中,这并不是什么大问题。