Splash脚本检索站点返回错误的主体
2018-6-13 22:37:7
收藏:0
阅读:77
评论:0
我正在使用Splash检索多个不同的URL。我正在向/execute端点发布一个脚本,看起来像这样:
local request_headers= {
["Accept-Encoding"] = "gzip, deflate, br",
["Accept-Language"] = "en-US,en;q=0.5",
["Cache-Control"] = "max-age=0",
["Upgrade-Insecure_Requests"] = "1",
["Accept"] = "text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8",
["User-Agent"] = "Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/66.0.3359.117 Safari/537.36",
["DNT"] = "1",
["Host"] = "www.douban.com"
}
splash:go({
url="https://www.douban.com/people/sophiechou/",
headers = request_headers
})
return { ok=true, html=splash:html(), info=splash:har() }
必须将哈希返回到Splash服务器和最终目的地之间接收到的真实标题。
问题在于我收到的HTML很可能是Gzip压缩的。据我从Splash了解,当我返回哈希时,它会自动JSON编码它...这使得JSON编码二进制gzip,从而把它都变成垃圾。
有时,网站会返回HTML。有时,他们会返回Gzip或Defalte或BR。
为什么我不只是使用"identity"?我们发现许多网站对身份不做出响应,或者会返回禁止。更改编码既降低了我们浏览器足迹的独特性,也减少了随机问题的数量。
除了我们不能读取页面。
看起来我们需要检测,如果有二进制,通过某种treat.as_binary(x)来处理,或者什么......但是文档在如何做到这一点方面变得非常简略。
这让我困扰了几个星期。帮帮我!任何想法吗?
附加说明:链接到通过Splash Jupyter笔记本返回的HTML的样子。 [链接] (https://www.evernote.com/l/AAHBqNSmnapP5Ks9rD3n9m4Ejy9BSqBIeCE)
点赞
评论区的留言会收到邮件通知哦~
推荐文章
- Lua 虚拟机加密load(string.dump(function)) 后执行失败问题如何解决
- 我想创建一个 Nginx 规则,禁止访问
- 如何将两个不同的lua文件合成一个 东西有点长 大佬请耐心看完 我是小白研究几天了都没搞定
- 如何在roblox studio中1:1导入真实世界的地形?
- 求解,lua_resume的第二次调用继续执行协程问题。
- 【上海普陀区】内向猫网络招募【Skynet游戏框架Lua后端程序员】
- SF爱好求教:如何用lua实现游戏内调用数据库函数实现账号密码注册?
- Lua实现网站后台开发
- LUA错误显式返回,社区常见的规约是怎么样的
- lua5.3下载库失败
- 请问如何实现文本框内容和某个网页搜索框内容连接,并把网页输出来的结果反馈到另外一个文本框上
- lua lanes多线程使用
- 一个kv数据库
- openresty 有没有比较轻量的 docker 镜像
- 想问一下,有大佬用过luacurl吗
- 在Lua执行过程中使用Load函数出现问题
- 为什么 neovim 里没有显示一些特殊字符?
- Lua比较两个表的值(不考虑键的顺序)
- 有个lua简单的项目,外包,有意者加微信 liuheng600456详谈,最好在成都
- 如何在 Visual Studio 2022 中运行 Lua 代码?
